Кирилл Александрович Некрасов , Святослав Игоревич Поташников , Антон Сергеевич Боярченков , Анатолий Яковлевич Купряжкин - Параллельные вычисления общего назначения на графических процессорах

константам необходим постоянный и быстрый доступ, поэто‑
му они записываются в кеш-память (или регистры), расположенную
на кристалле графического процессора. Массивы данных часто быва‑
ют настолько велики, что целиком в кеш-память не помещаются. Од‑
нако при простейшей потоковой обработке каждый из элементов мас‑
сивов данных используется только один раз. Так что для хранения этих
массивов предназначена видеопамять (общая память), представляю‑
щая собой отдельные микросхемы на плате графического ускорителя.
Она работает медленнее кеш-памяти и регистров, зато имеет бόльший
объем, до нескольких гигабайтов.
Результаты своей работы графический процессор может сразу за‑
писывать в раздел видеопамяти, называемый буфером кадра, откуда
они передаются на монитор. Но существует также возможность вооб‑
ще не отображать расчет на экране, а копировать результаты из видео‑
памяти в оперативную память компьютера, где они становятся доступ‑
ными для дальнейшей обработки центральным процессором. На этом
и основано использование графических процессоров для вычислений
общего назначения, не связанных с обработкой графики.
На схеме (рис. 1.3) указаны также типы программ, которые исполня‑
ются центральным и графическим процессорами на различных этапах
обработки данных. Такие программы будут далее подробно рассмотрены.
1.2.3. Иерархия памяти, доступной центральному
и графическому процессорам
Как показано на схемах (рис. 1.1, рис. 1.3), в программах для гра‑
фических процессоров используется память нескольких разновидно‑
стей с различными характеристиками и назначением. Это так, посколь‑
ку время, затрачиваемое центральным и графическим процессорами
на операции чтения данных из памяти и записи в память, является
одним из важнейших факторов, определяющих быстродействие про‑
грамм для графических процессоров.
9

1. Структура и возможности вычислительной системы с графическим процессором

Использование памяти различных типов обусловлено необходимо‑
стью баланса между объемом памяти и скоростью доступа к данным.
Разновидности памяти, имеющие наибольшую емкость, обычно ха‑
рактеризуются бόльшим временем доступа к данным, и наоборот. Бы‑
стродействие памяти, в свою очередь, определяется двумя характери‑
стиками — латентностью и пропускной способностью.
Латентность — это время доступа к памяти, точнее, время ожида‑
ния процессором данных после запроса. Латентностью определяется
производительность вычислений при решении задач, требующих ча‑
стого обращения к различным по расположению неупорядоченным
ячейкам памяти (пр о изво ль ный д о с ту п к памяти). Такой обмен
с памятью характерен для интерактивных приложений (программы,
интенсивно взаимодействующие с другими приложениями и с поль‑
зователями), а также для приложений, управляющих сложными про‑
цессами. Подобные алгоритмы обычно исполняются центральным
процессором.
Как можно меньшая латентность памяти необходима современ‑
ным центральным процессорам, работающим на очень высоких ча‑
стотах, еще и потому, что таким частотам должна соответствовать вы‑
сокая скорость доступа к данным.
Пропускная способность памяти характеризует объем данных, ко‑
торые могут быть переданы к процессору или от процессора за еди‑
ницу времени. Высокая пропускная способность оказывается эф‑
фективнее низкой латентности в задачах, позволяющих организовать
по с ле до в ат е ль ный д о с туп к памяти — считывание (или запись)
данных из ячеек памяти, расположенных друг за другом, непрерыв‑
ным потоком.
При поточно-параллельной обработке данных предпочтителен
именно последовательный доступ к памяти, поэтому видеопамять,
предназначенная для обмена данными с графическим процессо‑
ром, должна обладать максимальной пропускной способностью даже
в ущерб латентности.
Иерархия памяти, используемой центральным и графическим про‑
цессорами, уже отчасти отражена на рис. 1.1 и рис. 1.3. На рис. 1.4 при‑
ведена еще одна схема, иллюстрирующая основные принципы исполь‑
зования памяти различных типов. Особенности и назначение каждого
вида памяти кратко пояснены рядом и будут подробнее прокоммен‑
тированы в примерах.
10

1.2. Архитектура графического процессора (GPU)

1. Регистры и кеш CPU – память небольшого (до нескольких --">