Обработка изображений при помощи OpenGL и шейдеров

При помощи технологии OpenGL и библиотеки GLUT вы можете ускорить процесс обработки изображений, используя всю мощь видеоадаптера вашей системы.

Видеоигры в течение многих лет используют все возможности видеоадаптеров. Сегодня даже программные продукты, не работающие напрямую с графикой (такие, как Mathlab) начинают использовать возможность выполнения сложных математических расчетов при помощи видеоадаптера. Вы также можете использовать эту возможность.

В этой статье приводятся примеры использования шейдеров OpenGL для обработки изображений. Изображения выдаются устройством, использующим интерфейс Video4Linux (V4L2). Использование мощностей графического адаптера для проведения некоторых преобразований изображений позволяет снизить нагрузку на центральный процессор и должно в итоге привести к повышению производительности системы. В этой статье описывается программа Glutcam, разработанная автором статьи и технологии, использованные при разработке.

Для начала давайте кратко рассмотрим отдельные технологии, а затем перейдем к рассмотрению программы Glutcam.

Устройства Video4Linux2

Video4Linux2 является интерфейсом, связывающим ядро Linux со многими видеоустройствами, включающими в себя тюнеры и некоторые вебкамеры. (Некоторые устройства все еще используют старую версию драйверов V4L1). Bill Dirks начал разработку API Video4Linux в 1998 году. Код был добавлен в ядро версии 2.5.46 в 2002 году. API V4L2 предоставляет функции для работы с устройствами, формирующими изображения. При помощи V4L2 приложение может открыть устройство, запросить информацию о его возможностях, установить параметры захвата изображения и выбрать выходной формат и метод обработки. Два аспекта очень важны для нас: метод обработки в выходной формат.

Под методом обработки понимается процесс доставки видеопотока от устройства захвата к пользовательскому приложению. Этот процесс менее банален, чем кажется на первый взгляд, потому что драйвер хранит данные в пространстве ядра, а пользовательское приложение - в пользовательском пространстве. Существуют два метода для осуществления доставки данных. Это интерфейс "чтения", при использовании которого для получения данных, производится чтение из файла устройства при помощи функции read() и интерфейс "поточной передачи".

Поскольку скорость является важным параметром, интерфейс поточной передачи предпочтителен, так как он значительно быстрее интерфейса чтения. Интерфейс чтения медленнее, так как при его использовании необходимо копировать все данные из пространства ядра в пространство пользователя. Интерфейс поточной передачи, с другой стороны, может исключить это копирование двумя способами: интерфейс может предоставить приложению из пространства пользователя доступ к буферам драйвера (процесс называется отображением в память) или приложение может предоставить драйверу доступ к буферам в пространстве пользователя (процесс называется вводом/выводом с использованием указателя пользователя). Это освобождает от дополнительной работы по копированию данных изображения каждый раз, когда они доступны. Недостатком интерфейса поточной передачи является сложность: каждый раз вам придется управлять множеством буферов вместо простого чтения из одного буфера при помощи функции read().

Как бы то ни было, использование сложного метода чтения данных стоит затраченного на его реализацию времени. Единственное значительное повышение производительности программы Glutcam было получено после перехода с интерфейса чтения на интерфейс поточной передачи.

Вторым важным моментом является выходной формат. Не все устройства могут предоставлять данные во всем диапазоне форматов. Некоторые из них используют внутренние алгоритмы ядра для преобразования данных из формата, предоставляемого устройством, в формат, запрошенный пользовательским приложением. Преобразование производится тогда, когда формат, запрошенный пользовательским приложением, не входит в список форматов, предоставляемых устройством. Драйвер ядра выполняет преобразование форматов, занимая при этом часть ресурсов центрального процессора. В качестве стратегии выбран перенос как можно большего количества этих операций на графический адаптер. Поэтому следует выбирать формат, при котором осуществляется минимальное количество операций в пространстве ядра.

Существует множество форматов, отличающихся способом хранения данных изображения в памяти. Одним из различий является метод хранения компонентов в "плоскостном" ("planar") или "упакованном' ("packed") виде. В форматах с компонентами, хранящимися в "плоскостном" виде, значения Y хранятся вместе, а после них следуют блоки значений U и V. В форматах с компонентами, хранящимися в "упакованном" виде, все значения хранятся вместе.

Программа Glutcam принимает формат RGB, оттенки серого, YUV420 с компонентами в "плоскостном" виде и YUV422 с компонентами в "упакованном" виде. Некоторые устройства поддерживают только формат JPEG; Glutcam не работает с JPEG.

OpenGL

Технология V4L2 позволяет получить данные; для вывода изображения мы будем использовать технологию OpenGL. Библиотека OpenGL для обработки графики в реальном времени была выпущена компанией SGI в 1992 году. Brian Paul выпустил библиотеку Mesa, предоставляющую API OpenGL в 1995 году. Mesa позволяла работать с функциями OpenGL в программном режиме. В 2000 году компания SGI выпустила прототип реализации OpenGL под свободной лицензией. В вашей системе должны быть программные компоненты для поддержки OpenGL или от проекта Mesa или вы можете получить их у производителя вашего видеоадаптера. Производители часто выпускают библиотеки для поддержки OpenGL, использующие их аппаратное обеспечение и позволяющие выполнять операции быстрее полностью программных решений. В 2006 году контроль над развитием API перешел к некоммерческому технологическому консорциуму Khronos Group. Сегодня вы можете встретить реализацию OpenGL во всех устройствах, начиная с суперкомпьютеров и заканчивая мобильными телефонами.

OpenGL предоставляет два метода обработки данных: метод обработки фрагментов и метод обработки пикселей. Метод обработки фрагментов является наиболее известным. Вы предоставляете информацию о освещении, цветах, геометрии и текстурах, после чего OpenGL генерирует изображение. Вторым является метод обработки пикселей. Метод начинает работу с получения пикселей и текстур и позволяет вам оперировать ими для генерации изображения. Необязательной частью OpenGL является расширение ARB Imaging Subset, добавляющее некоторые часто используемые операции по обработке изображений. Даже без этого расширения OpenGL содержит множество встроенных функций для изменения размеров, деформирования, вращения, совмещения изображений и оверлеев. OpenGL также содержит компилятор и окружение времени выполнения для шейдеров, разработанных с применением языка GLSL. Это обстоятельство заставляет нас рассмотреть следующий компонент: шейдеры.

Эта статья описывает фрагментные шейдеры GLSL.

Программы шейдеров позволяют внести изменения в "конвейер фиксированной функциональности" ("fixed functionality pipeline") OpenGL. Фрагментные шейдеры получают исходные данные в виде текстур OpenGL и переменных шейдера (Рисунок 1). Язык шейдеров имеет синтаксис, похожий на синтаксис языка C с аналогичными базовыми типами и структурами, задаваемыми пользователем.

Рисунок 1. Программы фрагментных шейдеров

void main(void)
{
    // Присваивание значения переменной gl_FragColor устанавливает 
    // цвет текущей части изображения. Эта функция устанавливает
    // красный цвет без прозрачности. Аргументы функции vec4 являются
    // компонентами цвета (красный, зеленый, синий, альфа-канал).
    gl_FragColor = vec4(1.0, 0.0, 0.0, 1.0);
}

GLSL является языком C с добавленной поддержкой векторов и типом для доступа к текстурам. Текстуры читаются при помощи типов с названиями, содержащими "Sampler". Так как Glutcam использует двумерные массивы, мы будем использовать тип Sampler2D.

for y in height
    for x in width
        pixel(x, y) = something(input_image, x, y, ...);
    end
end

Эта модель также отлично совмещается с OpenGL и механизмом шейдеров (об этом читайте ниже).

При реализации этой модели в рамках механизма работы с шейдерами, параметр input_image является текстурой. OpenGL и механизм шейдеров самостоятельно реализуют циклы. Ваш фрагментный шейдер должен просто выполнять функцию "something(input_image, x, y, ...)". Однако, стоит помнить о том, что в ходе итераций циклы не могут взаимодействовать друг с другом. С учетом этого ограничения итерации циклов могут исполняться параллельно: концептуально будет существовать несколько экземпляров вашей программы для формирования каждого пикселя на выходе (Рисунок 2).

Рисунок 2. Множество параллельно работающих фрагментных шейдеров

Если ваша программа не удовлетворяет этим условиям, она либо не скмпилируется, либо скомпилируется и будет частично использовать ресурсы центрального процессора вместо исключительного задействования ресурсов видеоадаптера.

Если ваша проблема выходит за рамки перечисленных параметров, попробуйте применить похожие методы, такие, как технология CUDA от Nvidia или новая технология Open Computing Language (OpenCL). Страница "The General Purpose Graphics Processor Unit (GPGPU)" также описывает некоторые доступные инструменты и техники.

Библиотеки OpenGL Utility Toolkit Library (GLUT) или FreeGLUT

По сути OpenGL является технологией, предназначенной исключительно для обработки и вывода изображения. Она не предоставляет средств для создания и размещения окон или для обработки событий от клавиатуры и мыши. Подсистема GLX вашего X-сервера предназначена для выполнения этих действий (обратитесь к руководству glXIntro для получения более подробной информации).

Библиотека GLUT предоставляет возможность использовать все эти функции и вы можете разрабатывать код с применением функций обратного вызова для таких задач, как отрисовка окна или обработка событий клавиатуры и мыши. Библиотека GLUT реализует все низкоуровневые функции. Она также позволяет без лишних сложностей реализовать меню. В дополнение к библиотеке GLUT существует библиотека FreeGLUT c более либеральной лицензией (термином GLUT в данной статье обозначаются обе библиотеки). Программа Glutcam использует библиотеку FreeGLUT для выполнения вышеназванных функций.

GLUT является одним из самых простых инструментов для создания графических интерфейсов с использованием OpenGL, но, конечно же, не единственным. Обратитесь к разделу для разработчиков на веб-сайте OpenGL для получения информации об аналогичных инструментах.

Библитека OpenGL Extension Wrangler Library (GLEW)

Поскольку в развитии технологии OpenGL принимает участие множество групп специалистов, новые возможности не появляются одновременно в разных реализациях. Большинство новых возможностей появляются в виде расширений, предложенных членами рецензионной коллегии в области архитектуры OpenGL (OpenGL Architecture Review Board). Все эти расширения исследуются и проверяются в работе, после чего некоторые из них принимаются большим количеством производителей. Некоторые расширения попадают в основную спецификацию OpenGL. Механизм расширений OpenGL позволяет вашей программе во время выполнения узнать о том, какие возможности поддерживаются вашей библиотекой OpenGL и где расположены эти функции. Библиотека GLEW выполняет эту работу. GLEW также лежит в основе программы glewinfo, которая выводит информацию об используемой реализации OpenGL и поддерживаемых ею возможностях.

Glutcam

Наконец мы добрались до программы Glutcam. Glutcam соединяет вывод устройства V4L2 с окном OpenGL и использует фрагментные шейдеры для обработки изображения (Рисунок 3). В идеальном случае нам должно удастся сохранить ресурсы центрального процессора, использовав видеоадаптер для выполнения всех операций уровня пикселей. Как минимум, видеоадаптер должен производить преобразование выходного формата камеры в формат RGB для вывода. Поскольку я хотел реализовать дополнительные возможности помимо преобразования цветового пространства, Glutcam также поддерживает операцию распознавания контуров объектов. Распознавание контуров является классической операцией обработки изображений. Вы можете использовать меню для указания того, с помощью какого устройства будет выполняться алгоритм распознавания контуров: центрального процессора или видеоадаптера. Вы можете сравнить результаты, сравнив частоту кадров, выводимую Glutcam, или загрузку центрального процессора, которую можно узнать при помощи команды top.

Рисунок 3. Путь данных от камеры до экрана

В благоприятном случае вы зададите такой выходной формат для устройства захвата изображения, с которым могут работать ваши шейдеры, после чего поместите данные изображения в одну или несколько текстур OpenGL. В процессе вывода изображения данные обрабатываются вашим фрагментным шейдером. Если вы не используете алгоритм распознавания контуров или выполняете его при помощи центрального процессора, шейдер производит преобразование изображения в формат RGB для вывода. Если вы выбрали распознавание контуров при помощи видеоадаптера, шейдер выполняет алгоритм и выводит результат.

-1  -1  -1
    -1   8  -1
    -1  -1  -1

То есть, вы вычисляете результирующее значение цвета для каждого пикселя, используя исходное значение цвета пикселя, умножая его на 8, затем вычитая значения цветов соседних пикселей. В тех местах, где пиксель имеет такой же цвет, как и у соседних пикселей, значение его цвета становится равным нулю (черный цвет). Таким образом, контуры (где цвета резко меняются) становятся выделенными. Места, где цвета изменяются медленно, затемняются. Ядра и свертывания являются рабочими лошадками в области обработки изображений. Вы можете использовать идентичный алгоритм и просто поменять значения ядра для получения множества эффектов, таких, как увеличение резкости, размытие границ и сглаживание.

В рамках шейдера этот процесс представляется в форме извлечения значения цвета пикселя из исходной текстуры, умножения его, затем вычитания из него значений цветов соседних элементов текстуры и вывода результата. Он больше похож на простое алгебраическое действие, но в итоге получается аналогичный результат.

Перед тем, как приступить к компиляции Glutcam, стоит удостовериться в том, что программные компоненты FreeGLUT/GLUT, GLEW, OpenGL 2.0, V4L2 (не V4L1) и соответствующие пакеты для разработки установлены в вашей системе. Распакуйте исходный код и рассмотрите директивы сборки в файле Makefile. Исходные коды программы прикреплены к данной статье. Ссылку на архив с ними вы можете найти в конце статьи.

glutcam [-d devicefile][-w width][-h height] \
              [-e LUMA | YUV420 | YUV422 | RGB]

В том случае, если программа вызвана без параметров, она будет выводить тестовые таблицы из оттенков серого разрешением 320x320.

glutcam -d /dev/video1 -w 640 -h 480 -e YUV420

$ glutcam -d /dev/video0 -w 640 -h 480 -e YUV422
Info: '/dev/video0' connects to UVC Camera (046d:08c5)
      using the uvcvideo driver

Device has the following capabilities
Device: 'UVC Camera (046d:08c5)' Driver: 'uvcvideo'
Device supports video capture.
Device can NOT supply data by read
Device supports streaming I/O
Device does NOT support asynchronous I/O
Device has the following controls available using device file /dev/video0
 Control Brightness:integer 0 to 255 in increments of 1
 ...
Source supplies the following formats:
[0] MJPEG
[1] YUV 4:2:2 (YUYV)
device supports -e YUV422
Warning: VIDIOC_S_CROP cropping not supported: Invalid argument

Opengl information
Opengl vendor 'NVIDIA Corporation'
 renderer 'Quadro FX 1500/PCI/SSE2'
 version '2.1.2 NVIDIA 169.09'
Supported texture units: 4
...

Shader information:
8 active vars
0 'chroma_texcoord_offsets'
...

Press a key in the display window

Вам необходимо выяснить, какое устройство является источником изображения (например, -d /dev/videoN), изображения какого размера оно генерирует (-w,-h) и в каком формате они генерируются (-e) в вашей системе.

Нажмите кнопку в окне Glutcam для начала показа изображения с вашей вебкамеры. Пример показан на Рисунке 4.

Рисунок 4. Вид окна

Если у вас получилось вывести изображение, вы можете включить или выключить гистограмму с помощью соответствующего пункта меню (Рисунок 5). Гистограмма показывает количество пикселей для каждого значения яркости на входе в процесс обработки с помощью OpenGL. Функция распознавания контуров объектов с использованием центрального процессора влияет на гистограмму (так как изображение изменяется до начала обработки с помощью шейдера), но эта же функция с использованием шейдера на гистограмму никак не влияет.

Рисунок 5. Вид окна с гистограммой

Используйте правую кнопку мыши по отношению к окну для вызова меню (Рисунок 6). Вы можете выбрать один из алгоритмов обработки изображения для того, чтобы увидеть функцию распознавания контуров объектов в работе (Рисунок 7). Попробуйте оба варианта алгоритма (с использованием центрального процессора и шейдера) и сравните результаты, основываясь на частоте кадров и загрузке центрального процессора, полученной при помощи команды top.

Когда центральный процессор обрабатывает каждый пиксель (при отображении гистограммы или распознавании контуров объектов), частота кадров значительно падает (на 50-70%) и загрузка центрального процессора значительно возрастает (на 100-200%). Но из этих результатов не стоит делать выводов. И аппаратные реализации и реализации OpenGL значительно различаются. Напомню, что исключительно программные реализации OpenGL работают медленнее. Glutcam работает начиная с Mesa 7.6-01; с этой версией вы увидите вывод, но скорее всего не увидите частоту кадров.

Рисунок 6. Параметры распознавания контуров объектов в программе Glutcam

Рисунок 7. Режим распознавания контуров объектов программы Glutcam

Заключение

Давно, в 1990-х годах (когда были распространены системы на базе процессоров семейства 486) мое внимание привлек вопрос в новостных группах Usenet. Автор вопроса интересовался тем, как использовать сопроцессор для ускорения алгоритма трассировки лучей. Лучшим советом было перепрограммирование процессоров цифровой обработки сигналов на звуковой карте. Мысль об использовании звуковой карты для улучшения работы с графикой смутила меня. С программируемыми видеоадаптерами и сопутствующими технологиями, такими, как CUDA и OpenCL вы можете использовать аппаратное обеспечение для работы с графикой с целью ускорения других вычислений.