Фреймворк GStreamer. Руководство разработчика приложений. Манипуляции с конвейером

#include <stdlib.h> #include <gst/gst.h> #define MAX_ROUND 100 int main (int argc, char **argv) { GstElement *pipe, *filter; GstCaps *caps; gint width, height; gint xdir, ydir; gint round; GstMessage *message; gst_init (&argc, &argv); pipe = gst_parse_launch_full ("videotestsrc ! capsfilter name=filter ! " "ximagesink", NULL, GST_PARSE_FLAG_NONE, NULL); g_assert (pipe != NULL); filter = gst_bin_get_by_name (GST_BIN (pipe), "filter"); g_assert (filter); width = 320; height = 240; xdir = ydir = -10; for (round = 0; round < MAX_ROUND; round++) { gchar *capsstr; g_print ("изменение размера до %dx%d (%d/%d) \r", width, height, round, MAX_ROUND); /* мы предпочитаем использовать фиксированные ширину и высоту, но также позволяем * использовать другие размеры кадра */ capsstr = g_strdup_printf ("video/x-raw, width=(int)%d, height=(int)%d", width, height); caps = gst_caps_from_string (capsstr); g_free (capsstr); g_object_set (filter, "caps", caps, NULL); gst_caps_unref (caps); if (round == 0) gst_element_set_state (pipe, GST_STATE_PLAYING); width += xdir; if (width >= 320) xdir = -10; else if (width < 200) xdir = 10; height += ydir; if (height >= 240) ydir = -10; else if (height < 150) ydir = 10; message = gst_bus_poll (GST_ELEMENT_BUS (pipe), GST_MESSAGE_ERROR, 50 * GST_MSECOND); if (message) { g_print ("получено сообщение об ошибке \n"); gst_message_unref (message); } } g_print ("выполнено \n"); gst_object_unref (filter); gst_element_set_state (pipe, GST_STATE_NULL); gst_object_unref (pipe); return 0; }

Существует несколько важных аспектов, которые необходимо учитывать при создании динамических конвейеров:

• При удалении элементов из конвейера следует убедиться в том, что не происходит передачи данных через несвязанные точки соединения, так как это приведет к фатальной ошибке конвейера. Всегда блокируйте выходные точки соединения (в режиме заполнения) или входные точки соединения (в режиме передачи) перед разрывом связей точек соединения. Также обратитесь к разделу под названием "Замена элементов в конвейере" для получения дополнительной информации.
• При добавлении элементов в конвейер следует убедиться в том, что элемент переведен в нужное состояние, обычно совпадающее с состоянием соединяемого с ним элемента, перед тем, как начинать передачу данных через этот элемент. После того, как элемент впервые создается, он находится в отключенном состоянии (NULL) и возвращает ошибку при получении данных. Также обратитесь к разделу под названием "Замена элементов в конвейере" для получения дополнительной информации.
• При добавлении элементов в конвейер фреймворк GStreamer по умолчанию будет устанавливать значение таймера и базового времени элемента на основе соответствующих текущих значений конвейера. Это значит, что элемент будет иметь возможность вычислять то же затраченное время, что и другие элементы конвейера. Также это значит, что все элементы вывода данных будут синхронизировать буферы точно так же, как и другие элементы вывода данных конвейера, а элементы ввода данных будут генерировать буферы с установленным затраченным временем, которое будет совпадать с затраченным временем других элементов ввода данных.
• При разрыве связей элементов с цепочкой из предыдущих элементов всегда убеждайтесь в том, что опустошили все буферы элемента с данными очередей путем отправки события завершения потока EOS к точке(ам) соединения элемента вывода данных и ожидания момента, когда событие EOS покинет рассматриваемые элементы (с помощью зонда для отслеживания событий). Также следует обратиться к разделу под названием "Замена элементов в конвейере" для получения дополнительной информации.
• Источник данных реального времени будет генерировать буферы с меткой затраченного времени, соответствующего текущему затраченному времени конвейера.
  Конвейеры без источников реального времени генерируют буферы с меткой затраченного временем начиная со значения 0. Аналогично после перемещения в потоке с опустошением буферов эти конвейеры сбрасывают счетчик затраченного времени к значению 0.
  Затраченное время может быть изменено с помощью функции gst_pad_set_offset (). Затраченное время элементов в конвейере важно знать для поддержки работоспособности механизма синхронизации мультимедийных потоков.
• Добавление элементов в конвейер может привести к изменению состояния конвейера. Добавление неподготовленного элемента для вывода данных, например, переведет конвейер назад в состояние подготовки. Удаление неподготовленного элемента для вывода данных, к примеру, может привести к изменению состояния конвейера до состояния "пауза" (PAUSED) или "проигрывается" (PLAYING).
  Добавление источника данных реального времени отменяет этап подготовки и переводит конвейер с состояние "проигрывается". Добавление источника данных реального времени или других элементов реального времени может также привести к изменению задержки конвейера.
  Добавление или удаление элементов конвейера может привести к изменению выбора таймера конвейера. В том случае, если добавленный элемент предоставляет таймер, замена таймера конвейера на новый таймер может оказаться полезной. Если же, с другой стороны, элемент, предоставляющий таймер для конвейера, удаляется, должен быть выбран новый таймер.
• Добавление и удаление элементов может привести к повторному согласованию элементами впереди и позади текущего элемента в конвейере возможностей и механизмов резервирования буферов. Вам не придется делать что-либо на уровне приложения, так как плагины по большей части самостоятельно адаптируются к новой топологии конвейера с целью оптимизации использования форматов и стратегии резервирования буферов.
  Важным аспектом в данном случае является то, что при добавлении, удалении или изменении элементов в конвейере имеется вероятность того, что конвейеру требуется согласовать использование нового формата, причем это согласование может закончиться неудачей. Обычно вы можете исправить ситуацию, установив дополнительные элементы для корректного преобразования форматов в случае необходимости. Также следует обратиться к разделу с названием "Замена элементов в конвейере" для получения дополнительной информации.

            - ----.      .----------.      .---- -
         element1 |      | element2 |      | element3
                вых. -> вход.     вых. -> вход.
            - ----'      '----------'      '---- -

Мы не можем просто отвязать входную точку соединения элемента element2 от выходной точки соединения элемента elemtnt1, так как в этом случае выходная точка соединения элемента element1 не будет связана с какой-либо точкой соединения, что приведет к ошибке обработки потока с помощью конвейера в момент, когда данные будут передаваться на эту выходную точку соединения. Техника замены элемента конвейера заключается в блокировании потока данных от выходной точки соединения элемента element1 перед заменой элемента element2 на элемент element4 с последующим восстановлением потока данных, как указано в пошаговом описании алгоритма:

• Заблокировать выходную точку соединения элемента element2 с помощью блокирующего зонда для точки соединения. Если точка соединения заблокируется, будет активирована функция обратного вызова зонда.
• После активации функции обратного вызова блокирующего зонда никакие данные не будут передаваться между элементами element1 и element2, причем передача не будет осуществляться до того момента, пока точка соединения не будет разблокирована.
• Разорвать связь между точками соединения элементов element1 и element2.
• Убедиться в том, что все накопленные элементом element2 данные переданы по конвейеру. Некоторые элементы могут хранить определенный объем данных с помощью внутренних механизмов, поэтому вам следует убедиться в том, что никакие данные не будут потеряны при удалении элемента element2 из конвейера. Вы можете сделать это, отправив событие окончания потока (EOS) элементу element2 аналогичным описанному ниже способом:
  • Разместить зонд для обработки событий в выходной точке соединения элемента element2.
  • Отправить событие окончания потока (EOS) на входную точку соединения элемента element2. Отправка этого события позволяет гарантировать передачу по конвейеру всех данных, хранимых элементом element2.
  • Ожидать появления события окончания потока в выходной точке соединения элемента element2. В момент приема события окончания потока отбросить его и удалить зонд для обработки событий.
• Разорвать связь между элементами element2 и element3. Теперь вы можете также удалить элемент element2 из контейнера и перевести его в неопределенное состояние (NULL).
• Добавить элемент element4 в конвейер в том случае, если он еще не добавлен. Связать элементы element4 и element3. Связать элементы element1 и element4.
• Убедиться в том, что элемент element4 находится в том же состоянии, что и все оставшиеся элементы конвейера. По крайней мере, он должен находиться в состоянии "пауза" (PAUSED) перед тем, как сможет принимать буферы и события.
• Разблокировать блокирующий зонд выходной точки соединения элемента element1. Это позволит передавать новые данные элементу element4 и продолжать обработку потока.

#include <gst/gst.h> static gchar *opt_effects = NULL; #define DEFAULT_EFFECTS "identity,exclusion,navigationtest," \ "agingtv,videoflip,vertigotv,gaussianblur,shagadelictv,edgetv" static GstPad *blockpad; static GstElement *conv_before; static GstElement *conv_after; static GstElement *cur_effect; static GstElement *pipeline; static GQueue effects = G_QUEUE_INIT; static GstPadProbeReturn event_probe_cb (GstPad * pad, GstPadProbeInfo * info, gpointer user_data) { GMainLoop *loop = user_data; GstElement *next; if (GST_EVENT_TYPE (GST_PAD_PROBE_INFO_DATA (info)) != GST_EVENT_EOS) return GST_PAD_PROBE_OK; gst_pad_remove_probe (pad, GST_PAD_PROBE_INFO_ID (info)); /* перемещение текущего эффекта назад в очередь */ g_queue_push_tail (&effects, gst_object_ref (cur_effect)); /* извлечение следующего события из очереди */ next = g_queue_pop_head (&effects); if (next == NULL) { GST_DEBUG_OBJECT (pad, "Эффектов больше не осталось"); g_main_loop_quit (loop); return GST_PAD_PROBE_DROP; } g_print ("Переход от '%s' к '%s'..\n", GST_OBJECT_NAME (cur_effect), GST_OBJECT_NAME (next)); gst_element_set_state (cur_effect, GST_STATE_NULL); /* При удалении автоматически уничтожаются связи */ GST_DEBUG_OBJECT (pipeline, "удаление %" GST_PTR_FORMAT, cur_effect); gst_bin_remove (GST_BIN (pipeline), cur_effect); GST_DEBUG_OBJECT (pipeline, "добавление %" GST_PTR_FORMAT, next); gst_bin_add (GST_BIN (pipeline), next); GST_DEBUG_OBJECT (pipeline, "связывание.."); gst_element_link_many (conv_before, next, conv_after, NULL); gst_element_set_state (next, GST_STATE_PLAYING); cur_effect = next; GST_DEBUG_OBJECT (pipeline, "done"); return GST_PAD_PROBE_DROP; } static GstPadProbeReturn pad_probe_cb (GstPad * pad, GstPadProbeInfo * info, gpointer user_data) { GstPad *srcpad, *sinkpad; GST_DEBUG_OBJECT (pad, "сейчас точка соединения заблокирована"); /* Удаление зонда в первую очередь */ gst_pad_remove_probe (pad, GST_PAD_PROBE_INFO_ID (info)); /* Добавление нового зонда для отправки события окончания потока (EOS) */ srcpad = gst_element_get_static_pad (cur_effect, "src"); gst_pad_add_probe (srcpad, GST_PAD_PROBE_TYPE_BLOCK | GST_PAD_PROBE_TYPE_EVENT_DOWNSTREAM, event_probe_cb, user_data, NULL); gst_object_unref (srcpad); /* Передача события EOS элементу; функция обратного вызова зонда будет активирована в * тот момент, когда событие EOS покинет элемент эффекта, что приведет к передаче накопленных элементом данных ко конвейеру*/ sinkpad = gst_element_get_static_pad (cur_effect, "sink"); gst_pad_send_event (sinkpad, gst_event_new_eos ()); gst_object_unref (sinkpad); return GST_PAD_PROBE_OK; } static gboolean timeout_cb (gpointer user_data) { gst_pad_add_probe (blockpad, GST_PAD_PROBE_TYPE_BLOCK_DOWNSTREAM, pad_probe_cb, user_data, NULL); return TRUE; } static gboolean bus_cb (GstBus * bus, GstMessage * msg, gpointer user_data) { GMainLoop *loop = user_data; switch (GST_MESSAGE_TYPE (msg)) { case GST_MESSAGE_ERROR:{ GError *err = NULL; gchar *dbg; gst_message_parse_error (msg, &err, &dbg); gst_object_default_error (msg->src, err, dbg); g_error_free (err); g_free (dbg); g_main_loop_quit (loop); break; } default: break; } return TRUE; } int main (int argc, char **argv) { GOptionEntry options[] = { {"effects", 'e', 0, G_OPTION_ARG_STRING, &opt_effects, "Предлагаемые видеоэффекты (разделенный запятыми список названий элементов)", NULL}, {NULL} }; GOptionContext *ctx; GError *err = NULL; GMainLoop *loop; GstElement *src, *q1, *q2, *effect, *filter1, *filter2, *sink; gchar **effect_names, **e; ctx = g_option_context_new (""); g_option_context_add_main_entries (ctx, options, NULL); g_option_context_add_group (ctx, gst_init_get_option_group ()); if (!g_option_context_parse (ctx, &argc, &argv, &err)) { g_print ("Ошибка при инициализации: %s\n", err->message); return 1; } g_option_context_free (ctx); if (opt_effects != NULL) effect_names = g_strsplit (opt_effects, ",", -1); else effect_names = g_strsplit (DEFAULT_EFFECTS, ",", -1); for (e = effect_names; e != NULL && *e != NULL; ++e) { GstElement *el; el = gst_element_factory_make (*e, NULL); if (el) { g_print ("Добавление эффекта '%s'\n", *e); g_queue_push_tail (&effects, el); } } pipeline = gst_pipeline_new ("pipeline"); src = gst_element_factory_make ("videotestsrc", NULL); g_object_set (src, "is-live", TRUE, NULL); filter1 = gst_element_factory_make ("capsfilter", NULL); gst_util_set_object_arg (G_OBJECT (filter1), "caps", "video/x-raw, width=320, height=240, " "format={ I420, YV12, YUY2, UYVY, AYUV, Y41B, Y42B, " "YVYU, Y444, v210, v216, NV12, NV21, UYVP, A420, YUV9, YVU9, IYU1 }"); q1 = gst_element_factory_make ("queue", NULL); blockpad = gst_element_get_static_pad (q1, "src"); conv_before = gst_element_factory_make ("videoconvert", NULL); effect = g_queue_pop_head (&effects); cur_effect = effect; conv_after = gst_element_factory_make ("videoconvert", NULL); q2 = gst_element_factory_make ("queue", NULL); filter2 = gst_element_factory_make ("capsfilter", NULL); gst_util_set_object_arg (G_OBJECT (filter2), "caps", "video/x-raw, width=320, height=240, " "format={ RGBx, BGRx, xRGB, xBGR, RGBA, BGRA, ARGB, ABGR, RGB, BGR }"); sink = gst_element_factory_make ("ximagesink", NULL); gst_bin_add_many (GST_BIN (pipeline), src, filter1, q1, conv_before, effect, conv_after, q2, sink, NULL); gst_element_link_many (src, filter1, q1, conv_before, effect, conv_after, q2, sink, NULL); gst_element_set_state (pipeline, GST_STATE_PLAYING); loop = g_main_loop_new (NULL, FALSE); gst_bus_add_watch (GST_ELEMENT_BUS (pipeline), bus_cb, loop); g_timeout_add_seconds (1, timeout_cb, loop); g_main_loop_run (loop); gst_element_set_state (pipeline, GST_STATE_NULL); gst_object_unref (pipeline); return 0; }