Streaming video processing of marine scenes using advanced processor instructions

Современные полупроводниковые технологии позволяют перейти к более развитым системам видеонаблюдения, где преобразование и обработка видеоинформации выполняются непосредственно на этапе съемки и формирования видеопотока. Умные камеры расширяют функциональность встроенных видеосенсоров, обеспечивая параллельную высокоуровневую обработку видео. В предлагаемом исследовании проведена разработка адаптивных алгоритмов спектрального преобразования изображений морских сюжетов, позволяющие решить необходимые задачи в реальном времени.Актуальным становится решение задачи использования современных процессорных технологий с использованием последних достижений в архитектуре процессорного ядра, в частности расширенные SSE-инструкции. Рассмотрен математический аппарат реализации адаптивных алгоритмов дискретного косинусного преобразования на базе SSEархитектуры процессорного ядра. Предложенные алгоритмы динамически выполняют предварительный анализ движения и определяют оптимальные размеры видеокубов. Для оценки эффективности предложенных алгоритмов сжатия было использовано множество различных изображений морских судов, полученных с камер и расположенных на беспилотниках с высоты 100-400м. Показаны результаты моделирования предложенных алгоритмов обработки видеоинформации морских сюжетов и определены количественные оценки информационных показателей качества видеосистем кодирования и декодирования изображений. Modern semiconductor technologies allow us to move to more advanced video surveillance systems, where the transformation and processing of video information is performed directly at the stage of shooting and forming a video stream. Smart cameras even extend the functionality of the built-in video sensors, providing parallel high-level video processing. In the proposed study, adaptive algorithms for spectral transformation of images of marine plots were developed, which allow solving the necessary problems in real time. The solution of the problem of using modern processor technologies using the latest achievements in the architecture of the processor core, in particular, advanced SSE instructions, becomes relevant. The mathematical apparatus for implementing adaptive algorithms for discrete cosine transformation based on the SSE architecture of the processor core is considered. Proposed algorithms dynamically perform preliminary motion analysis and determine optimal dimensions of video cubes. To evaluate the effectiveness of the proposed compression algorithms, many different images of naval vessels obtained from cameras and located on drones from a height of 100-400m were used. The results of modeling the proposed algorithms for processing video information of marine scenes are shown and quantitative estimates of information quality indicators of video systems for encoding and decoding images are determined.