Видео и микропроцессорные системы (Молодяков С.А., Круглов С.А., Сараджишвили С.Э.)

Руководители: профессор, д.т.н. Молодяков Сергей Александрович molod@ics2.ecd.spbstu.ru ; доцент, к.т.н. Круглов Сергей Константинович kruglovsk@gmail.com; Сараджишвили Сергей Эрикович SSaradg@yandex.ru

Основные направления научных исследований:

проектирование видео систем с распределенной обработкой информации,
разработка систем с акустооптическими процессорами для применений в радиоастрономии и аэрономии,
проектирование специализированных видеокамер с применением линейных и матричных фотоприемников,
обработка изображений.

Научное направление «Методы распределенной обработки сигналов и проектирование видео и микропроцессорных систем», а затем и научная группа сформировались в конце 80-х годов 20 века. Основой послужили совместные с кафедрой радиофизики работы, проводимые в рамках научно-образовательного центра «Оптоэлектронные проблемы информатики». За прошедшее время выполнено несколько крупных проектов и исследований.

Некоторые результаты исследований и разработок:

Широкополосный анализатор спектра для исследования газового состава атмосферы. В системе обработки изображений использовался линейный фотоприемник на приборе с зарядовой связью (ПЗС).
Оптоэлектронная система для обработки сигналов (формирования диаграммы направленности) для Сибирского солнечного радиотелескопа (ССРТ) г. Иркутск, ур. Бадары. Применен матричный ПЗС-фотоприемник в специальном режиме синхронного накопления.
Макет гибридной микросхемы (микросборки) вектор-матричного оптоэлектронного процессора. Особенность микросборки заключается в использовании сэндвич-структуры с линейкой светодиодов, волоконной шайбой и матричным ПЗС-фотоприемником, работающим в режиме временной задержки и накопления.
Система сбора и обработки данных для Института Прикладной Астрономии РАН. Система построена с применением цифрового сигнального процессора, программируемой логики и волоконнооптических линий связи.
Оптоэлектронная система для наблюдений радиоизлучения пульсаров. Система включает акустооптический Фурье-процессор, линейный CCD-фотоприемник, цифровой сигнальный процессор и ЭВМ. Она обеспечивает регистрацию радиоизлучения пульсаров с компенсацией их дисперсионных искажений в реальном времени в широкой полосе приема, синхронное сложение сигналов с периодом повторения импульсов пульсаров, а также регулярную с периодом 10 минут калибровку системы.

Основные публикации:

За 5 лет опубликовано более 30 печатных работ, в их числе две монографии:

Молодяков С.А. Проектирование специализированных цифровых видеокамер. / СПб. : Изд-во Политехн. ун-та, 2016 .— 286 с. — ISBN 978-5-7422-5334-1
Молодяков С.А. Фотоприемники в системах потоковой обработки сигналов и изображений. / С. А. Молодяков; Санкт-Петербургский государственный политехнический университет .— СПб. : Изд-во Политехн. ун-та, 2014 .— 134 с.
Молодяков С.А. Системное проектирование оптоэлектронных процессоров обработки сигналов. СПб.: Изд-во Политехн. ун-та, 2011.- 226 с., ISBN 978-5-7422-3016-8
Сараджишвили С. Э., Хромов В. В. Цифровая обработка и передача многомерных сигналов : учебное пособие для вузов по направлению подготовки магистров «Системный анализ и управление» /; Санкт-Петербургский государственный политехнический университет .— Санкт-Петербург : Изд-во Политехн. ун-та, 2013 .— 187 с. ISBN 978-5-7422-4003-7.

и статьи:

Молодяков С.А. Специализированная видеокамера режима временной задержки и накопления для обработки сигналов. // Вопросы радиоэлектроники. Серия: Техника телевидения.- 2017.- № 1.- С. 31-38.
Лавров А.П. Молодяков С.А. Оптоэлектронный процессор для регистрации радиоизлучения пульсаров. // Приборы и техника эксперимента.- 2015.- №1.- С.136–145. DOI: 10.7868/S0032816214060081
И. Г. Бронштейн, Ф. М. Иночкин, С. К. Круглов, Т. А. Компан, С. В. Кондратьев, А. С. Коренев, Н. Ф. Пухов. Оптико-электронная измерительная система высокотемпературного дилатометра // Измерительная техника. 2015. № 12. С. 38
Молодяков С.А. Применение ПЗС-фотоприемников для предварительной обработки сигналов //Датчики и системы. 2014.- № 5 (180).- С. 2-10.
Молодяков С.А. Методика использования в цифровых камерах пульсарных процессоров кадровых ПЗС-фотоприемников в режиме временной задержки и накопления // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2013.- № 5.- С.163-182 DOI: http://dx.doi.org/10.7463/0513.0577481
Rozanov S.B., Kruglov S.K., Saenko I.I., et all TRANSPORTABLE MILLIMETER-WAVE SPECTROMETER FOR MONITORING OF THE ATMOSPHERIC OZONE // Proceedings — 2013 International Kharkov Symposium on Physics and Engineering of Microwaves, Millimeter and Submillimeter Waves, MSMW 2013. С. 483-485
МолодяковС.А. Особенности и алгоритмы цифровой обработки сигналов в оптоэлектронных процессорах // Цифровая обработка сигналов. 2013. №3. С. 61-66.
Лавров А.П., Молодяков С.А. Метод калибровки частотной шкалы пульсарного оптоэлектронного процессора и его реализация с применением ЦСП // Цифровая обработка сигналов. 2013. №3. С. 67-73.
Сараджишвили С.Э., Кононов Н.А. МЕТОДИКА ВЫДЕЛЕНИЯ ЦВЕТОВЫХ СЛОЕВ НА ОТСКАНИРОВАННЫХ ИЗОБРАЖЕНИЯХ ТОПОГРАФИЧЕСКИХ КАРТ Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2009. Т. 6. № 91. С. 35-40.

Лаборатория оснащена видео комплексами, отладочными модулями с цифровыми сигнальными процессорами и программируемой логикой, видеокамерами, современными измерительными приборами.

Список задач для НИР студентов, представленный НИИАС в 2018 году по четырем темам

Тема 1. Обработка стерео изображений.

Реализация алгоритма визуальной одометрии. Цель: описать траекторию движения локомотива.

Входные данные:

Синхронизированные кадры стереопары.
Матрицы внутренних и внешних параметров камеры.

Выходные данные:

Данные о смещении локомотива в пространстве между кадрами.

Ссылка на статьи и результаты тестирования алгоритмов на датасете Kitti: http://www.cvlibs.net/datasets/kitti/eval_odometry.php

Определение поворота камер относительно рельсовой колеи. Цель: вычислить угол поворота камеры по трём осям относительно рельсовой колеи

Входные данные:

Синхронизированные кадры стереопары.
Матрицы внутренних и внешних параметров камеры.

Выходные данные:

Значения углов поворота по осям OX, OY, OZ

Фильтрация карты диспаратности, полученной с помощью версии алгоритма на графическом ускорителе. Цель: оптимально с точки зрения качества и производительности отфильтровать карту диспаратности, полученную с помощью алгоритма BlockMatching’a. (Важно! Необходимо использовать реализацию алгоритма на графическом ускорителе (CUDA) из библиотеки OpenCV версии не ниже 3.3.0.)

Входные данные:

Синхронизированные кадры стереопары.
Матрицы внутренних и внешних параметров камеры.

Выходные данные:

Карта диспаратности, отфильтрованная от случайных выбросов, с уменьшенным количеством “пропущенных” зон.

Автоматическая калибровка камер. Цель: получить наиболее приближенные относительные параметры стереокамеры, заведомо игнорируя априорную информацию(за исключением матрицы внутренних параметров и матрицы дисторсии).

Входные данные:

Синхронизированные кадры стереопары.
Матрицы внутренних и параметров камеры.

Выходные данные:

Матрицы относительного поворота и смещения правой камеры от левой.

Стабилизация видео. Цель: реализовать алгоритм стабилизации видео по камерам, минимально исказив трехмерную геометрию сцены.

Входные данные:

Синхронизированные кадры стереопары.
Матрицы внутренних и внешних параметров камеры.

Выходные данные:

Стабилизированные кадры стереопары.
Полученная карта диспаратности.

Для реализации всех задач можно использовать библиотеку OpenCV, однако, версии не ниже 3.3.0. Применение других библиотек (распространяемых на условиях лицензий, не запрещающих эксплуатацию кода в коммерческих продуктах) не возбраняется. Сайт открытой библиотеки по компьютерному зрению (с подробной докумментацией и обучающей литературой): www.opencv.org Рекомендуемые языки программирования: C++, Python. Категорически не рекомендуемые языки программирования: Matlab.

Полезные курсы по компьютерному зрению:

Достаточно популярный и бесплатный курс на Udacity: https://www.udacity.com/course/introduction-to-computer-vision--ud810
Открытые лекции Университета Штата Пенсильвании: http://www.cse.psu.edu/~rtc12/CSE486/

Рекомендуемая литература для решения данных задач:Multiple View Geometry in Computer Vision | Richard Hartley

Тема 2. Задачи по нейронным сетям и классическим подходам детекции.

Реализация модели нейронной сети для детекциии определения показаний светофоров
- На входе изображение с камеры локомотива, установленной на крыше, на выходе координаты светофоров и их показания
  - Создание датасета светофоров и литер.
  - Выбор и реализация архитектуры нейронной сети для достижения наилучших результатов.
  - Использование фреймворков Keras, Tensorflow, PyTorch на выбор.
  - Визуализация результатов.
Реализация алгоритмов классического компьютерного зрения для детекции светофоров и литер на основе “скользящего окна”, HOG+ML алгоритмов и других подходов
- На входе изображение с камеры локомотива, установленной на крыше, на выходе координаты светофоров и их показаний
  - Изучение материалов курсов по компьютерному зрению
  - Выбор технологии для детекции объектов
  - Реализация на ЯП Python+openCV
  - Визуализация результатов
Реализация алгоритмов классического компьютерного зрения для детекции людей на основе “скользящего окна”, HOG+ML алгоритмов и других подходов
- На входе изображение с камеры локомотива, установленной на крыше, на выходе координаты объектов людей.
  - Изучение материалов курсов по компьютерному зрению
  - Выбор технологии для детекции объектов
  - Реализация на ЯП Python+openCV
  - Визуализация результатов
Реализация модели нейронной сети для подсчета количества пассажиров в вагоне ласточки.
- На входе изображение с камеры, установленной внутри вагона электропоезда ласточка, на выходе количество пассажиров в вагоне и координаты bounding box’ов людей
  - Использование датасетов различных открытых источников
  - Выбор и реализация архитектуры нейронной сети для достижения наилучших результатов.
  - Использование фреймворков Keras, Tensorflow, PyTorch на выбор.
  - Визуализация результатов.
Реализация модели нейронной сети для детекции драк в вагоне, определения типов движения людей.
- На входе видеозаписи чрезвычайных ситуаций, произошедших в ходе эксплуатации поездов ласточки, на выходе описание этих ситуаций.
  - Использование датасетов различных открытых источников
  - Выбор и реализация архитектуры нейронной сети для достижения наилучших результатов.
  - Использование фреймворков Keras, Tensorflow, PyTorch на выбор.
  - Визуализация результатов.
Разработка модели нейронной сети для фьюзинга данных с лидара и камер с целью поиска и классификации объектов.
- На входе записи данных с камер и лидаров, на выходе объединенные результаты с bounding box’ами объектов и их классами.
  - Использование датасетов различных открытых источников и подготовка своих
  - Выбор и реализация архитектуры нейронной сети для достижения наилучших результатов.

Тема 3. Задачи по встраиваемому ПО

Задачи для студентов от отдела разработки встраиваемых систем

Передача видеопотока с использованием gstreamer и dds фреймворка в реальном времени с управляющей обратной связью.
1. На стороне отправителя:
  1. Захват потока данных от камеры (web камера ноутбука) с помощью gstreamer
  2. Передача захваченного потока в соответствии со стандартом dds. Использование real-time режима передачи.
  3. Получение настроек потока данных от получателя и их применение. Частота кадров. Разрешение. Максимальный битрейт.
2. На стороне получателя:
  - Получение потока данных от отправителя и вывод на дисплей
  - Установка параметров передачи и отправка их отправителю
3. Оценка временных задержек передачи видеопотока при использовании технологии передачи LAN, WiFi,LTE

Описание фреймворков, стандарты, открытые источники кода и примеры реализации: Gstreamer: https://gstreamer.freedesktop.org DDS: https://www.omgwiki.org/dds/

Open source: https://github.com/objectcomputing/OpenDDS, https://github.com/ADLINK-IST/opensplice

Пример реализации базовых функций: https://www.s2e-systems.com/our-projects/videooverdds/, https://gstconf.ubicast.tv/videos/video-over-the-data-distribution-service-dds-using-gstreamer

Требования к разработке: Операционная система Linux Язык программирования c++ Использование аппаратных ускорителей для кодирования/декодирования видео

Запуск контейнеров с разделением ресурсов аппаратного ускорителя CUDA (вычислительных ядер и графической оперативной памяти)
1. Создание тестовых приложений использующих ресурсы графического ускорителя
2. Запуск на Intel платформе с графическим ускорителем Nvidia
3. Определение накладных расходов при контейнеризации
4. Определение особенностей оркестровки контейнеров при разделении ресурсов графического ускорителя

Описание фреймворков, стандарты, открытые источники кода и примеры реализации: nvidia-docker: https://github.com/NVIDIA/nvidia-docker/wiki Docker CE: https://docs.docker.com/

Требования к разработке: Операционная система Linux Язык программирования c++, bash? python

Тема 4. Задачи обработки и комплексирования данных.

Обработка облака точек с лидара IBEO Scala или IBEO LUX. Реализация алгоритма кластеризации (Adaptive Break Point detection) и другие. Сравнение алгоритмов кластеризации по производительности. Выделение простейших примитивов из кластеров (прямоугольник, эллипс, прямая). Нахождение прямоугольника наименьшей площади, описывающего все точки в кластере. (список литературы/статей при заинтересованности предоставлю).
Обработка данных с радара ARS-408 (Continental) или MRR (BOSCH). Фильтрация данных радара для выделения подвижных объектов.
Знакомство с Фреймворком ROS (Robot Operational System). Построение архитектуры системы технического зрения на основе готовых драйверов для лидаров IBEO, радара Continental ARS-408.
Определение местоположения локомотива на основе навигационных данных и модели движения с применением фильтра Калмана.

Усложнения: - добавление к входным данным одометра;

- использование карты пути.

Анализ существующих форматов карт для беспилотного транспорта, железнодорожного транспорта. NDS – navigation data standard

(https://en.wikipedia.org/wiki/Navigation_Data_Standard)

Разработка формата карты для беспилотного железнодорожного транспорта.На основе данных лидаров и радаров и информации о местоположении локомотива определение свободности пути с применением grid подхода (разбиение пространства на решетку, определение наилучшего размера ячейки). Формирование grid карты свободности/занятости пути перед беспилотным транспортом
Реализация алгоритма SLAM (непрерывной локализации и обновления карт) для железнодорожного подвижного состава.

Входные данные:

– координаты столбов (карта столбов)
- зашумленное местоположение локомотива от навигатора
- данные измерений лидара (набор кластеров)

Выходные данные:

- уточненное местоположение локомотива

Темы научно-исследовательских работ для студентов:

Разработка алгоритмов и программного обеспечения для системы управления сцепкой вагонов.
Исследование параллельно-конвейерных алгоритмов обработки видеоизображений.
Экспериментальное исследование возможностей обработки видео в системе на кристалле.
Исследование возможностей реализации алгоритмов обработки видеоданных библиотеки OpenCV в системе на кристалле.
Система сбора данных для акустооптического анализатора спектра.
Разработка алгоритмов и программ обработки изображений.

Иллюстрации к работам, которые были связанны с радиоастрономией

Радиотелескоп РТ-64 (г.Калязин) Пущинской радиоастрономической обсерватории Астрокосмического центра Физического института им.П.Н.Лебедева РАН. Радиотелескоп РТ-64 с диаметром антенны 64 м является одним из крупнейших отечественных полноповоротных радиотелескопов. Приемный комплекс радиотелескопа позволяет вести одновременный прием радиосигналов на четырех частотах.

РТ-64-2

SSRT

Сибирский солнечный радиотелескоп (ССРТ) института солнечно-земной физики СО РАН предназначен для исследования солнечной активности. ССРТ представляет собой многоэлементный корреляционный интерферометр типа креста Миллса. Он состоит из 256 антенн диаметром 2,5 м, расположенных по линии Север-Юг (С-Ю) и Восток — Запад (В-З) при расстоянии между антеннами 4,9 м. Синхронное сопровождение Солнца всеми антеннами обеспечивает общая система управления.

Радиотелескоп РТ-22 (п.Симеиз, Крым) Крымской астрономической обсерватории Радиотелескоп представляет собой двухзеркальную антенную систему с высокоточной поверхностью главного зеркала диаметром 22 метра, позволяющую принимать излучение в диапазоне от дециметровых до миллиметровых длин волн.

Ратан600

Радиотелескоп РАТАН-600 Специальной астрофизической обсерватории РАН является крупнейшим в мире радиотелескопом с рефлекторным зеркалом диаметром около 600 метров. Основными преимуществами телескопа является высокая чувствительность по яркостной температуре и многочастотность. Радиотелескоп расположен в Карачаево-Черкесии, недалеко от станицы Зеленчукская, на высоте 970 метров над уровнем моря

Зеркальный радиооптический телескоп диаметром 54 м (ROT-54/2.6) (институт радиофизических измерений Арм.АН сейчас ЗАО «Национальный институт метрологии» Армении). Расположен в горах Армении.

Профиль одиночного импульса пульсара 0329+54 и профиль, усредненный по 200 импульсам

PSR-Okno

В рабочем окне отражены два режима работы пульсарного процессора: наблюдение и калибровка. В трех зонах выводятся графики: текущий профиль импульса пульсара, полученный из цифрового сигнального процессора; профиль, накопленный в компьютере, и частотные реперы сигнала калибровки. В зоне графика калибровки имеется возможность следить за помеховой обстановкой в частотном диапазоне работы приемного комплекса радиотелескопа. В информационной зоне статистики можно наблюдать ряд параметров, таких как время начала и окончания наблюдений, текущее время, параметры пульсара и др