Руководители: профессор, д.т.н. Молодяков Сергей Александрович molod@ics2.ecd.spbstu.ru ; доцент, к.т.н. Круглов Сергей Константинович kruglovsk@gmail.com; Сараджишвили Сергей Эрикович SSaradg@yandex.ru
Основные направления научных исследований:
- проектирование видео систем с распределенной обработкой информации,
- разработка систем с акустооптическими процессорами для применений в радиоастрономии и аэрономии,
- проектирование специализированных видеокамер с применением линейных и матричных фотоприемников,
- обработка изображений.
Научное направление «Методы распределенной обработки сигналов и проектирование видео и микропроцессорных систем», а затем и научная группа сформировались в конце 80-х годов 20 века. Основой послужили совместные с кафедрой радиофизики работы, проводимые в рамках научно-образовательного центра «Оптоэлектронные проблемы информатики». За прошедшее время выполнено несколько крупных проектов и исследований.
Некоторые результаты исследований и разработок:
- Широкополосный анализатор спектра для исследования газового состава атмосферы. В системе обработки изображений использовался линейный фотоприемник на приборе с зарядовой связью (ПЗС).
- Оптоэлектронная система для обработки сигналов (формирования диаграммы направленности) для Сибирского солнечного радиотелескопа (ССРТ) г. Иркутск, ур. Бадары. Применен матричный ПЗС-фотоприемник в специальном режиме синхронного накопления.
- Макет гибридной микросхемы (микросборки) вектор-матричного оптоэлектронного процессора. Особенность микросборки заключается в использовании сэндвич-структуры с линейкой светодиодов, волоконной шайбой и матричным ПЗС-фотоприемником, работающим в режиме временной задержки и накопления.
- Система сбора и обработки данных для Института Прикладной Астрономии РАН. Система построена с применением цифрового сигнального процессора, программируемой логики и волоконнооптических линий связи.
- Оптоэлектронная система для наблюдений радиоизлучения пульсаров. Система включает акустооптический Фурье-процессор, линейный CCD-фотоприемник, цифровой сигнальный процессор и ЭВМ. Она обеспечивает регистрацию радиоизлучения пульсаров с компенсацией их дисперсионных искажений в реальном времени в широкой полосе приема, синхронное сложение сигналов с периодом повторения импульсов пульсаров, а также регулярную с периодом 10 минут калибровку системы.
Основные публикации:
За 5 лет опубликовано более 30 печатных работ, в их числе две монографии:
- Молодяков С.А. Проектирование специализированных цифровых видеокамер. / СПб. : Изд-во Политехн. ун-та, 2016 .— 286 с. — ISBN 978-5-7422-5334-1
- Молодяков С.А. Фотоприемники в системах потоковой обработки сигналов и изображений. / С. А. Молодяков; Санкт-Петербургский государственный политехнический университет .— СПб. : Изд-во Политехн. ун-та, 2014 .— 134 с.
- Молодяков С.А. Системное проектирование оптоэлектронных процессоров обработки сигналов. СПб.: Изд-во Политехн. ун-та, 2011.- 226 с., ISBN 978-5-7422-3016-8
- Сараджишвили С. Э., Хромов В. В. Цифровая обработка и передача многомерных сигналов : учебное пособие для вузов по направлению подготовки магистров «Системный анализ и управление» /; Санкт-Петербургский государственный политехнический университет .— Санкт-Петербург : Изд-во Политехн. ун-та, 2013 .— 187 с. ISBN 978-5-7422-4003-7.
и статьи:
- Молодяков С.А. Специализированная видеокамера режима временной задержки и накопления для обработки сигналов. // Вопросы радиоэлектроники. Серия: Техника телевидения.- 2017.- № 1.- С. 31-38.
- Лавров А.П. Молодяков С.А. Оптоэлектронный процессор для регистрации радиоизлучения пульсаров. // Приборы и техника эксперимента.- 2015.- №1.- С.136–145. DOI: 10.7868/S0032816214060081
- И. Г. Бронштейн, Ф. М. Иночкин, С. К. Круглов, Т. А. Компан, С. В. Кондратьев, А. С. Коренев, Н. Ф. Пухов. Оптико-электронная измерительная система высокотемпературного дилатометра // Измерительная техника. 2015. № 12. С. 38
- Молодяков С.А. Применение ПЗС-фотоприемников для предварительной обработки сигналов //Датчики и системы. 2014.- № 5 (180).- С. 2-10.
- Молодяков С.А. Методика использования в цифровых камерах пульсарных процессоров кадровых ПЗС-фотоприемников в режиме временной задержки и накопления // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2013.- № 5.- С.163-182 DOI: http://dx.doi.org/10.7463/0513.0577481
- Rozanov S.B., Kruglov S.K., Saenko I.I., et all TRANSPORTABLE MILLIMETER-WAVE SPECTROMETER FOR MONITORING OF THE ATMOSPHERIC OZONE // Proceedings — 2013 International Kharkov Symposium on Physics and Engineering of Microwaves, Millimeter and Submillimeter Waves, MSMW 2013. С. 483-485
- МолодяковС.А. Особенности и алгоритмы цифровой обработки сигналов в оптоэлектронных процессорах // Цифровая обработка сигналов. 2013. №3. С. 61-66.
- Лавров А.П., Молодяков С.А. Метод калибровки частотной шкалы пульсарного оптоэлектронного процессора и его реализация с применением ЦСП // Цифровая обработка сигналов. 2013. №3. С. 67-73.
- Сараджишвили С.Э., Кононов Н.А. МЕТОДИКА ВЫДЕЛЕНИЯ ЦВЕТОВЫХ СЛОЕВ НА ОТСКАНИРОВАННЫХ ИЗОБРАЖЕНИЯХ ТОПОГРАФИЧЕСКИХ КАРТ Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2009. Т. 6. № 91. С. 35-40.
Лаборатория оснащена видео комплексами, отладочными модулями с цифровыми сигнальными процессорами и программируемой логикой, видеокамерами, современными измерительными приборами.
Список задач для НИР студентов, представленный НИИАС в 2018 году по четырем темам
Тема 1. Обработка стерео изображений.
- Реализация алгоритма визуальной одометрии. Цель: описать траекторию движения локомотива.
Входные данные:
- Синхронизированные кадры стереопары.
- Матрицы внутренних и внешних параметров камеры.
Выходные данные:
- Данные о смещении локомотива в пространстве между кадрами.
Ссылка на статьи и результаты тестирования алгоритмов на датасете Kitti: http://www.cvlibs.net/datasets/kitti/eval_odometry.php
- Определение поворота камер относительно рельсовой колеи. Цель: вычислить угол поворота камеры по трём осям относительно рельсовой колеи
Входные данные:
- Синхронизированные кадры стереопары.
- Матрицы внутренних и внешних параметров камеры.
Выходные данные:
- Значения углов поворота по осям OX, OY, OZ
- Фильтрация карты диспаратности, полученной с помощью версии алгоритма на графическом ускорителе. Цель: оптимально с точки зрения качества и производительности отфильтровать карту диспаратности, полученную с помощью алгоритма BlockMatching’a. (Важно! Необходимо использовать реализацию алгоритма на графическом ускорителе (CUDA) из библиотеки OpenCV версии не ниже 3.3.0.)
Входные данные:
- Синхронизированные кадры стереопары.
- Матрицы внутренних и внешних параметров камеры.
Выходные данные:
- Карта диспаратности, отфильтрованная от случайных выбросов, с уменьшенным количеством “пропущенных” зон.
- Автоматическая калибровка камер. Цель: получить наиболее приближенные относительные параметры стереокамеры, заведомо игнорируя априорную информацию(за исключением матрицы внутренних параметров и матрицы дисторсии).
Входные данные:
- Синхронизированные кадры стереопары.
- Матрицы внутренних и параметров камеры.
Выходные данные:
- Матрицы относительного поворота и смещения правой камеры от левой.
- Стабилизация видео. Цель: реализовать алгоритм стабилизации видео по камерам, минимально исказив трехмерную геометрию сцены.
Входные данные:
- Синхронизированные кадры стереопары.
- Матрицы внутренних и внешних параметров камеры.
Выходные данные:
- Стабилизированные кадры стереопары.
- Полученная карта диспаратности.
Для реализации всех задач можно использовать библиотеку OpenCV, однако, версии не ниже 3.3.0. Применение других библиотек (распространяемых на условиях лицензий, не запрещающих эксплуатацию кода в коммерческих продуктах) не возбраняется. Сайт открытой библиотеки по компьютерному зрению (с подробной докумментацией и обучающей литературой): www.opencv.org Рекомендуемые языки программирования: C++, Python. Категорически не рекомендуемые языки программирования: Matlab.
Полезные курсы по компьютерному зрению:
- Достаточно популярный и бесплатный курс на Udacity: https://www.udacity.com/course/introduction-to-computer-vision--ud810
- Открытые лекции Университета Штата Пенсильвании: http://www.cse.psu.edu/~rtc12/CSE486/
Рекомендуемая литература для решения данных задач:Multiple View Geometry in Computer Vision | Richard Hartley
Тема 2. Задачи по нейронным сетям и классическим подходам детекции.
- Реализация модели нейронной сети для детекциии определения показаний светофоров
- На входе изображение с камеры локомотива, установленной на крыше, на выходе координаты светофоров и их показания
- Создание датасета светофоров и литер.
- Выбор и реализация архитектуры нейронной сети для достижения наилучших результатов.
- Использование фреймворков Keras, Tensorflow, PyTorch на выбор.
- Визуализация результатов.
- На входе изображение с камеры локомотива, установленной на крыше, на выходе координаты светофоров и их показания
- Реализация алгоритмов классического компьютерного зрения для детекции светофоров и литер на основе “скользящего окна”, HOG+ML алгоритмов и других подходов
- На входе изображение с камеры локомотива, установленной на крыше, на выходе координаты светофоров и их показаний
- Изучение материалов курсов по компьютерному зрению
- Выбор технологии для детекции объектов
- Реализация на ЯП Python+openCV
- Визуализация результатов
- На входе изображение с камеры локомотива, установленной на крыше, на выходе координаты светофоров и их показаний
- Реализация алгоритмов классического компьютерного зрения для детекции людей на основе “скользящего окна”, HOG+ML алгоритмов и других подходов
- На входе изображение с камеры локомотива, установленной на крыше, на выходе координаты объектов людей.
- Изучение материалов курсов по компьютерному зрению
- Выбор технологии для детекции объектов
- Реализация на ЯП Python+openCV
- Визуализация результатов
- На входе изображение с камеры локомотива, установленной на крыше, на выходе координаты объектов людей.
- Реализация модели нейронной сети для подсчета количества пассажиров в вагоне ласточки.
- На входе изображение с камеры, установленной внутри вагона электропоезда ласточка, на выходе количество пассажиров в вагоне и координаты bounding box’ов людей
- Использование датасетов различных открытых источников
- Выбор и реализация архитектуры нейронной сети для достижения наилучших результатов.
- Использование фреймворков Keras, Tensorflow, PyTorch на выбор.
- Визуализация результатов.
- На входе изображение с камеры, установленной внутри вагона электропоезда ласточка, на выходе количество пассажиров в вагоне и координаты bounding box’ов людей
- Реализация модели нейронной сети для детекции драк в вагоне, определения типов движения людей.
- На входе видеозаписи чрезвычайных ситуаций, произошедших в ходе эксплуатации поездов ласточки, на выходе описание этих ситуаций.
- Использование датасетов различных открытых источников
- Выбор и реализация архитектуры нейронной сети для достижения наилучших результатов.
- Использование фреймворков Keras, Tensorflow, PyTorch на выбор.
- Визуализация результатов.
- На входе видеозаписи чрезвычайных ситуаций, произошедших в ходе эксплуатации поездов ласточки, на выходе описание этих ситуаций.
- Разработка модели нейронной сети для фьюзинга данных с лидара и камер с целью поиска и классификации объектов.
- На входе записи данных с камер и лидаров, на выходе объединенные результаты с bounding box’ами объектов и их классами.
- Использование датасетов различных открытых источников и подготовка своих
- Выбор и реализация архитектуры нейронной сети для достижения наилучших результатов.
- На входе записи данных с камер и лидаров, на выходе объединенные результаты с bounding box’ами объектов и их классами.
Тема 3. Задачи по встраиваемому ПО
Задачи для студентов от отдела разработки встраиваемых систем
- Передача видеопотока с использованием gstreamer и dds фреймворка в реальном времени с управляющей обратной связью.
- На стороне отправителя:
- Захват потока данных от камеры (web камера ноутбука) с помощью gstreamer
- Передача захваченного потока в соответствии со стандартом dds. Использование real-time режима передачи.
- Получение настроек потока данных от получателя и их применение. Частота кадров. Разрешение. Максимальный битрейт.
- На стороне получателя:
- Получение потока данных от отправителя и вывод на дисплей
- Установка параметров передачи и отправка их отправителю
- Оценка временных задержек передачи видеопотока при использовании технологии передачи LAN, WiFi,LTE
- На стороне отправителя:
Описание фреймворков, стандарты, открытые источники кода и примеры реализации: Gstreamer: https://gstreamer.freedesktop.org DDS: https://www.omgwiki.org/dds/
Open source: https://github.com/objectcomputing/OpenDDS, https://github.com/ADLINK-IST/opensplice
Пример реализации базовых функций: https://www.s2e-systems.com/our-projects/videooverdds/, https://gstconf.ubicast.tv/videos/video-over-the-data-distribution-service-dds-using-gstreamer
Требования к разработке: Операционная система Linux Язык программирования c++ Использование аппаратных ускорителей для кодирования/декодирования видео
- Запуск контейнеров с разделением ресурсов аппаратного ускорителя CUDA (вычислительных ядер и графической оперативной памяти)
- Создание тестовых приложений использующих ресурсы графического ускорителя
- Запуск на Intel платформе с графическим ускорителем Nvidia
- Определение накладных расходов при контейнеризации
- Определение особенностей оркестровки контейнеров при разделении ресурсов графического ускорителя
Описание фреймворков, стандарты, открытые источники кода и примеры реализации: nvidia-docker: https://github.com/NVIDIA/nvidia-docker/wiki Docker CE: https://docs.docker.com/
Требования к разработке: Операционная система Linux Язык программирования c++, bash? python
Тема 4. Задачи обработки и комплексирования данных.
- Обработка облака точек с лидара IBEO Scala или IBEO LUX. Реализация алгоритма кластеризации (Adaptive Break Point detection) и другие. Сравнение алгоритмов кластеризации по производительности. Выделение простейших примитивов из кластеров (прямоугольник, эллипс, прямая). Нахождение прямоугольника наименьшей площади, описывающего все точки в кластере. (список литературы/статей при заинтересованности предоставлю).
- Обработка данных с радара ARS-408 (Continental) или MRR (BOSCH). Фильтрация данных радара для выделения подвижных объектов.
- Знакомство с Фреймворком ROS (Robot Operational System). Построение архитектуры системы технического зрения на основе готовых драйверов для лидаров IBEO, радара Continental ARS-408.
- Определение местоположения локомотива на основе навигационных данных и модели движения с применением фильтра Калмана.
Усложнения: - добавление к входным данным одометра;
- использование карты пути.
- Анализ существующих форматов карт для беспилотного транспорта, железнодорожного транспорта. NDS – navigation data standard
(https://en.wikipedia.org/wiki/Navigation_Data_Standard)
- Разработка формата карты для беспилотного железнодорожного транспорта.На основе данных лидаров и радаров и информации о местоположении локомотива определение свободности пути с применением grid подхода (разбиение пространства на решетку, определение наилучшего размера ячейки). Формирование grid карты свободности/занятости пути перед беспилотным транспортом
- Реализация алгоритма SLAM (непрерывной локализации и обновления карт) для железнодорожного подвижного состава.
Входные данные:
– координаты столбов (карта столбов)
- зашумленное местоположение локомотива от навигатора
- данные измерений лидара (набор кластеров)
Выходные данные:
- уточненное местоположение локомотива
Темы научно-исследовательских работ для студентов:
- Разработка алгоритмов и программного обеспечения для системы управления сцепкой вагонов.
- Исследование параллельно-конвейерных алгоритмов обработки видеоизображений.
- Экспериментальное исследование возможностей обработки видео в системе на кристалле.
- Исследование возможностей реализации алгоритмов обработки видеоданных библиотеки OpenCV в системе на кристалле.
- Система сбора данных для акустооптического анализатора спектра.
- Разработка алгоритмов и программ обработки изображений.
Иллюстрации к работам, которые были связанны с радиоастрономией
Радиотелескоп РТ-64 (г.Калязин) Пущинской радиоастрономической обсерватории Астрокосмического центра Физического института им.П.Н.Лебедева РАН. Радиотелескоп РТ-64 с диаметром антенны 64 м является одним из крупнейших отечественных полноповоротных радиотелескопов. Приемный комплекс радиотелескопа позволяет вести одновременный прием радиосигналов на четырех частотах.
Сибирский солнечный радиотелескоп (ССРТ) института солнечно-земной физики СО РАН предназначен для исследования солнечной активности. ССРТ представляет собой многоэлементный корреляционный интерферометр типа креста Миллса. Он состоит из 256 антенн диаметром 2,5 м, расположенных по линии Север-Юг (С-Ю) и Восток — Запад (В-З) при расстоянии между антеннами 4,9 м. Синхронное сопровождение Солнца всеми антеннами обеспечивает общая система управления.
Радиотелескоп РТ-22 (п.Симеиз, Крым) Крымской астрономической обсерватории Радиотелескоп представляет собой двухзеркальную антенную систему с высокоточной поверхностью главного зеркала диаметром 22 метра, позволяющую принимать излучение в диапазоне от дециметровых до миллиметровых длин волн.
Радиотелескоп РАТАН-600 Специальной астрофизической обсерватории РАН является крупнейшим в мире радиотелескопом с рефлекторным зеркалом диаметром около 600 метров. Основными преимуществами телескопа является высокая чувствительность по яркостной температуре и многочастотность. Радиотелескоп расположен в Карачаево-Черкесии, недалеко от станицы Зеленчукская, на высоте 970 метров над уровнем моря
Зеркальный радиооптический телескоп диаметром 54 м (ROT-54/2.6) (институт радиофизических измерений Арм.АН сейчас ЗАО «Национальный институт метрологии» Армении). Расположен в горах Армении.
Профиль одиночного импульса пульсара 0329+54 и профиль, усредненный по 200 импульсам
В рабочем окне отражены два режима работы пульсарного процессора: наблюдение и калибровка. В трех зонах выводятся графики: текущий профиль импульса пульсара, полученный из цифрового сигнального процессора; профиль, накопленный в компьютере, и частотные реперы сигнала калибровки. В зоне графика калибровки имеется возможность следить за помеховой обстановкой в частотном диапазоне работы приемного комплекса радиотелескопа. В информационной зоне статистики можно наблюдать ряд параметров, таких как время начала и окончания наблюдений, текущее время, параметры пульсара и др