Технологии обработки и анализа больших объемов данных (Никифоров И.В., Селин И.А.)

Технологии обработки и анализа больших объемов данных

Руководители: Никифоров Игорь Валерьевич, доцент, к.т.н., nikiforov_iv@spbstu.ru;
Селин Иван Андреевич, ассистент, selin_ia@spbstu.ru

Основные направления исследований:

  • технологии анализа и обработки больших данных в системах хранения и обработки информации;
  • cистемы распределенного анализа данных, поступающих из различных источников (устройства, датчики, социальные сети и т.д.);
  • cоздание новых нейросетевых технологий обработки данных.

Некоторые результаты исследований и разработок:

  • разработан и применен новый подход к процессу генерации тестовых сценариев на базе формализованных моделей, заключающийся в применении двух формальных моделей: одной – в высокоуровневой нотации Use Case диаграмм (UCM – Use Case Maps), используемой для контролируемого заказчиком описания поведения и согласования с ним поведенческих сценариев, другой – в нотации базовых протоколов для последующего создания по ней тестовых сценариев;
  • разработаны и интегрированы в единую технологическую цепочку верификации и автоматизации тестирования методы сокращения трудоемкости процесса получения тестовых сценариев: автоматическое построение по UCM- модели структурированной формальной модели в виде базовых протоколов; автоматическое создание эвристик, отслеживание соответствия между требованиями и элементами модели, поиск покрытия требований в соответствии с критерием цепочек наблюдаемых событий, сокращение набора тестовых сценариев;
  • технологическая цепочка верификации и автоматизации тестирования с интегрированными в нее разработанными методами была применена в крупных телекоммуникационных проектах и доказала свою высокую эффективность для обеспечения проверки качества разрабатываемого ПО, обеспечив более чем 60%-ное сокращение трудоемкости разработки тестовых сценариев по сравнению с традиционным подходом без использования моделей.

Основные публикации:

  • Воинов Н.В., Родригес Гарсон К., Никифоров И.В., Дробинцев П.Д. Система обработки больших данных для анализа событий репозитория GitHub. XXII Международная конференция по мягким вычислениям и измерениям (SCM-2019). Сборник докладов. Санкт-Петербург. 23–25 мая 2019 г. СПб.: СПбГЭТУ «ЛЭТИ» С.283-287.
  • Voinov N., Selin I., Drobintsev P., Kotlyarov V. An approach for managing hybrid supercomputer resources in photogrammetric tasks. CEUR Workshop Proceedings. Volume 2281, 2018, P. 12-19. http://ceur-ws.org/Vol-2281/paper-02.pdf
  • Nikiforov Igor V., Voinov Nikita V., Drobintsev Pavel D. A System Prototype for Real Time Automatic Fraud Detection in Text Data. Proceedings of 2018 21th IEEE International Conference on Soft Computing and Measurements, SCM 2018, Pages 724-727
  • Voinov N., Drobintsev P., Kotlyarov V., Nikiforov I. Distributed OAIS-Based digital preservation system with HDFS technology. Conference of Open Innovation Association, FRUCT, Volume 2017, 2017. P. 491-497. DOI: 10.23919/FRUCT.2017.8071353. https://dl.acm.org/citation.cfm?id=3180068
  • Селин И. А., Дробинцев П. Д. Обработка больших наборов данных в задачах биоинформатики с использованием верти-кального и горизонтального масштабирования. Информатика и кибернетика (COMCON-2016). Сборник докладов студенческой научной конференции Института компьютерных наук и технологий. С.150-153.

 

Примеры тем научно-исследовательских работ для студентов:

  • Разработка высокопроизводительного решения для извлечения информации с web-ресурсов
  • Программная система поддержки принятия решений и оценки финансовых рисков в области транспортного лизинга
  • Прогнозирование котировок финансовых инструментов с помощью машинного обучения
  • Использование алгоритмов машинного обучения для обнаружения проблемных заявок в бизнес-приложении
  • Создание инкрементной резервной копии электронного кошелька
  • Категоризация музыкальных произведений на основе нейронных сетей