Псковская область, г. Псков МБОУ Лицей № 4, 9 класс
СИСТЕМА РАСПОЗНАВАНИЯ ЖЕСТОВ И СИНТЕЗА РЕЧИ
Научный руководитель: Лубягин Игорь Олегович, Псковская область, г. Псков, АНО ДПО «Центр образования и воспитания детей и молодежи» (ДТ «Кванториум Псков»), педагог дополнительного образования
Стенд 33, Ив
Греков Серафим
СИСТЕМА РАСПОЗНАВАНИЯ ЖЕСТОВ И СИНТЕЗА РЕЧИ
Разработка и исследование применения системы компьютерного зрения для распознавания жестов руки и синтеза речи.
Система распознавания жестов, система синтеза текста в речь
Применение системы компьютерного зрения c системой синтеза речи в повседневной жизни.
Программный код написан с использованием программ “Pycharm” и “Google Collab”. Язык написания программного кода “Python”, версии 3.9.11. Использовались библиотеки “Google TensorFlow”, “Open computer vision”, “Keras”, “PyGlet” и “gTTS”. Демонстративный робот-собака был создан из сервоприводов и PLA пластика.
В России на данный момент, по разным источникам насчитывается от 9 до 12 млн глухих и слабослышащих людей и всего около 20 тыс. официально зарегистрированных переводчиков с русского жестового языка. Вместе с тем даже повседневное общение (поход в магазин, аптеку, обращение в банк или к врачу) становится серьезным препятствием для данной категории граждан, поскольку они ориентируются в мире, предназначенном в первую очередь для тех, кто умеет слышать и говорить. Премьер Михаил Мишустин в 2022 году подписал постановление об увеличении в два раза объема услуг сурдоперевода для людей с нарушением слуха. Теперь они получают 84 оплачиваемых государством часа перевода — это всего 3,5 дня в год или 14 минут в день.
Система распознавания жестов на языке жестов — это технологическое решение, которое истребляет проблемы общения, с которыми сталкиваются глухонемые люди. Эта инновационная система использует передовые алгоритмы и компьютерное зрение для анализа и интерпретации жестов рук, используемых на языке жестов. Захватывая и переводя эти жесты в соответствующий текст или произнесенные слова, система позволяет глухонемым людям эффективно общаться с другими людьми, которые могут не понимать язык жестов. Эта технология не только улучшает общение, но также способствует инклюзивности и доступности для людей с нарушениями слуха. Данная система способно интегрироваться на ПК и микрокомпьютеры для выполнения различных задач, например для управления роботизированными системами.
По своей сути распознавание жестов рук использует алгоритмы компьютерного зрения и машинного обучения для анализа и интерпретации движений человеческой руки. Процесс начинается со съемки руки человека в реальном времени с помощью камеры или датчика. Захваченные изображения затем обрабатываются и анализируются для идентификации и отслеживания движений руки.
Одним из ключевых этапов распознавания жестов рук является обнаружение рук. Это включает в себя обнаружение и изоляцию руки от фона. Сложные алгоритмы анализируют видеокадры, чтобы определить форму и контур руки, отличая ее от других объектов, частей тела. Этот шаг гарантирует, что система сосредоточится исключительно на руке и ее жестах.
Как только рука обнаружена, система приступает к извлечению различных характеристик из движений руки. Эти особенности включают положение, ориентацию, форму, цвет и движение руки. Анализируя эти особенности, система может распознавать и интерпретировать различные жесты, выполняемые рукой.
Для обеспечения точного распознавания используются алгоритмы машинного обучения. Эти алгоритмы обучаются на обширных наборах данных о жестах рук, что позволяет им изучать и классифицировать различные жесты на основе извлеченных функций. Чем обширнее набор данных, тем точнее система распознает широкий спектр жестов.
В процессе создания и исследования системы распознавания жестов руки, была разработана собственная версия ПО для распознавания жестов руки и синтеза текста.
Этот проект может использоваться в общении человека с ограниченными способностями или при работе с компьютерным зрением, машинным обучением, робототехническими устройствами.
Компьютерное зрение, система распознавания жестов, машинное обучение, синтез речи, люди с ограниченными возможностями здоровья, искусственный интеллект, нейросеть, технология text-to-speech, робот-собака, робототехника.
Видео о проекте
Расписание работы выставки
24 марта, пн
Диалог с экспертами и посетителями
Объявление результатов выставки
12:00 - 14:00
25 марта, вт
14:00 - 18:00
26 марта, ср
14:00 - 17:00
28 марта, пт
15:00 - 17:00
Посетите выставку и пообщайтесь с автором проекта
Выставка открыта для посетителей 25 марта, вторник, с 14:00 до 18:00, 26 марта, среда, с 14:00 до 17:00 в учебно-лабораторном корпусе МГТУ им. Н.Э. Баумана. Для определения точного времени посещения и организации прохода на выставку зарегистрируйтесь.