Константин Биковец
г. Москва
РТУ МИРЭА, 1 курс
ЦИФРОВОЙ КОМПЛЕКС "ОРИЕНТИР" ДЛЯ ОБЕСПЕЧЕНИЯ ОРИЕНТАЦИИ СЛЕПЫХ И СЛАБОВИДЯЩИХ В ПРОСТРАНСТВЕ
24
Научный руководитель: Ушаков Алексей Александрович, Алтайский край, г. Барнаул, Институт физико-математического образования Алтайского государственного педагогического университета, кандидат педагогических наук
Константин Биковец
г. Москва
РТУ МИРЭА, 1 курс
ЦИФРОВОЙ КОМПЛЕКС "ОРИЕНТИР" ДЛЯ ОБЕСПЕЧЕНИЯ ОРИЕНТАЦИИ СЛЕПЫХ И СЛАБОВИДЯЩИХ В ПРОСТРАНСТВЕ
24
Научный руководитель: Ушаков Алексей Александрович, Алтайский край, г. Барнаул, Институт физико-математического образования Алтайского государственного педагогического университета, кандидат педагогических наук
Проблема
В настоящее время, по данным Всемирной организации здравоохранения, в мире насчитывается 650 миллионов инвалидов, что составляет около 10 процентов населения в мире, 285 млн. из них слабовидящие люди, но несмотря на это наш окружающий мир плохо приспособлен для людей с ограниченными возможностями. Мы редко видим инвалидов на улице и складывается впечатление, что их мало. Однако истинная причина этого в том, что они избегают выхода из дома, так как улицы недостаточно хорошо приспособлены для их перемещения. Государственная программа «Доступная среда» только частично решает эту проблему. В общественных организациях появились пандусы, тактильные таблички с шрифтом Брайля, тактильные плиты. Однако всего этого, к сожалению, недостаточно. Слепой и слабовидящий человек во многих ситуациях все еще нуждается в опеке со стороны других людей.
Цель работы
Разработка устройства, системы или комплекса, способного обеспечить помощь слепым и слабовидящим людям в ориентации на местности.
Задачи
  1. Изучить виды нарушения зрения человека;
  2. Изучить существующие устройства для компенсации отсутствия зрения;
  3. Изучить способы обнаружения препятствий на пути слепого;
  4. Создать устройство обеспечивающее надежное распознавание препятствий и объектов вокруг слепого;
  5. Разработать доступный интерфейс коммуникации человека и устройства для ориентации на местности.
Новизна
  1. Разработан тактильный интерфейс, основанный на вибрационном браслете и вибрационной азбуке, обеспечивающий передачу информации человеку от любых электронно-вычислительных машин без использования органов зрения и слуха
  2. Разработана система идентификации объектов, основанная на электронных метках и системе их глобальной нумерации, которая основана на концепции геолокационных кругов.
Практическая значимость
Комплекс "Ориентир" может быть использован людьми с глубоким нарушением зрения при самостоятельном перемещении на улице и в помещении. Также элементы комплекса могут использоваться для решения других задач, например, для реализации электронного экскурсовода и гида или обеспечения коммуникации во всех случаях, когда слух и зрение использовать невозможно
Нами разработан цифровой комплекс "Ориентир", предназначенный для обеспечения помощи в ориентации слепых и слабовидящих. Он предупреждает своего владельца о препятствиях на его пути, сообщает расстояние до предметов, а также, помогает ориентироваться в пространстве, информируя о предметах и элементах инфраструктуры, которые его окружают.

Комплекс создавался на основе моделирования ситуаций, с которыми сталкивается слепой человек при движении по улице или незнакомому помещению. Как воспринимают эти ситуации слепые люди?

Несмотря на то, что у слепых людей отсутствует зрительный канал информации их мир не так уж и информационно беден. Когда они идут по улице они воспринимают звуковой фон, чувствуют запахи, и могут получать аналоги зрительных впечатлений обо всех объектах. Они слышат звуки спортивной площадки, звон трамвая, чувствуют структуру дорожного покрытия и идентифицируют плитку, асфальт, брусчатку, газон. Сумма таких впечатлений, плюс умение их использовать, наличие обычной трости для слепых, или собаки-поводыря, позволяют подготовленным слепым перемещаться самостоятельно по знакомым маршрутам или маршрутам созданным с учетом требований программы "Доступная среда". Слепой двигается по маршруту, держа в памяти некую карту местности, со всеми ориентирами, характерными для ее отдельных частей. Однако, если слепой потерял синхронизацию с картой, например, оказался в незнакомой местности или не знает в какой части известной ему местности он находится, у него могут возникнуть серьезные трудности с ориентированием, и ему придется обратиться за помощью к посторонним людям.

Проанализировав такие ситуации, мы попробовали хотя бы частично разрешить связанные с ними проблемы и разработали набор взаимосвязанных электронных устройств, каждое из которых отвечает за тот или иной этап обработки информации. Совокупность данных устройств представляет собой комплекс "Ориентир", способный обеспечить безопасность передвижения слепых и слабовидящих людей на местности.
Схема работы комплекса
Рассмотрим схему работы комплекса (см. рис 1 "Схема работы комплекса "Ориентир"). Слепой надевает браслет на руку, берет трость и включает приложение на смартфоне. Выходит на улицу. Идет по улице и пользуется умной тростью как классической тростью для слепых, нащупывая препятствия на своем пути. Одновременно слепой, при необходимости получить более подробную информацию об окружающей обстановке, делает круговые движения умной тростью, сканируя с помощью ультразвукового датчика пространство в радиусе 2 метров от себя. Информация о расстоянии до обнаруженных препятствий передается через смартфон на тактильный браслет, который в свою очередь передает ее человеку. Иногда трость принимает сигналы от электронных меток, которые расположены в радиусе 10 - 15 метров. В этом случае смартфон находит в базе описание метки, и с помощью тактильного браслета и вибрационной азбуки "проговаривает" описание метки слепому человеку. Таким образом слепой человек, перемещаясь по улице, не только уверенно огибает препятствия, но и достаточно хорошо представляет себе какие полезные объекты его окружают и где он в целом находится. Мы считаем, что такое устройство поможет многим людям с нарушением зрения.
Рис 1. Схема работы комплекса "Ориентир"
Комплекс "Ориентир" в текущей версии состоит из шести элементов:
  1. Умная трость
  2. Браслет тактильной связи
  3. Вибрационный алфавит
  4. Приложение для смартфона
  5. Электронные метки
  6. Единой база идентификационных кодов электронных меток.
Электронная метка для дистанционной идентификации объектов
В рамках работы над проектом нами были разработаны электронные метки, предназначенные для обеспечения возможности удаленного опознавания ключевых объектов окружающей обстановки – дверей, скамеек, лестниц, перекрестков, автобусов, туалетов, магазинов и т.д. В том числе технология позволяет пользователю комплекса устанавливать электронные метки самостоятельно, для обеспечения дистанционного опознания личных предметов – сумок, стульев, собак-поводырей и т.д. Также данные электронные метки могут использоваться для идентификации туристических объектов – памятников, туристических троп, картин в музеях и т.д. (см. рис. 2 "Электронная метка"). В последнем случае электронные метки могут использоваться не только для работы со слепыми, но и для обеспечения работы электронного гида, которым могут пользоваться и зрячие люди.

Электронные метки основаны на инфракрасной технологии, каждая метка несколько раз в секунду излучает уникальный инфракрасный сигнал, который может принимать оптический сенсор трости цифрового комплекса «Ориентир». Расстояние уверенного распознавания сигналов электронных меток приблизительно 8-15 метров. Комплекс принимает сигналы от всех электронных меток, находящихся в поле его зрения, распознает их идентификационные коды, и находит в специальной базе их описание, которое при необходимости, в зависимости от режима работы комплекса, передается человеку.

Внешне работа комплекса с электронными метками выглядит таким образом: слепой человек идет по улице или помещению и "Ориентир" сообщает ему описание всех предметов, электронные метки которых идентифицировал комплекс.

Таким образом мы предлагаем закрепить данные метки на все важные элементы окружающей обстановки, для их дистанционного распознавания с помощью трости. Мы рассчитываем на то, что слабовидящий человек сможет лучше ориентироваться на местности, если сможет дистанционно получать информацию об окружающих его объектах.
Умная трость
"Умная трость" является важной частью комплекса "Ориентир", в ней расположены датчики расстояния и инфракрасные датчики для обнаружения электронных меток (см. Электронная метка для дистанционной идентификации объектов). Информация с датчиков обрабатывается микроконтроллером трости и передается по Bluetooth на смартфон, который принимает на ее основании дальнейшие решения. Смартфон является центральным узлом комплекса, объединяя все его устройства и выполняя роль его мозга. Умная трость представляет собой совокупность из рукоятки, напечатанной на 3D-принтере, содержащей в себе датчики и микроконтроллер, и шафты - телескопического ствола трости. Наличие шафты дает возможность слепому человеку использовать умную трость как классическую трость для слепых. Это особенность позволяет слепому использовать устоявшиеся привычки, и облегчает переход от классической трости к электронной. В том числе наличие шафты позволяет обнаруживать препятствия, которые пропустили датчики трости. Однако шафта крепится к рукоятке с помощью резьбового соединения, поэтому при желании или необходимости ее можно быстро отсоединить, сделав умную трость более компактной, и использовать для ориентирования только датчики в ее рукоятке. Это позволит пользоваться ею в ограниченных по размерам помещениях.
Смартфон
Смартфон осуществляет координацию работы всех компонентов комплекса "Ориентир". По беспроводному каналу связи на основе протокола Bluetooth смартфон подключается к умной трости и вибрационному браслету. Также по желанию владелец комплекса может подключить аудио-гарнитуру. Смартфон принимает значение расстояния и идентификационный код метки от трости, расстояние он отправляет на браслет, а идентификационный код он находит в базе данных и отправляет на браслет не сам код, а его текстовое описание.

База данных хранится на хостинге и непрерывно редактируется, пополняясь новой информацией. Для повышения надежности работы программы на смартфоне создается локальная база данных, которая периодически синхронизирует свои записи с единой глобальной базой данных. В локальную базу копируются не все записи, а только те, которые соответствуют текущему местоположению комплекса. Любой пользователь может самостоятельно пополнять базу данных, загружая в нее описания нужных ему вещей и связывая их с электронными метками (см. Система глобальной идентификации электронных меток).

Для обеспечения реализации описанной логики нами было разработано приложение для смартфона (см. рис. 5 "Графический интерфейс приложения"). Для ускорения разработки нами была использована среда визуальной разработки Android-приложений App Inventor. На последующих этапах исследования, для расширения функционала и соответствия стандартам, мы планируем использовать для программирования приложения Android Studio. Кроме информации о расстоянии и описания меток приложение может получать дополнительную информацию от смартфона: SMS сообщения, координаты пользователя, информация о погоде и др. Как можно использовать эту информацию мы сейчас исследуем.
Браслет тактильной связи
Это устройство, отвечающее за непосредственную передачу информации пользователю, которое реализует тактильный интерфейс, обеспечивающий расширение каналов приема-передачи информации слепого человека. Оно представляет собой браслет с восемью точечными вибрационными раздражителями, расположенными в виде вибрационной матрицы размерами 4х2 (см. рис. 7 "Матрица вибрационных раздражителей"). Их количество обусловлено объемом кратковременной памяти, размер которой равен числу Миллера – это 7 +/- 2. Это тот набор слов или количество цифр, которые среднестатистический человек способен удержать в памяти на протяжении 30 секунд.

Взаиморасположение точечных вибрационных раздражителей объясняется низким тактильным разрешением кожи на запястье, которое приблизительно равно 10 - 15 мм. Человек не различает разницу в координате двух прикосновений, если расстояние между ними меньше. Данного расстояния между вибромоторами более чем достаточно, чтобы пользователь мог мгновенно распознавать и различать между собой разные комбинации вибраций 8 точечных раздражителей.

Браслет принимает от приложения на смартфоне поток информации, которую комплекс "Ориентир" хочет передать своему хозяину. Информация преобразуется в серию вибрационных комбинаций, каждая из которых является символом вибрационной азбуки (см. Вибрационный алфавит).

Таким образом человек получает информацию в обход слуха, освобождая его для более типичной информации. Слепой человек полагается на слух при ориентировании - звуки шагов, когда он слышит шум машин и понимает, что неподалеку находится дорога, чувствует размер комнаты и другого пустого пространства. Комплекс "Ориентир" не мешает этому. Так как это прототип, поэтому расстояние между вибрационными точками выбрана исходя из теоретических расчетов в сторону наибольшей погрешности.
Вибрационный алфавит
Вибрационная азбука или вибрационный алфавит это разработанный нами набор уникальных вибрационных комбинаций, каждой из которой соответствует собственный символ - буква или цифра. Кириллическая версия вибрационного алфавита создана с опорой на мнемотехнику и таблицы частотности букв. Для удобства ее изучения парным и непарным согласным, глухим и звонким согласным, в вибрационном алфавите соответствуют двойные вибрационные комбинации. Например - пара Ч-Щ, букве Щ соответствует двойная вибрационная комбинация буквы Ч.

Двойные вибрационные комбинации встречаются и в других случаях, чтобы сделать буквы более четкими.

Экспериментальным путем было выяснено, что одиночная вибрация (вибрация одного вибромотора) воспринимается человеком значительно быстрее, чем множественная вибрация. Поэтому алфавит был отсортирован по частотности. Для наиболее встречаемых в письменной речи букв были использованы комбинации, содержащие наименьшее количество точек вибрации. Для близких по частотности символов, с одинаковым или близким по количеству точек вибраций, эти точки разнесены по разные стороны вибрационной матрицы 4х2.

Таким образом, предложенная нами вибрационная азбука является рациональной с точки зрения времени передачи сообщения и эффективности использования комбинаций точек вибраций.

С помощью восьми вибрационных вибромоторов, можно закодировать до 256 различных символов, однако в нашей азбуке используется не более 50 символов, таким образом существует пятикратная избыточность, которая нужна для увеличения надежности алфавита. Все символы вибрационной азбуки заметно различаются между собой.

В монографии В. М. Воронина З. А., Наседкиной "Тактильная коммуникация" сказано:

"Тактильная чувствительность может значительно расти, совершенствоваться от упражнения. Ярким примером этого может служить работа прежних волжских агентов по скупке зерна, которые на ощупь очень быстро распознавали тончайшие оттенки в качестве зерна, приходившего на пристани."

Мы рассчитываем на то, что навык слепого человека в распознавании элементов алфавита будет расти со временем, и в конечном итоге слепой сможет освоить технику динамического чтения. Данная техника предполагает оперирование сразу вибрационным образом слова и даже целой фразы, а не отдельными буквами.

Перед тем как пользоваться алфавитом его нужно выучить. Для решения этой задачи нами разрабатывается дополнение к уже имеющемуся приложению для смартфона. Оно будет обучать и тренировать пользователя различать каждый элемент алфавита.
Система глобальной идентификации электронных меток
Умная трость умеет принимать и распознавать инфракрасные сигналы от идентификационных меток, которыми снабжены объекты, окружающие слепого человека. Однако уже в начале разработки комплекса "Ориентир" в процессе его практической отладки мы поняли, что существует проблема, которую, видимо, не смогли решить авторы похожих систем.

Так как каждому объекту требуется свой номер, нам нужен большой диапазон уникальных идентификационных номеров. И тут возникает проблема, ведь чем больше меток нам нужно, тем большим количеством бит их нужно кодировать. Но чем больше бит информации, тем дольше она будет передаваться по инфракрасному каналу. Это увеличивает время сбора информации обо всех метках, окружающих слепого с комплексом "Ориентир" до неприемлемого значения, не давая владельцу трости вовремя реагировать на внешние события.

В качестве идентификационных номеров мы используем шестиразрядные шестнадцатеричные числа. Например: DF22DD, DF22FF, DF22EE, DF22AA, DF0001 и т.д. Первые два символа, "DF", используются для того чтобы выделить сигналы маяков, среди других инфракрасных сигналов аналогичных устройств.

Непосредственно на номер метки у нас остается четыре шестнадцатеричных разряда, что соответствует 65536 уникальным номерам. То есть на первый взгляд кажется, что мы можем создать не более 65536 меток. В России около 40000 школ, в каждой школе не менее 30 кабинетов и их дверей. Получается, что полтора миллионов меток нужно только для школ России. А ведь это только двери. А есть лестницы, коридоры, шкафы и т.д.. Напрашивается вывод, что нужно использовать больше чем четыре разряда для номера метки, однако, как мы уже говорили, это увеличивает время ее передачи до неприемлемого. Это ограничение мешало использованию инфракрасной технологии.

Мы решили данную проблему введя понятие геолокационного круга. В качестве номеров идентификационных меток используется четырехразрядные шестнадцатеричные числа, так как в рамках нашей задачи этот размер оптимален для передачи по инфракрасному каналу. Но эти номера уникальны не в пределах земного шара, а в границах некоего круга на его поверхности, заданного координатами его центра и радиуса. Соответственно чтобы связать идентификационный номер объекта и его описание нужно обязательно указывать геолокационный круг к которому этот номер принадлежит. Пример описания объекта, который может опознать наш комплекс "Ориентир": DF22DD; 53.348996; 83.767093; 200; "Кабинет ректора". Это структура записи в единой базе данных, где хранятся все описания объектов помеченных электронными метками - идентификационный номер, широта, долгота, радиус геолокационного круга, описание объекта.

Также геолокационные круги позволяют отсечь ошибки распознавания. Если каждая метка будет уникальна, то есть шанс что при приеме-передаче она исказится, и будет получен другой номер, который будет обработан как правильный. Геолокационные круги позволяют уменьшить вероятность искажения передачи идентификационных номеров и отсеивать номера которых в этом круге не должно быть.

Рассмотрим алгоритм работы с метками. Когда трость видит метку, она передает ее идентификационный номер на смартфон, далее смартфон определяет свое местоположение и с помощью формулы длины отрезка мы находим расстояния от местонахождения метки до центров, всех существующих геолокационных кругов. Сравнивая эти расстояния с радиусами кругов, мы определяем внутри каких кругов находится владелец комплекса "Ориентир" и проверяем нет ли в этих кругах описания полученной идентификационного номера. Сервер единой базы идентификационных меток следит за тем, чтобы при регистрации нового номера он не повторялся дважды в пересекающихся геолокационных кругах.
Альтернативные варианты использования тактильного интерфейса
Вибрационный алфавит и вибрационный браслет в совокупности представляют собой тактильный интерфейс, который может быть использован и в других проектах. Бесшумная связь между солдатами, вспомогательный интерфейс в авиации для управления полетом, в космосе для корректировки выполнения ремонтных работ. Также возможна ретрансляция звуковой информации со смартфона на тактильный интерфейс, что может значительно упростить повседневную жизнь глухим и глухо-слепым людям.
Демонстрация использования комплекса "Ориентир"
Расписание работы автора проекта
01 ноября, вс
Диалог с экспертами
Ответы на вопросы
12:30


12:45
Петров А.Б.

01 ноября, вс
03 ноября, вт
12:40
13:00
13:20
14:00

Шубин А.Н.
Трубачев Е.А.
Белоножко П.П.
Титов Д.Д.


03 ноября, вт
13:40
14:20

Задайте вопрос автору проекта
Обязанность отвечать на заданные вопросы остается полностью на участнике. Организаторы форума не несут ответственности за сроки получения ответа.
Заполняя данную форму Вы соглашаетесь с политикой конфиденциальности сайта.
Пообщайтесь с автором в режиме реального времени
Вы можете посмотреть диалог с экспертом и задать вопросы автору в форме вебинара.
Расписание сессий приведено выше
Made on
Tilda