А в период пандемии КОВИД 19, появились ещё и санитарные ограничения, связанные с запретом прикосновения к поверхностям в общественных местах. А прочитать специальные шрифты невозможно, не прикасаясь к табличке по всей её поверхности.

Так родилась идея, с помощью современных компьютерных технологий, попробовать создать удобное, портативное устройство для инвалидов по зрению, с голосовым интерфейсом и голосовым управлением. Которое имело бы простое, интуитивно-понятное управление.

Структура устройства представлялась следующим образом: должна быть камера высокого разрешения, которая крепилась бы либо на очки, либо на голове любым удобным способом. Возможно, в перспективе развития, это могут быть очки с уже встроенной в них камерой и дополнительными датчиками. Камера постоянно сканирует пространство перед человеком. Изображение обрабатывается микрокомпьютером, а голос в наушниках озвучивает информацию.

Сначала была попытка распознать непосредственно точки шрифта Брайля, которые уже находятся на стандартных информационных табличках. Опытным путём было доказано, что точки шрифта не определяются видеокамерой, не хватает контраста. Кроме того, алгоритму машинного зрения не удаётся разделить символы точек, обозначающие одну букву. Поэтому, начался поиск альтернативного решения для организации способа размещения информации для считывания и распознавания машинным зрением.

Изучая основы организации работы алгоритмов машинного зрения, я выяснил что, как правило, для ориентации в пространстве используют ARUCO-метки. Но, так как в ARUCO-метку, нельзя зашифровать стороннюю информацию, было принято решение использовать QR-код.

С помощью приложения сгенерировал QR-код. Опытный образец устройства уверенно зафиксировал его, расшифровал и озвучил голосом зашифрованную информацию. Эксперимент удался! На основе полученных результатов, началась работа по написанию программного кода для работы портативного устройства.

Таким образом, оформилась идея целиком. В городском пространстве, там, где уже размещены информационные таблички со шрифтом Брайля, необходимо дополнительно разместить наклейку с QR кодом, в котором продублирована информация с таблички. Так же разместить QR код на городском транспорте с указанием номера маршрута. Такие же наклейки можно размещать внутри и снаружи административных зданий, на адресных табличках, в магазинах, с указанием группы товаров и пр. Таким образом, получится существенно расширить информативность для слабовидящих и слепых людей в городском пространстве. Кроме того, а это самое важное, нет необходимости прикасаться непосредственно к поверхностям стен зданий, к самой поверхности табличек, а считывать нужную информацию дистанционно, издалека, заранее. Внести поправки в существующие ГОСТы для информационных табличек и изготавливать их уже с QR кодом.

Для программирования была выбрана среда PY CHARM. В первой версии были реализованы основные запланированные функции устройства. Без подключения к сети интернет, распознавались голосовые команды, работал синтез речи, работало обнаружение и расшифровка QR кода.
Испытания работы прибора, организовали в городском обществе слепых. Были получены положительные отзывы, как от идеи устройства, так и от функционала. Так же была озвучена реальная проблема, с которой сталкиваются в реальной жизни инвалиды по зрению: при расчёте наличными деньгами, были случаи, когда давали не правильно сдачу, обманывая людей. Возник вопрос: а возможно ли по такому же принципу, распознавать и озвучивать номинал купюры, которые в руках?

Началась работа по оценке такой возможности. Так как это портативный микрокомпьютер с ограниченной вычислительной мощностью, для распознавания купюр был использован алгоритм SIFT. Его работа основана на сопоставлении изображения по ключевым точкам. После отладки кода, эту функцию удалось внедрить в функционал устройства.

В процессе создания и отладки, были испытаны видеокамеры с различными параметрами. Так применялась монохромная камера с высокой частотой кадров, цветная камера с автофокусом, цветная камера с фиксированным фокусом. Оптимально, для работы, оказалась цветная видеокамера высокого разрешения с автофокусом.

После того, как была отлажена основная работа устройства, началось развитие проекта. Модуль распознавания OPEN CV, был заменён на нейромодуль, работающий на базе нейросети YOLO8. Был добавлен голосовой помощник Марго, который может рассказать, как пользоваться прибором. Голосом воспроизводится инструкция по эксплуатации и перечень команд.

Ещё возникла идея, а как можно такими QR кодом, делать маркировку лекарств или любых товаров в упаковке, которые находятся в квартире, где проживает человек с инвалидностью по зрению. Ведь обнаружить нужное лекарство бывает достаточно нелегко, среди прочих упаковок и флаконов. Поэтому был приобретён портативный принтер, который печатает наклейки с QR кодом. Информацию о товаре, сроке годности необходимо зашифровать, распечатать и наклеить на упаковку. Это может делать либо работник социальной службы, либо близкие и родственники, либо организовать дополнительный аппарат для печати подобных наклеек на кассу магазинов/аптек и наносить их на покупки, если обслуживают слепых и слабовидящих. Тогда всегда можно с помощью предложенного устройства, получить информацию о том, что вы держите в руках.

Как дальнейшее развитие проекта, планируется добавить GPS модуль, для лучшей ориентации в городском пространстве. Будет возможность выстраивать маршрут и определять место положения. Главной особенностью всех режимов, будет полная автономность работы прибора, без подключения к сети интернет.

На сегодняшний день существуют разработки, направленные на улучшение качества жизни в городе для слепых и слабовидящих. Однако это, как правило, целый комплекс средств и оборудования, которое требует специального монтажа и обслуживания. Представленная разработка имеет очевидное преимущество, как в цене, так и в минимальных дополнительных мероприятиях по организации городского пространства.

Данное устройство получило название «УНИЦАЛ», в честь первого специального шрифта для обучения грамоте слепых, который изобрёл Валентин Гаюи.