«Я тебя слышу». Школьники создали приложение-переводчик с языка жестов

Как быть услышанным, если ты не можешь говорить? Как понять другого, если не можешь услышать его слова? Вопросы кажутся утопическими. Те, чей мир всегда наполнен тишиной, живут в некоторой изоляции — им очень трудно контактировать с миром слышащих людей.

Но на самом деле граница между двумя мирами тонка — ее вполне можно разрушить, достаточно захотеть найти понимание. Юные рязанцы совершили настоящий прорыв в этом вопросе, создав приложение, способное распознавать язык жестов. Об уникальной разработке — в материале rzn.aif.ru.

Общение без барьеров

Язык людей с проблемами со слухом особенный: быстрая жестикуляция, живая мимика — каждое движение имеет значение. Буквы, фразы, эмоции — все зашифровано в особых жестах. Когда люди, владеющие этим языком, общаются друг с другом, остается только удивляться, насколько быстро они считывают информацию. Но большинству людей этот язык недоступен, почти как иностранный — понять человека, говорящего хоть и на русском, но жестовом, невозможно без перевода.

Для просмотра телевизионных передач вводят сурдоперевод. А как людям, лишенным слуха и речи, купить нужный товар в магазине, решить бытовые вопросы? Об этом задумались совсем юные рязанцы — воспитанники «Центра цифрового образования «IT-куб» Федор Ионов и Владимир Варнацкий.

«Ребята сами захотели создать что-то социально значимое. Они хотели разработать приложение, которое будет приносить пользу людям, — рассказывает руководитель проекта, педагог дополнительного образования центра „IT-куб“ Владимир Диденко. — Я знал, что в Рязани много людей, которые испытывают проблемы со слухом, даже в нашем учреждении есть глухой сотрудник. Да и вообще, проблема общения для людей с такой инвалидностью остро стоит не только в нашем регионе. Так родилась идея создания приложения, которое помогло бы людям общаться без барьеров».

Владимир Диденко уже пять лет обучает школьников высоким технологиям, а до этого преподавал в школе английский. Как филолог и IT-специалист он понимал важность дела, за которое они взялись со своими воспитанниками.

Проект разрабатывался непосредственно с теми, для кого он и предназначен — начинающие IT-специалисты общались с представителями Рязанского отделения Всероссийского общества глухих, вникали в их потребности, узнавали особенности русского жестового языка.

«В региональном отделении ВОГ оценили нашу идею, поэтому они сформулировали более точные задачи и пожелания, чтобы наше приложение отвечало нуждам глухих людей, — говорит Владимир Диденко. — У нас было порядка пяти сессий, когда к нам приходили участники общества, мы вместе нарабатывали материал. Снимали видео, как каждый показывает буквы, слова, фразы на жестовом языке».

Потом этот материал тщательно обрабатывался — надо было учесть все тонкости, ведь у каждого носителя языка могут быть и свои особенности жестикуляции и артикуляции.

Аналогов пока нет

Федор Ионов, теперь уже студент 1-го курса РГРТУ, а тогда еще школьник, работал непосредственно с моделью искусственного интеллекта, которая смогла бы справиться с поставленной задачей. Владимир Варнацкий, который сейчас учится в 11-м классе, занимался разработкой самого приложения, его дизайном.

«С помощью искусственного интеллекта жесты переводятся в текст — для этого достаточно навести на собеседника камеру телефона, — объясняет Федор Ионов. — Пока разработку таких проектов никто не довел дальше тестовых моделей. Два года назад, когда у нас появилась эта идея, мы понимали, что аналогов такого приложения на рынке нет. За два года мы смогли создать рабочую модель, которой уже пользуются люди».

«Я занимался разработкой мобильного приложения, корректированием его дизайна, — делится Владимир Варнацкий. — Работать было интересно. Особенно приятно осознавать, что твоя работа принесет пользу людям».

В том, что это приложение и правда необходимо многим, можно было убедиться на презентации проекта в Доме культуры ВОГ — 18 сентября общество отмечало свой вековой юбилей, и молодые разработчики представили там свое приложение.

«Это очень важно для нас, — оценила председатель Рязанского регионального отделения ОООИ ВОГ Елена Тимохина. — Мы благодарны за такое внимание к нашим проблемам, думаю, такой переводчик станет большим подспорьем для тех, кто испытывает проблемы со слухом».

Кстати, сотрудничество общества глухих и центра цифрового образования после совместной работы получило новый виток — здесь разрабатываются совместные мероприятия для глухих детей, в том числе по кибергигиене.

Стремление приносить пользу

Свою уникальную разработку Федор Ионов и Владимир Варнацкий уже презентовали в Москве, Ярославле, Сириусе, Челябинске, Майкопе. Везде проект получил высокие оценки.

«Меня радует, что ребят интересует, в первую очередь, не создание игр, а разработка социально-ориентированных ресурсов. Один из моих ребят разрабатывает приложение по распознаванию вредных ингредиентов в составе продуктов. В разработке также экосистема для педагогического сообщества, где будет возможность пользоваться тем, что стоит больших денег или недоступно в нашей стране. Это может стать серьезным подспорьем в работе учителей, — рассказывает Владимир Диденко. — Еще одна моя воспитанница разрабатывает проект, который будет помогает детям справляться со стрессовыми ситуациями во время экзаменов. Приятно, когда видишь стремление ребят приносить пользу. Они берутся за смелые и интересные проекты, которые могут повысить качество жизни многих людей. И разработка приложения для перевода жестового зыка — один из наглядных примеров работы, которая имеет большое социальное значение».

Приложение, которое создали юные рязанские айтишники, уже работает. Пока рано приводить статистику, сколько людей уже воспользовались приложением, но их точно будет немало, ведь ничего подобного до появления рязанской разработки не существовало. Сейчас программисты продолжают совершенствовать свой проект — они собирают и анализируют все замечания от тех, кто уже на практике опробовал приложение. Уникальное приложение, с помощью которого можно услышать тех, кто лишен возможности говорить.