Магистрант факультета «Информатика и вычислительная техника» ПГУТИ Арина Леутина вместе со своим коллегой Данилой Сусловым разработали уникальную программу под названием «Инклюзивный коммуникационный ассистент». В данный момент она представляет собой бесплатную веб-платформу.

Люди, которым с силу разных причин и диагнозов сложно общаться, могут на этом сайте показывать в камеру жесты, а искусственный интеллект будет переводить их в голос. Инклюзивный помощник подойдет для глухонемых, слабослышащих и глухих людей, а также людей с некоторыми другими особенностями развития. Этот стартап планируется как больший социальный проект.

«Несколько лет назад я устроилась на работу в один из детских развивающих центров для детей с особенностями развития в Самаре. Я вела там занятия по рисованию. До знакомства с воспитанниками центра я не вполне понимала, что значит «особенности развития». Оказалось, что общаться с ними «с непривычки» тяжело. В центре были дети, в том числе и с расстройствами аутистического спектра (РАС), которые общались между собой карточками, которые передавали различную информацию, например, «Я устал», «Слишком громко», «Хочу есть» и т.д. Увидев эти карточки, я осознала, насколько же это осложняет общение и затрудняет социализацию таких детей. И тогда мне захотелось сделать удобный и доступный инструмент коммуникации для всех, кто в этом нуждается. Карточки могут помяться, потеряться, что вызовет у ребенка большой стресс.
Ранее мой коллега Данила Суслов использовал в своих научных изысканиях технологию распознавания по точкам для роботов, чтобы они учились не сталкиваться с преградой и запоминали ее. Когда я узнала об этой технологии, то подумала, что ее можно приспособить к инклюзии и помочь людям с проблемами в коммуникации общаться, используя только жесты и телефон. Так и появился мой инклюзивный коммуникационный ассистент».

Сейчас программа существует в виде сайта. Пользоваться всем его функционалом можно абсолютно бесплатно. Человек открывает сайт на смартфоне или десктопную версию, кликает на инклюзивный ассистент и показывает в камеру жесты. Через несколько секунд программа выдает эту информацию уже голосом. Сайтом можно пользоваться дома, в учреждениях, учебным заведениях – везде, где человеку нужно общаться с другими людьми или получить какую-то помощь.
Преобразование жестов в голос осуществляется с помощью системы на базе искусственного интеллекта. В основе системы лежит модель сверточной нейросети, разработанная Ариной Леутиной и Данилой Сусловым. Она предназначена для распознавания жестов по изображению с камеры.
Для обучения нейросети используется большой набор данных — примерно 1200 фотографий для каждого жеста. Это необходимо для того, чтобы модель могла уверенно распознавать жесты в реальных условиях, ведь один и тот же жест может быть показан под разными углами, с различного расстояния и при разном освещении.

Для подготовки обучающих данных была разработана специальная программа, которая позволяет автоматически собирать фотографии жестов с камеры, выполнять их предварительную обработку и формировать датасет для обучения нейросети. В процессе обработки изображения нормализуются, при необходимости обрезаются и подготавливаются к дальнейшему обучению модели.
После обучения нейросеть способна распознавать показанные пользователем жесты и преобразовывать их в текст, который затем с помощью технологии синтеза речи озвучивается системой.
Если какая-то компания захочет адаптировать базу жестов для своей деятельности, ей придется заплатить за лицензию.
Стартап планируется вскоре перевести в один из крупных российских банков, чтобы обслуживать клиентов с трудностями в коммуникации.

«Люди с инклюзией в нашей стране до сих пор ограничены в своих возможностях. Например, очень мало людей с такими коммуникационными проблемами посещают банки и другие присутственные места, хотя у них есть в этом потребность. Если загрузить такую программу в терминалы, люди с трудностями в общении смогут через него быстро решить свои проблемы. Моя разработка также облегчит жизнь родителям, у которых растут дети, например, с задержками психического и речевого развития. Мобильные телефоны есть сегодня у всех, и ребенок легко сможет донести до родителей информацию о своем состоянии».

«По сути, это моя специальность. Заниматься наукой у нас в вузе является само собой разумеющимся. В школе я активно участвовала в различных олимпиадах. С первого курса университета начала писать научные статьи. Выступив со своей первой статьей на конференции, я поняла, что мне это нравится и я готова этим заниматься всю свою жизнь».

«Наука таит в себе много возможностей. Одна из них совпадает с моей жизненной установкой — помогать людям. И я могу это делать. Я создаю новые технологии, которые повышают качество жизни этим людям».

Таких людей в моем окружении немало. Например, дефектолог и директор того самого развивающего детского центра, в котором я работаю, — Светлана Вячеславовна Быкова. Она всю себя отдает, помогая детям с РАС, задержками психического и речевого развития. Она также является многодетной мамой, усыновившей нескольких детей с особенностями развития. А еще меня вдохновляет мой научный руководитель, преподаватель кафедры информатики и робото­технических систем, профессор Надежда Федоровна Бахарева. Она единственная, кто безоговорочно поверил в мой проект и помогла его развитию.