Перчатку научили переводить с языка жестов
- 4793
- 20:49
- 30.06.2020
Поделиться
Китайские и американские ученые создали роботизированную перчатку, которая благодаря нейросетевым алгоритмам может автоматически переводить язык жестов в человеческую речь, пишет ТАСС.
Китайские и американские ученые создали роботизированную перчатку, которая благодаря нейросетевым алгоритмам может автоматически переводить язык жестов в человеческую речь, пишет ТАСС.
"Мы надеемся на то, что благодаря нашему изобретению немые и глухонемые люди смогут напрямую общаться с окружающими даже в том случае, если не знают языка жестов. Более того, мы надеемся, что подобные приборы помогут их собеседникам быстро выучить язык жестов", — прокомментировал один из разработчиков перчатки-переводчика, доцент Калифорнийского университета в Лос-Анджелесе Цзюнь Чэнь, которого цитирует журнал Nature Electronics.
Сейчас несколько миллионов жителей Земли не могут самостоятельно говорить или слышать из-за различных происшествий, а также дефектов голосовых связок, барабанных перепонок и других органов, которые участвуют в воспроизведении или восприятии речи. С окружающими такие люди могут общаться с помощью языков жестов.
Правда, неподготовленный собеседник не сможет понять, что именно носитель такого языка пытается сказать. Из-за этого глухие и немые люди пользуются услугами переводчиков. Но такие люди доступны далеко не всегда, из-за чего у людей с ограниченными возможностями появляются проблемы.
Чэнь и его коллеги сделали большой шаг к решению таких проблем. Они создали перчатку, которая благодаря нейросети может переводить язык жестов в английскую речь в режиме реального времени. Эта перчатка оснащена набором датчиков трения и гироскопов, благодаря этим датчикам устройство распознает движения пальцев и рук владельца. Общая стоимость всех компонентов, по словам исследователей, не превышает $ 50.
С помощью таких перчаток физики записали жесты, которые в английском языке жестов соответствуют 600 самым распространенным словам. На следующем этапе ученые проанализировали эти данные с помощью нейросети. Она выделила в них характерные черты, по которым эти слова можно достаточно быстро переводить. Устройство может даже озвучивать их с помощью динамика смартфона или другого мобильного устройства.
Добившись этого, ученые расширили возможности устройства. Они добавили набор датчиков, которые крепятся к коже лица. Эти датчики могут определять изменения в мимике, которые тоже используются при формировании определенных слов в языке жестов.
Чтобы натренировать нейросеть и ускорить работу алгоритмов, ученые собрали группу из четырех глухих добровольцев. В результате экспериментов перчатка распознала жесты и короткие фразы с почти стопроцентной точностью всего через несколько десятков обучающих сессий.
В ближайшее время ученые планируют расширить "словарный запас" устройства, чтобы его можно было использовать не только в лаборатории, но и в обычной жизни. Как надеются исследователи, обе эти задачи будут решены в самое ближайшее время, благодаря чему глухие и немые люди смогут общаться со всеми людьми без проблем.
"Мы надеемся на то, что благодаря нашему изобретению немые и глухонемые люди смогут напрямую общаться с окружающими даже в том случае, если не знают языка жестов. Более того, мы надеемся, что подобные приборы помогут их собеседникам быстро выучить язык жестов", — прокомментировал один из разработчиков перчатки-переводчика, доцент Калифорнийского университета в Лос-Анджелесе Цзюнь Чэнь, которого цитирует журнал Nature Electronics.
Сейчас несколько миллионов жителей Земли не могут самостоятельно говорить или слышать из-за различных происшествий, а также дефектов голосовых связок, барабанных перепонок и других органов, которые участвуют в воспроизведении или восприятии речи. С окружающими такие люди могут общаться с помощью языков жестов.
Правда, неподготовленный собеседник не сможет понять, что именно носитель такого языка пытается сказать. Из-за этого глухие и немые люди пользуются услугами переводчиков. Но такие люди доступны далеко не всегда, из-за чего у людей с ограниченными возможностями появляются проблемы.
Чэнь и его коллеги сделали большой шаг к решению таких проблем. Они создали перчатку, которая благодаря нейросети может переводить язык жестов в английскую речь в режиме реального времени. Эта перчатка оснащена набором датчиков трения и гироскопов, благодаря этим датчикам устройство распознает движения пальцев и рук владельца. Общая стоимость всех компонентов, по словам исследователей, не превышает $ 50.
С помощью таких перчаток физики записали жесты, которые в английском языке жестов соответствуют 600 самым распространенным словам. На следующем этапе ученые проанализировали эти данные с помощью нейросети. Она выделила в них характерные черты, по которым эти слова можно достаточно быстро переводить. Устройство может даже озвучивать их с помощью динамика смартфона или другого мобильного устройства.
Добившись этого, ученые расширили возможности устройства. Они добавили набор датчиков, которые крепятся к коже лица. Эти датчики могут определять изменения в мимике, которые тоже используются при формировании определенных слов в языке жестов.
Чтобы натренировать нейросеть и ускорить работу алгоритмов, ученые собрали группу из четырех глухих добровольцев. В результате экспериментов перчатка распознала жесты и короткие фразы с почти стопроцентной точностью всего через несколько десятков обучающих сессий.
В ближайшее время ученые планируют расширить "словарный запас" устройства, чтобы его можно было использовать не только в лаборатории, но и в обычной жизни. Как надеются исследователи, обе эти задачи будут решены в самое ближайшее время, благодаря чему глухие и немые люди смогут общаться со всеми людьми без проблем.
Реклама
