23.10.2018

Голосовые помощники стали читать по губам

В Китае разработали приложение, которое позволяет смартфону понимать беззвучные голосовые команды своего владельца по движениям губ. Таких помощников можно использовать там, где нежелательно шуметь.

За последние годы умений у голосовых помощников стало гораздо больше. Они даже научились поддерживать диалог. Однако многие люди избегают пользоваться ими, так как это не всегда удобно в общественных местах. Юаньчунь Ши, разработчик из Университета Цинхуа, учёл это и создал с коллегами помощник, умеющий читать по губам, даже если его владелец не произносит ни звука. Приложение с помощью камеры «видит» лицо человека, а нейросеть распознаёт речь благодаря 20 точкам, описывающим форму губ. Пока приложению требуется работающий вместе со смартфоном достаточно мощный дополнительный компьютер. Но это, разумеется, вопрос времени. Для приложения уже разработаны 44 команды, из которых некоторые взаимодействуют с системой в общем, некоторые с конкретными приложениями, ещё часть позволяет работать с практически любым приложением. Проверенная опытным путём точность распознавания беззвучной речи уже дошла до 95,5%.

Источники:

1. weekly-news.ru