Инженеры из университета Цинхуа создали приложение, способное на основе искусственного интеллекта распознавать беззвучную речь по движениям губ. Описание работы опубликовано в онлайн-библиотеке ACM.

В процессе распознавания речи пользователя по губам система отслеживает 20 контрольных точек, расположенных как на всей поверхности губ, так и в уголках рта. Также нейросеть анализирует степень открытости рта.

Сейчас сервис работает только в версии для персонального компьютера, а в ближайшее время разработчики адаптируют его для iOS и Android. Приложение способно распознавать 44 команды, в числе которых — включение и выключение WiFi, копирование или выделение текста и другие. В будущем разработка поможет глухонемым людям пользоваться голосовыми помощниками, считают исследователи.

Источник: Хайтек