Камеры ноутбуков научат языку жестов (видео) [ Редагувати ]

Американский программист создал программу, позволяющую общаться с голосовым помощником с помощью жестового языка. Она распознает жесты с помощью камеры ноутбука и преобразует их в голосовые команды для помощника, а затем распознает ответы помощника и выводит их на экран в текстовом виде. На разработку обратил внимание блог prosthetic knowledge.

Разработчик из США Абхишек Сингх (Abhishek Singh) создал программное обеспечение, выступающее в качестве посредника между глухим человеком и голосовым помощником Alexa. Программа запускается на ноутбуке и использует встроенную камеру для распознавания жестов американского жестового языка. За распознавание отвечает алгоритм глубокого обучения, реализованный с помощью фреймворка TensorFlow.js, позволяющего обучать и запускать нейросетевые модели в браузере.

Пользователь дает команды на жестовом языке, а ноутбук в реальном времени распознает слова и произносит их с помощью системы синтеза речи, а также отображает на экране. В это же время колонка слышит и распознает слова компьютера и через небольшое время отвечает голосом, который также распознается и выводится на экран.

Интерфейс приложения разделен на две части и оформлен как диалог пользователя и голосового ассистента.

Ранее сообщалось о том, что компания Promate разработала водонепроницаемую портативную Bluetooth-колонку.