В одном из университетов Китая разработали голосовую программу, с помощью которой можно управлять смартфоном только лишь двигая губами.
Уровень громкости произнесённых команд данная программа не учитывает. С помощью камеры мобильного устройства она определяет лицо и распознаёт движения губ, опираясь на 20 контрольных точек.
Когда команда начинается, а когда заканчивается, программа вычисляет благодаря способности различать закрытый и открытый рот. Произнесённые слова по движениям губ распознаёт другой алгоритм, в основе которого лежат свёрточные нейросети. Тестирование программы командой разработчиков под руководством Юаньчунь Ши оказалось успешным. Правда, проверяли её пока не на смартфоне, а на современном компьютерном оборудовании.
Умное приложение знает 44 команды
Одни команды могут управлять системой, выключить беспроводные сети, к примеру. Другие распространяются лишь на какие-то приложения. Некоторые взаимодействуют с системными службами, например, позволяют выделить текст. Программа умеет реагировать на текущие задачи и применять команды с учётом контекста — распознает ответ на сообщение всплывающего окна. Для пополнения словарного запаса приложения пригласили 21 добровольца с разными типами речи. В результате проверки точность распознавания составила 95.5%.
Зачем нужна такая функция
Исследования показали, что люди не используют голосовые команды в общественных местах из-за чувства дискомфорта. При этом, дискомфорт испытывают как они сами, так и окружающие.
Авторы программы, распознающей беззвучную речь, провели эксперимент в метрополитене Пекина. Десять добровольцев разделили на пары. Один из них был пользователем нового приложения, а другой — пассажиром метро. Им предстояло оценить, насколько удобно использовать беззвучные команды с учётом недоступности сказанной информации для окружающих. Анализ результатов показал, что такие команды комфортнее для всех, при этом пользователь уверен в том, что информация недоступна посторонним. Приложение даёт возможность управлять смартфоном где угодно, не мешая окружающим.