Meta показали универсальное определение касаний поверхностей - в том числе печати по столу
Ещё несколько лет назад глава Meta Марк Цукерберг
показывал, как компания научилась распознавать печать по виртуальной клавиатуре, наложенной на стол в смешанной реальности. Он смог печатать со скоростью 100 слов в минуту, но демонстрация была с нюансами. Тогда отслеживание Quest-а было заякорено визуальными маркерами, а модель распознавания печати работала на компьютере. И, конечно, печать по столу так и не стала доступна миру.
На днях группа студентов ETH Zurich и стажёров Meta
представила альтернативный подход решения проблемы - систему
TouchInsight (
видео) на базе нейросети TransformerXL, которая способна точно определять касания пальцев любых поверхностей и которая может быть обучена под любые клавиатуры и панели ввода.
Она полагается на заранее записанное распределение координат касаний виртуальных клавиш и возвращает вероятности нажатых клавиш. Они передаются в дополнительную систему уточнения символа и всего слова по предыдущим символам, которая использует небольшую языковую модель.
Вся эта система печати использует стандартное отслеживание пальцев гарнитур Quest 2/3 и работает автономно без ПК. Но появится ли эта она на гарнитурах Quest - неизвестно.