Если раньше искусственный интеллект обучали интерпретации повседневных телодвижений человека, то теперь на очереди жесты, которые используются для конкретных ситуаций, а именно в качестве пояснения к словам.
Если стоящий перед нами человек скажет: «Я поймал вот такую рыбу» — и разведёт руками в стороны, мы сможем довольно точно представить величину добычи — разумеется, с поправкой на традиционное рыбацкое хвастовство. Теперь благодаря технологии Data Miming такой способностью частично обладает компьютер. Причём не просто ради слепого копирования человеческих возможностей, а в практических целях.
Программист Криштиан Хольц из Института Хассо Платтнера при Потсдамском университете (Германия) и его коллега Энди Уилсон, работающий в отделении Microsoft Research в Редмонде (США), собрали группу добровольцев и стали наблюдать за тем, как они изображают различные виды стульев, столов и прочей мебели. Наиболее типичные жесты, характеризующие форму и размер объектов, попали в базу данных.
Для распознавания жестов используется система на основе Microsoft Kinect, которая строит воксельную модель предмета. Соотнеся её с реально существующими изделиями (в данном случае — товарами в мебельном магазине), программа сообщает отчаянно жестикулирующему покупателю, где можно найти то, что он хочет.
Прототип Data Miming, показанный на майской конференции по взаимодействию человека и компьютера CHI 2011, умеет узнавать три четверти «телесных» описаний, и в 98% случаев нужный объект находится в первой тройке предложенных машиной вариантов.