Колумбийские исследователи построили 26-моторное робото лицо, которое учится сканированию губ на видео с использованием AI, что улучшает взаимодействие между человеком и роботом. Columbia researchers built a 26-motor robot face that learns lip-syncing from video using AI, improving human-robot interaction.

Исследователи Колумбийского университета создали робот-лицо с 26 моторами, которые учатся сканировать губы, наблюдая за людьми на видео, используя AI для сравнения звуков с реальными движениями губ. Researchers at Columbia University have created a robot face with 26 motors that learns to lip-sync by observing humans on video, using AI to match sounds to realistic lip movements. Эта система, тренированная с помощью самоконтроля и изучения речи и песни, может синхронизировать губы с звуками на разных языках и тонах, улучшая естественное взаимодействие между человеком и роботом. The system, trained through self-observation and studying speech and song, can synchronize lips with audio across languages and tones, improving natural human-robot interaction. Несмотря на сохраняющиеся проблемы с некоторыми звуками, технология направлена на укрепление эмоциональной связи в таких областях, как здравоохранение и образование, за счет устранения ключевого пробела в роботизированном выражении. Though challenges remain with certain sounds, the technology aims to enhance emotional connection in applications like healthcare and education by addressing a key gap in robotic expression.