Появился инструмент на базе ИИ для перевода видео – с клонированием голоса и синхронизацией мимики

22 августа 2024

Американская компания D-ID выпустила инструмент с искусственным интеллектом, который может переводить видеоконтент на 30 языков, включая русский, а также анимировать мимику говорящего. Технология бесплатна, но пока работает только с короткими видео.

Ключевые факты

  • Компания заявила, что длина видео может быть от 10 секунд до 5 минут и весом не более 2 ГБ. Инструмент работает только с одним человеком в кадре и для лучшего результат нужно, чтобы на видео в любое время было видно его лицо.
  • Новая технология сейчас доступна по бесплатной подписке.
  • D-ID — это технологическая компания, разрабатывающая фотореалистичные цифровые аватары и инструменты для защиты от дипфейков. Их инструменты используются для создания видеоконтента.

Бэкграунд

Напомним, что сейчас многие компании разрабатывают инструменты с ИИ для видеоформатов. Например, платформа TikTok запустила собственную модель  – TikTok Symphony – которая помогает создавать видео и аватары для продвижения брендов на глобальную аудиторию.

Также компания Microsoft планирует добавить расширение для своего поисковика Edge. Оно будет работать на базе ИИ Copilot и сможет бесплатно переводить видео в YouTube и LinkedIn.

Источник: TechCrunch

Читайте больше новостей медиасферы здесь