Яндекс.Браузер получил функцию автоматического перевода англоязычных видеороликов

Технология перевода работает в Яндекс.Браузере для десктопов и Яндекс.Браузере для Android, а также в мобильном приложении Яндекс для Android и iOS.

Скачать Яндекс.Браузер

Теперь пользователи могут смотреть англоязычные научно-популярные программы, кулинарные шоу, лекции Элона Маска и Ричарда Фейнмана, стендапы и видеоблоги в русской озвучке. Технология реализована следующим образом, оригинальный звуковой поток приглушается и на него накладывается озвученный переведенный текст. Используются два голоса: мужской голос и женский голос, который также является голосом голосового помощника Алисы.

Руководитель Яндекс.Браузера Роман Иванов заявил:

Автоматический перевод видео открывает перед людьми целый мир, который был недоступен из-за языкового барьера. Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к её решению ещё в 2011 году и сейчас умеем переводить все основные виды контента: текст, изображения, видео. Дальше мы будем добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие.

Таким образом, теперь пользователи могут перевести практически любое видео из YouTube, Vimeo и других популярных платформ. Функция перевода поддерживается в Яндекс.Браузере для Windows, macOS, Linux и Android и в приложении Яндекс для Android и iOS.

Перевод выполняется в несколько этапов. На первом этапе распознается речь, она преобразуется в текст, которая разбивается на предложения помощью нейронных сетей. После этого определяется пол говорящего, предложения переводятся на русский язык и синтезируется голос. Наконец, остается совместить перевод с видеорядом. Это непростая задача, потому что приложения в русском языке длиннее, чем на английском.

Подробная информация по технической реализации доступна на «Хабре». Чтобы посмотреть видео с русской озвучкой, нужно нажать на кнопку в плеере и немного подождать. Процесс перевода займет несколько минут, а по его завершению вы получите уведомление.