Два движка, одна задача

Ray использует два движка распознавания речи, поскольку для разных сценариев работы с субтитрами нужен разный баланс характеристик.

Sunray (ранее Ray Max) оптимизирован для точности. Этот движок предназначен для языков с ограниченным количеством ресурсов, архивных материалов, профессиональной работы с субтитрами и любых ситуаций, когда текст должен быть максимально близок к звучащей речи.

MoonRay (ранее Ray Turbo) оптимизирован для скорости. Этот движок предназначен для просмотра в реальном времени, быстрого предварительного просмотра и обработки больших пакетов, когда важно оперативно получить пригодные для использования субтитры.

Бенчмарк, лежащий в основе этой публикации, сравнивает оба движка на 98 языках, используя одинаковый процесс оценки для каждой модели. Цель не в расплывчатом заявлении о том, что Ray поддерживает множество языков. Цель — создать воспроизводимый способ увидеть, как движки работают с разными системами письма, акцентами и языковыми семьями.

Примечание: приведённые ниже диаграммы были созданы до переименования движков, поэтому в их легендах всё ещё указаны прежние названия — Ray Max теперь называется Sunray, а Ray Turbo — MoonRay.

Как читать показатели

Основная метрика — Word Error Rate (частота ошибок в словах), обычно сокращаемая до WER. Чем ниже значение, тем лучше. WER в 5 процентов означает, что транскрипция очень близка к эталонному тексту. Высокий WER означает, что движок допустил больше замен, вставок или удалений.

Для более удобного сравнения тот же результат можно также представить в виде точности:

accuracy = max(0, 100 - WER)

Второй вариант легче воспринимать беглым взглядом, но WER остаётся более полезной инженерной метрикой, поскольку точно показывает, где у модели возникают трудности.

Общая производительность

Полные результаты: все 98 языков

Языки с высокими результатами

Наиболее сложные языки

Что мы измеряем

• Качество распознавания на 98 языках
• Разницу между Sunray и MoonRay
• Языки, для которых точность уже достаточно высока для повседневного использования субтитров
• Языки, которым требуется больше обучающих данных, нормализация или специализированная обработка
• Случаи сбоев, когда модель вставляет больше текста, чем содержится в исходной аудиодорожке

Почему это важно для субтитров

Движок субтитров оценивают не только по тому, насколько хорошо он справляется с английским языком. Реальные условия просмотра сложнее: многоязычные фильмы, переключение между языками, региональные имена, записи с шумом и контент, в котором язык меняется прямо посреди сцены.

Ray создан для этой реальности. Бенчмарки помогают нам выбирать настройки по умолчанию, формировать ожидания и определять направления дальнейшего обучения и оценки.

Главный результат для продукта прост: Ray может выбирать между скоростью и точностью в зависимости от задачи, а оба движка продолжают совершенствоваться по мере того, как всё больше языков проходит через конвейер бенчмарка.