Два двигателя, една задача

Ray използва два двигателя за разпознаване на реч, защото не всички работни процеси със субтитри изискват един и същ компромис.

Sunray (преди Ray Max) е оптимизиран за точност. Това е двигателят за езици с ограничени ресурси, архивни материали, професионална работа със субтитри и всеки случай, в който текстът трябва да бъде възможно най-близък до изговореното аудио.

MoonRay (преди Ray Turbo) е оптимизиран за скорост. Това е двигателят за гледане на живо, бързи предварителни прегледи и големи партиди, при които е важно използваемите субтитри да бъдат готови бързо.

Сравнителният тест в тази публикация съпоставя двата двигателя на 98 езика, като използва един и същ процес за оценяване за всеки модел. Целта не е просто да се твърди, че Ray е многоезичен. Целта е да се осигури възпроизводим начин да се види как се представят двигателите при множество писмености, акценти и езикови семейства.

Забележка: графиките по-долу са създадени преди преименуването на двигателите, затова легендите им все още показват предишните имена — Ray Max вече е Sunray, а Ray Turbo вече е MoonRay.

Как да разчитате стойностите

Основният показател е процентът на грешки в думите, обикновено съкращаван като WER. По-ниската стойност е по-добра. WER от 5 процента означава, че транскрипцията е много близка до референтния текст. Високият WER означава, че двигателят е направил повече замени, вмъквания или пропуски.

За по-лесно сравнение същият резултат може да бъде показан и като точност:

accuracy = max(0, 100 - WER)

Този втори изглед се преглежда по-лесно, но WER остава по-полезният инженерен показател, защото показва точно къде даден модел среща затруднения.

Общо представяне

Пълни резултати: всичките 98 езика

Езици с високи резултати

Най-предизвикателни езици

Какво измерваме

• Качество на разпознаването на 98 езика
• Разликата между Sunray и MoonRay
• Езиците, при които точността вече е достатъчно висока за ежедневни субтитри
• Езиците, които се нуждаят от повече данни за обучение, нормализация или специфична за езика обработка
• Случаите на неуспех, при които моделът вмъква повече текст, отколкото се съдържа в изходното аудио

Защо това е важно за субтитрите

Двигателят за субтитри не се оценява само според това колко добре се справя с английски език. Реалното гледане е по-сложно: многоезични филми, превключване между езици, регионални имена, шумни записи и съдържание, което преминава от един език на друг по средата на сцената.

Ray е създаден за тази реалност. Сравнителните тестове ни помагат да избираме настройки по подразбиране, да определяме очакванията и да решаваме накъде да насочим следващите усилия за обучение и оценяване.

Важният продуктов резултат е прост: Ray може да избира между скорост и точност според задачата, а и двата двигателя продължават да се подобряват с преминаването на повече езици през процеса за сравнително тестване.