Два механизми, една задача

Ray користи два механизми за препознавање говор бидејќи не сите работни процеси за титлови бараат ист компромис.

Sunray (порано Ray Max) е оптимизиран за точност. Тој е механизмот за јазици со малку ресурси, архивски материјали, професионална работа со титлови и секоја ситуација во која текстот треба да биде што е можно поблизок до изговореното аудио.

MoonRay (порано Ray Turbo) е оптимизиран за брзина. Тој е механизмот за гледање во живо, брзи прегледи и големи серии каде што е важно брзо да се добијат употребливи титлови.

Бенчмаркот зад оваа објава ги споредува двата механизми на 98 јазици, користејќи го истиот процес на оценување за секој модел. Целта не е нејасно тврдење дека Ray е повеќејазичен. Целта е да се обезбеди повторлив начин да се види како механизмите се однесуваат кај многу писма, акценти и јазични семејства.

Забелешка: графиконите подолу се направени пред ребрендирањето на механизмите, па во нивните легенди сè уште се прикажани поранешните имиња — Ray Max сега е Sunray, а Ray Turbo сега е MoonRay.

Како да ги читате бројките

Главната метрика е стапката на грешки во зборови (Word Error Rate), вообичаено скратена како WER. Пониско е подобро. WER од 5 проценти значи дека транскриптот е многу близок до референтниот текст. Висок WER значи дека механизмот направил повеќе замени, вметнувања или бришења.

За полесна споредба, истиот резултат може да се прикаже и како точност:

accuracy = max(0, 100 - WER)

Вториот приказ е полесен за брзо прегледување, но WER останува покорисна инженерска метрика бидејќи точно покажува каде моделот има тешкотии.

Вкупни перформанси

Целосни резултати: сите 98 јазици

Јазици со високи перформанси

Најпредизвикувачки јазици

Што мериме

• Квалитет на препознавање кај 98 јазици
• Разликата меѓу Sunray и MoonRay
• Јазици кај кои точноста е веќе доволно висока за секојдневни титлови
• Јазици на кои им се потребни повеќе податоци за обука, нормализација или обработка специфична за јазикот
• Случаи на неуспех во кои моделот вметнува повеќе текст отколку што содржи изворното аудио

Зошто ова е важно за титловите

Механизмот за титлови не се оценува само според тоа колку добро го обработува англискиот јазик. Реалното гледање е посложено: повеќејазични филмови, префрлање меѓу јазици, регионални имиња, снимки со шум и содржини што преминуваат од еден јазик на друг среде сцена.

Ray е создаден за таа реалност. Бенчмарковите ни помагаат да избереме стандардни поставки, да поставиме очекувања и да одлучиме каде треба да се насочи следната работа на обука и оценување.

Важниот резултат за производот е едноставен: Ray може да избира меѓу брзина и точност во зависност од задачата, а двата механизми продолжуваат да се подобруваат додека повеќе јазици минуваат низ процесот на бенчмарк-тестирање.