Два механизма, један задатак

Ray користи два механизма за препознавање говора јер различити токови рада са титловима захтевају различите компромисе.

Sunray (раније Ray Max) оптимизован је за тачност. Намењен је језицима са мало доступних ресурса, архивском материјалу, професионалном раду на титловима и свакој ситуацији у којој текст мора што верније да одговара изговореном садржају.

MoonRay (раније Ray Turbo) оптимизован је за брзину. Намењен је гледању уживо, брзим прегледима и великим серијама садржаја код којих је важно брзо добити употребљиве титлове.

Бенчмарк на којем се заснива овај текст пореди оба механизма на 98 језика, користећи исти поступак оцењивања за сваки модел. Циљ није неодређена тврдња да је Ray вишејезичан. Циљ је поновљив начин да се види како се механизми понашају у различитим писмима, акцентима и језичким породицама.

Напомена: графикони у наставку настали су пре промене назива механизама, па њихове легенде и даље приказују раније називе — Ray Max се сада зове Sunray, а Ray Turbo се сада зове MoonRay.

Како читати бројеве

Главна метрика је стопа грешке у речима (Word Error Rate), обично скраћено WER. Нижа вредност је боља. WER од 5 процената значи да је транскрипт веома близак референтном тексту. Висок WER значи да је механизам направио више замена, уметања или изостављања.

Ради лакшег поређења, исти резултат може се приказати и као тачност:

accuracy = max(0, 100 - WER)

Тај други приказ је лакше брзо прегледати, али WER остаје кориснија инжењерска метрика јер прецизно показује где модел има потешкоћа.

Укупне перформансе

Комплетни резултати: свих 98 језика

Језици са најбољим перформансама

Најзахтевнији језици

Шта меримо

• Квалитет препознавања на 98 језика
• Разлику између модела Sunray и MoonRay
• Језике на којима је тачност већ довољно висока за свакодневне титлове
• Језике којима је потребно више података за обуку, нормализације или обраде прилагођене конкретном језику
• Случајеве неуспеха у којима модел умеће више текста него што изворни аудио-снимак садржи

Зашто је ово важно за титлове

Механизам за титлове не оцењује се само према томе колико добро обрађује енглески. Стварни услови гледања су сложенији: вишејезични филмови, пребацивање између језика, регионална имена, снимци са шумом и садржај који усред сцене прелази са једног језика на други.

Ray је направљен за такву стварност. Бенчмаркови нам помажу да изаберемо подразумевана подешавања, поставимо очекивања и одлучимо на шта треба усмерити наредни рад на обуци и оцењивању.

Важан резултат за производ је једноставан: Ray може да бира између брзине и тачности у зависности од задатка, а оба механизма настављају да се побољшавају како све више језика пролази кроз процес бенчмарк тестирања.