Du varikliai, viena užduotis

Ray naudoja du kalbos atpažinimo variklius, nes ne visoms subtitrų kūrimo eigoms reikia tokio paties kompromiso.

Sunray (anksčiau Ray Max) optimizuotas tikslumui. Tai variklis, skirtas mažai išteklių turinčioms kalboms, archyvinei medžiagai, profesionaliam darbui su subtitrais ir visiems atvejams, kai tekstas turi kuo tiksliau atitikti sakytinį garsą.

MoonRay (anksčiau Ray Turbo) optimizuotas greičiui. Tai variklis, skirtas tiesioginei peržiūrai, greitoms peržiūroms ir didelėms failų grupėms, kai svarbu greitai gauti tinkamus naudoti subtitrus.

Šiame įraše aptariamas etaloninis testas lygina abu variklius 98 kalbose, kiekvienam modeliui taikant tą patį vertinimo procesą. Tikslas nėra miglotai teigti, kad Ray yra daugiakalbis. Tikslas – suteikti pakartojamą būdą pamatyti, kaip varikliai veikia su įvairiomis rašto sistemomis, tartimis ir kalbų šeimomis.

Pastaba: toliau pateiktos diagramos buvo sukurtos prieš pakeičiant variklių pavadinimus, todėl jų legendose vis dar rodomi ankstesni pavadinimai — Ray Max dabar yra Sunray, o Ray Turbo dabar yra MoonRay.

Kaip skaityti skaičius

Pagrindinis rodiklis yra žodžių klaidų rodiklis (Word Error Rate), paprastai trumpinamas WER. Kuo mažesnis, tuo geriau. 5 procentų WER reiškia, kad transkripcija yra labai artima etaloniniam tekstui. Aukštas WER reiškia, kad variklis atliko daugiau pakeitimų, įterpimų ar praleidimų.

Kad būtų lengviau palyginti, tą patį rezultatą taip pat galima pateikti kaip tikslumą:

accuracy = max(0, 100 - WER)

Šį antrąjį vaizdą lengviau greitai peržvelgti, tačiau WER išlieka naudingesnis inžinerinis rodiklis, nes tiksliai parodo, kur modeliui kyla sunkumų.

Bendras našumas

Visi rezultatai: visos 98 kalbos

Geriausiai atpažįstamos kalbos

Sudėtingiausios kalbos

Ką matuojame

• Atpažinimo kokybę 98 kalbose
• Skirtumą tarp Sunray ir MoonRay
• Kalbas, kurių tikslumas jau pakankamas kasdieniams subtitrams
• Kalbas, kurioms reikia daugiau mokymo duomenų, normalizavimo ar konkrečiai kalbai pritaikyto apdorojimo
• Klaidos atvejus, kai modelis įterpia daugiau teksto, nei jo yra šaltinio garso įraše

Kodėl tai svarbu subtitrams

Subtitrų variklis vertinamas ne tik pagal tai, kaip gerai jis apdoroja anglų kalbą. Tikrasis turinys yra sudėtingesnis: daugiakalbiai filmai, kalbų kaita, regioniniai vardai, triukšmingi įrašai ir turinys, kuriame kalba pasikeičia scenos viduryje.

Ray sukurtas būtent tokiai realybei. Etaloniniai testai padeda mums pasirinkti numatytuosius nustatymus, formuoti lūkesčius ir nuspręsti, kuria kryptimi turėtų būti tęsiami mokymo ir vertinimo darbai.

Svarbiausias produkto rezultatas yra paprastas: Ray gali rinktis greitį arba tikslumą pagal užduotį, o abu varikliai toliau tobulėja, kai etaloninio testavimo procesą pereina vis daugiau kalbų.