Divi dzinēji, viens uzdevums

Ray izmanto divus runas atpazīšanas dzinējus, jo ne visām subtitru darbplūsmām ir vajadzīgs vienāds kompromiss.

Sunray (iepriekš Ray Max) ir optimizēts precizitātei. Tas ir paredzēts valodām ar ierobežotiem resursiem, arhīvu materiāliem, profesionālam darbam ar subtitriem un ikvienai situācijai, kad tekstam jābūt pēc iespējas tuvākam ierakstā dzirdamajai runai.

MoonRay (iepriekš Ray Turbo) ir optimizēts ātrumam. Tas ir paredzēts satura skatīšanai tiešraidē, ātriem priekšskatījumiem un lielām apstrādes partijām, kurās ir svarīgi ātri iegūt lietojamus subtitrus.

Šī raksta pamatā esošajā salīdzinošajā testā abi dzinēji tiek salīdzināti 98 valodās, katram modelim izmantojot vienādu vērtēšanas procesu. Mērķis nav izteikt neskaidru apgalvojumu, ka Ray ir daudzvalodīgs. Mērķis ir nodrošināt atkārtojamu veidu, kā novērtēt dzinēju darbību dažādās rakstībās, akcentos un valodu saimēs.

Piezīme: tālāk redzamās diagrammas ir izveidotas pirms dzinēju zīmolu maiņas, tāpēc to apzīmējumos joprojām ir norādīti iepriekšējie nosaukumi — Ray Max tagad ir Sunray, bet Ray Turbo tagad ir MoonRay.

Kā lasīt skaitļus

Galvenā metrika ir vārdu kļūdu īpatsvars (Word Error Rate), ko parasti saīsina kā WER. Jo zemāks rādītājs, jo labāk. 5 procentu WER nozīmē, ka transkripcija ir ļoti tuva atsauces tekstam. Augsts WER nozīmē, ka dzinējs ir veicis vairāk aizstāšanu, iespraudumu vai izlaidumu.

Lai atvieglotu salīdzināšanu, to pašu rezultātu var parādīt arī kā precizitāti:

accuracy = max(0, 100 - WER)

Šo otro attēlojumu ir vieglāk ātri pārskatīt, taču WER joprojām ir noderīgāka inženiertehniskā metrika, jo tā precīzi parāda, kur modelim rodas grūtības.

Kopējā veiktspēja

Pilni rezultāti: visas 98 valodas

Valodas ar augstu veiktspēju

Sarežģītākās valodas

Ko mēs mērām

• Atpazīšanas kvalitāti 98 valodās
• Atšķirību starp Sunray un MoonRay
• Valodas, kurās precizitāte jau ir pietiekami augsta ikdienas subtitriem
• Valodas, kurām nepieciešams vairāk apmācības datu, normalizācijas vai konkrētajai valodai pielāgotas apstrādes
• Kļūmju gadījumus, kad modelis ievieto vairāk teksta, nekā ir avota audioierakstā

Kāpēc tas ir svarīgi subtitriem

Subtitru dzinējs netiek vērtēts tikai pēc tā, cik labi tas apstrādā angļu valodu. Reāli skatīšanās apstākļi ir sarežģītāki: daudzvalodu filmas, valodu maiņa sarunas laikā, reģionāli personvārdi un vietvārdi, trokšņaini ieraksti un saturs, kurā valoda mainās ainas vidū.

Ray ir veidots šādai realitātei. Salīdzinošie testi palīdz mums izvēlēties noklusējuma iestatījumus, noteikt gaidāmos rezultātus un izlemt, kam pievērsties nākamajos apmācības un vērtēšanas posmos.

Svarīgākais produkta ieguvums ir vienkāršs: Ray var izvēlēties starp ātrumu un precizitāti atbilstoši uzdevumam, un abi dzinēji turpina pilnveidoties, arvien vairāk valodām izejot salīdzinošās testēšanas procesu.