Kaks mootorit, üks ülesanne

Ray kasutab kaht kõnetuvastusmootorit, sest kõik subtiitrite töövood ei vaja sama kompromissi.

Sunray (endise nimega Ray Max) on optimeeritud täpsusele. See mootor sobib väheste ressurssidega keeltele, arhiivimaterjalidele, professionaalseks subtiitritööks ja kõigiks olukordadeks, kus tekst peab olema kõneldud helile võimalikult lähedane.

MoonRay (endise nimega Ray Turbo) on optimeeritud kiirusele. See mootor sobib otsevaatamiseks, kiireteks eelvaadeteks ja suurteks töötluspartiideks, mille puhul on oluline saada kasutatavad subtiitrid kiiresti.

Selle postituse aluseks olev võrdlustest võrdleb mõlemat mootorit 98 keeles, kasutades iga mudeli puhul sama hindamisprotsessi. Eesmärk ei ole ebamäärane väide, et Ray on mitmekeelne. Eesmärk on pakkuda korratavat viisi, et näha, kuidas mootorid toimivad paljude kirjasüsteemide, aktsentide ja keelkondade puhul.

Märkus: allolevad diagrammid pärinevad mootorite nimemuutuse eelsest ajast, mistõttu on nende legendides endiselt vanad nimed — Ray Max on nüüd Sunray ja Ray Turbo on nüüd MoonRay.

Kuidas tulemusi lugeda

Peamine mõõdik on sõnavigade määr (Word Error Rate), mida lühendatakse tavaliselt WER-iks. Madalam tulemus on parem. 5-protsendiline WER tähendab, et transkriptsioon on võrdlustekstile väga lähedane. Kõrge WER tähendab, et mootor tegi rohkem asendusi, lisamisi või kustutamisi.

Lihtsamaks võrdlemiseks saab sama tulemust näidata ka täpsusena:

accuracy = max(0, 100 - WER)

Seda teist vaadet on lihtsam kiiresti hinnata, kuid WER on endiselt kasulikum tehniline mõõdik, sest see näitab täpselt, kus mudelil raskusi tekib.

Üldine jõudlus

Täielikud tulemused: kõik 98 keelt

Parimate tulemustega keeled

Kõige keerulisemad keeled

Mida me mõõdame

• Tuvastuskvaliteet 98 keeles
• Sunray ja MoonRay erinevus
• Keeled, milles täpsus on igapäevaste subtiitrite jaoks juba piisavalt hea
• Keeled, mis vajavad rohkem treeningandmeid, normaliseerimist või keelespetsiifilist töötlust
• Veajuhud, kus mudel lisab rohkem teksti, kui lähteheli sisaldab

Miks see on subtiitrite puhul oluline

Subtiitrimootorit ei hinnata ainult selle järgi, kui hästi see inglise keelega toime tuleb. Tegelik vaatamine on keerulisem: mitmekeelsed filmid, keelte vahetamine, piirkondlikud nimed, mürarikkad salvestised ja sisu, mis vahetab stseeni keskel keelt.

Ray on loodud just seda tegelikkust silmas pidades. Võrdlustestid aitavad meil valida vaikeseadeid, seada ootusi ning otsustada, kuhu järgmised treenimis- ja hindamistööd suunata.

Oluline tootetulemus on lihtne: Ray saab ülesandest olenevalt valida kiiruse ja täpsuse vahel ning mõlemad mootorid paranevad pidevalt, kui rohkem keeli läbib võrdlustestide protsessi.