Dva mehanizma, jedan zadatak

Ray koristi dva mehanizma za prepoznavanje govora jer ne zahtijevaju svi tijekovi rada s titlovima isti kompromis.

Sunray (prije Ray Max) optimiziran je za točnost. To je mehanizam za jezike s malo dostupnih resursa, arhivske materijale, profesionalnu izradu titlova i sve situacije u kojima tekst mora biti što vjerniji izgovorenom zvuku.

MoonRay (prije Ray Turbo) optimiziran je za brzinu. To je mehanizam za gledanje uživo, brze pretpreglede i velike skupine sadržaja kod kojih je važno brzo dobiti upotrebljive titlove.

Referentno testiranje na kojem se temelji ova objava uspoređuje oba mehanizma na 98 jezika, koristeći isti postupak evaluacije za svaki model. Cilj nije neodređena tvrdnja da je Ray višejezičan. Cilj je ponuditi ponovljiv način uvida u ponašanje mehanizama u različitim pismima, naglascima i jezičnim porodicama.

Napomena: grafikoni u nastavku izrađeni su prije promjene naziva mehanizama, pa njihove legende još uvijek prikazuju prijašnje nazive — Ray Max sada je Sunray, a Ray Turbo sada je MoonRay.

Kako čitati brojke

Glavna metrika je stopa pogrešaka u riječima (Word Error Rate), obično skraćeno WER. Niža vrijednost je bolja. WER od 5 posto znači da je transkript vrlo blizu referentnom tekstu. Visok WER znači da je mehanizam napravio više zamjena, umetanja ili brisanja.

Radi lakše usporedbe isti se rezultat može prikazati i kao točnost:

accuracy = max(0, 100 - WER)

Taj je drugi prikaz lakši za brz pregled, ali WER ostaje korisnija inženjerska metrika jer precizno pokazuje gdje model ima poteškoća.

Ukupna učinkovitost

Potpuni rezultati: svih 98 jezika

Jezici s najboljim rezultatima

Najzahtjevniji jezici

Što mjerimo

• Kvalitetu prepoznavanja na 98 jezika
• Razliku između modela Sunray i MoonRay
• Jezike na kojima je točnost već dovoljno visoka za svakodnevne titlove
• Jezike kojima je potrebno više podataka za treniranje, normalizacije ili obrade specifične za pojedini jezik
• Slučajeve neuspjeha u kojima model umeće više teksta nego što ga izvorni zvuk sadržava

Zašto je to važno za titlove

Mehanizam za titlove ne procjenjuje se samo prema tome koliko dobro obrađuje engleski. Stvarno gledanje sadržaja složenije je: višejezični filmovi, prebacivanje između jezika, regionalna imena, snimke sa šumom i sadržaj koji usred scene prelazi s jednog jezika na drugi.

Ray je izrađen za takvu stvarnost. Referentna testiranja pomažu nam odabrati zadane postavke, postaviti očekivanja i odlučiti kamo usmjeriti sljedeće aktivnosti treniranja i evaluacije.

Važan rezultat za proizvod jednostavan je: Ray može odabrati između brzine i točnosti ovisno o zadatku, a oba se mehanizma nastavljaju poboljšavati kako sve više jezika prolazi kroz proces referentnog testiranja.