Dva mehanizma, ena naloga

Ray uporablja dva mehanizma za prepoznavanje govora, saj vsi poteki dela s podnapisi ne zahtevajo enakega razmerja med hitrostjo in natančnostjo.

Sunray (prej Ray Max) je prilagojen za natančnost. Namenjen je jezikom z malo razpoložljivimi viri, arhivskemu gradivu, profesionalnemu delu s podnapisi in vsem primerom, ko mora biti besedilo čim bližje izgovorjenemu zvoku.

MoonRay (prej Ray Turbo) je prilagojen za hitrost. Namenjen je gledanju v živo, hitrim predogledom in velikim paketom, pri katerih je pomembno hitro pridobiti uporabne podnapise.

Primerjalni test, na katerem temelji ta objava, primerja oba mehanizma v 98 jezikih, pri čemer za vsak model uporablja enak postopek vrednotenja. Cilj ni nejasna trditev, da je Ray večjezičen. Cilj je ponovljiv način preverjanja delovanja mehanizmov v številnih pisavah, naglasih in jezikovnih družinah.

Opomba: spodnji grafikoni so nastali pred preimenovanjem mehanizmov, zato njihove legende še vedno prikazujejo prejšnja imena — Ray Max se zdaj imenuje Sunray, Ray Turbo pa MoonRay.

Kako brati številke

Glavna metrika je stopnja napak v besedah, običajno označena s kratico WER. Nižja vrednost je boljša. WER v višini 5 odstotkov pomeni, da je prepis zelo blizu referenčnemu besedilu. Visok WER pomeni, da je mehanizem naredil več zamenjav, vstavljanj ali izpustov.

Za lažjo primerjavo je isti rezultat mogoče prikazati tudi kot natančnost:

accuracy = max(0, 100 - WER)

Ta drugi prikaz je lažje hitro pregledati, vendar WER ostaja uporabnejša inženirska metrika, saj natančno pokaže, kje ima model težave.

Skupna zmogljivost

Celotni rezultati: vseh 98 jezikov

Jeziki z najboljšimi rezultati

Najzahtevnejši jeziki

Kaj merimo

• Kakovost prepoznavanja v 98 jezikih
• Razliko med Sunray in MoonRay
• Jezike, pri katerih je natančnost že dovolj visoka za vsakodnevne podnapise
• Jezike, ki potrebujejo več podatkov za učenje, normalizacije ali jezikovno specifične obdelave
• Primere napak, pri katerih model vstavi več besedila, kot ga vsebuje izvorni zvok

Zakaj je to pomembno za podnapise

Mehanizma za podnapise ne ocenjujemo le po tem, kako dobro obvlada angleščino. Resnične razmere pri gledanju so bolj zapletene: večjezični filmi, preklapljanje med jeziki, regionalna imena, posnetki s šumom in vsebine, ki sredi prizora prehajajo med jeziki.

Ray je zasnovan za takšno resničnost. Primerjalni testi nam pomagajo izbrati privzete nastavitve, določiti pričakovanja in se odločiti, kam usmeriti naslednja prizadevanja pri učenju in vrednotenju.

Pomemben rezultat za izdelek je preprost: Ray lahko glede na nalogo izbira med hitrostjo in natančnostjo, oba mehanizma pa se še naprej izboljšujeta, ko je v postopek primerjalnega testiranja vključenih vse več jezikov.