Kaksi moottoria, yksi tehtävä

Ray käyttää kahta puheentunnistusmoottoria, koska kaikki tekstitystyönkulut eivät edellytä samoja kompromisseja.

Sunray (aiemmin Ray Max) on optimoitu tarkkuutta varten. Se on tarkoitettu vähäresurssisille kielille, arkistomateriaalille, ammattimaiseen tekstitystyöhön ja kaikkiin tilanteisiin, joissa tekstin on vastattava puhuttua ääntä mahdollisimman tarkasti.

MoonRay (aiemmin Ray Turbo) on optimoitu nopeutta varten. Se on tarkoitettu reaaliaikaiseen katseluun, nopeisiin esikatseluihin ja suuriin eriin, joissa käyttökelpoiset tekstitykset on saatava nopeasti.

Tämän julkaisun taustalla olevassa vertailutestissä verrataan molempia moottoreita 98 kielellä käyttäen samaa arviointiprosessia jokaiselle mallille. Tavoitteena ei ole esittää epämääräistä väitettä siitä, että Ray on monikielinen. Tavoitteena on tarjota toistettava tapa nähdä, miten moottorit toimivat eri kirjoitusjärjestelmissä, aksenteilla ja kielikunnissa.

Huomautus: alla olevat kaaviot ovat ajalta ennen moottoreiden uudelleennimeämistä, joten niiden selitteissä näkyvät edelleen entiset nimet — Ray Max on nykyään Sunray ja Ray Turbo on nykyään MoonRay.

Lukujen tulkitseminen

Tärkein mittari on sanavirheaste (Word Error Rate), josta käytetään yleensä lyhennettä WER. Mitä pienempi arvo, sitä parempi. Viiden prosentin WER tarkoittaa, että litterointi vastaa hyvin tarkasti vertailutekstiä. Korkea WER tarkoittaa, että moottori teki enemmän korvauksia, lisäyksiä tai poistoja.

Vertailun helpottamiseksi sama tulos voidaan esittää myös tarkkuutena:

accuracy = max(0, 100 - WER)

Tämä toinen esitystapa on helpompi silmäillä, mutta WER on edelleen hyödyllisempi tekninen mittari, koska se osoittaa täsmällisesti, missä mallilla on vaikeuksia.

Kokonaissuorituskyky

Täydelliset tulokset: kaikki 98 kieltä

Parhaiten suoriutuvat kielet

Haastavimmat kielet

Mitä mittaamme

• Tunnistuksen laatu 98 kielessä
• Sunrayn ja MoonRayn välinen ero
• Kielet, joiden tarkkuus on jo riittävän hyvä jokapäiväisiin tekstityksiin
• Kielet, jotka tarvitsevat lisää koulutusdataa, normalisointia tai kielikohtaista käsittelyä
• Virhetilanteet, joissa malli lisää enemmän tekstiä kuin lähdeääni sisältää

Miksi tällä on merkitystä tekstityksille

Tekstitysmoottoria ei arvioida vain sen perusteella, kuinka hyvin se käsittelee englantia. Todelliset katselutilanteet ovat monimutkaisempia: monikielisiä elokuvia, kielten vaihtelua, alueellisia nimiä, meluisia tallenteita ja sisältöä, jossa kieli vaihtuu kesken kohtauksen.

Ray on rakennettu tätä todellisuutta varten. Vertailutestit auttavat meitä valitsemaan oletusasetukset, asettamaan odotukset ja päättämään, mihin seuraavat koulutus- ja arviointitoimet tulisi kohdistaa.

Tärkein tuotetta koskeva tulos on yksinkertainen: Ray voi valita tehtävän mukaan nopeuden ja tarkkuuden välillä, ja molemmat moottorit kehittyvät jatkuvasti, kun yhä useampia kieliä käsitellään vertailutestiprosessissa.