Tvær vélar, eitt verkefni

Ray notar tvær talgreiningarvélar vegna þess að verkferli við gerð skjátexta krefjast ekki alltaf sömu málamiðlunar.

Sunray (áður Ray Max) er fínstillt fyrir nákvæmni. Hún er vélin fyrir tungumál með takmörkuð gögn, safnaefni, faglega skjátextagerð og hvert það tilvik þar sem textinn þarf að vera eins nálægt töluðu hljóði og mögulegt er.

MoonRay (áður Ray Turbo) er fínstillt fyrir hraða. Hún er vélin fyrir áhorf í beinni, hraðar forskoðanir og stórar lotur þar sem máli skiptir að fá nothæfa skjátexta fljótt.

Viðmiðunarprófunin að baki þessari færslu ber báðar vélarnar saman á 98 tungumálum með sama matsferli fyrir hvert líkan. Markmiðið er ekki óljós fullyrðing um að Ray sé fjöltyngt. Markmiðið er að bjóða upp á endurtakanlega leið til að sjá hvernig vélarnar hegða sér gagnvart mörgum ritkerfum, framburðareinkennum og tungumálafjölskyldum.

Athugið: gröfin hér að neðan eru frá því fyrir nafnbreytingu vélanna og því sýna skýringar þeirra enn eldri nöfnin — Ray Max heitir nú Sunray og Ray Turbo heitir nú MoonRay.

Hvernig lesa á úr tölunum

Aðalmælikvarðinn er orðvilluhlutfall, yfirleitt skammstafað WER. Lægra er betra. WER upp á 5 prósent þýðir að umritunin er mjög nálægt viðmiðunartextanum. Hátt WER þýðir að vélin gerði fleiri útskiptingar, innskot eða brottfellingar.

Til að auðvelda samanburð er einnig hægt að sýna sömu niðurstöðu sem nákvæmni:

accuracy = max(0, 100 - WER)

Auðveldara er að fá yfirsýn með þessari seinni framsetningu, en WER er áfram gagnlegri tæknilegi mælikvarðinn vegna þess að það sýnir nákvæmlega hvar líkan á í erfiðleikum.

Heildarframmistaða

Heildarniðurstöður: öll 98 tungumálin

Tungumál með góða frammistöðu

Mest krefjandi tungumálin

Það sem við mælum

• Gæði talgreiningar á 98 tungumálum
• Muninn á Sunray og MoonRay
• Tungumál þar sem nákvæmnin er þegar nægilega góð fyrir daglega notkun skjátexta
• Tungumál sem þurfa meiri þjálfunargögn, stöðlun eða tungumálasértæka meðhöndlun
• Bilunartilvik þar sem líkan setur inn meiri texta en upprunalega hljóðið inniheldur

Hvers vegna þetta skiptir máli fyrir skjátexta

Skjátextavél er ekki aðeins metin út frá því hversu vel hún ræður við ensku. Raunverulegt áhorf er flóknara: fjöltyngdar kvikmyndir, skipti milli tungumála, svæðisbundin nöfn, hávaðasamar upptökur og efni sem færist milli tungumála í miðju atriði.

Ray er hannað fyrir þennan raunveruleika. Viðmiðunarprófanir hjálpa okkur að velja sjálfgefnar stillingar, móta væntingar og ákveða hvert næstu skref í þjálfun og mati eiga að beinast.

Mikilvægasta niðurstaðan fyrir vöruna er einföld: Ray getur valið á milli hraða og nákvæmni eftir verkefninu og báðar vélarnar halda áfram að batna eftir því sem fleiri tungumál fara í gegnum ferli viðmiðunarprófananna.