Két motor, egy feladat

A Ray két beszédfelismerő motort használ, mert nem minden feliratozási munkafolyamat igényli ugyanazokat a kompromisszumokat.

A Sunray (korábban Ray Max) a pontosságra van optimalizálva. Ez a motor a kevés erőforrással rendelkező nyelvekhez, archív anyagokhoz, professzionális feliratozási munkákhoz és minden olyan helyzethez készült, amikor a szövegnek a lehető legpontosabban kell követnie az elhangzott hanganyagot.

A MoonRay (korábban Ray Turbo) a sebességre van optimalizálva. Ez a motor élő tartalmak megtekintéséhez, gyors előnézetekhez és nagy mennyiségű anyag feldolgozásához készült, amikor fontos, hogy gyorsan használható feliratok készüljenek.

A bejegyzés alapjául szolgáló benchmark mindkét motort 98 nyelven hasonlítja össze, minden modellnél ugyanazt az értékelési folyamatot alkalmazva. A cél nem az az általános állítás, hogy a Ray többnyelvű. A cél egy megismételhető módszer annak bemutatására, hogyan teljesítenek a motorok számos írásrendszer, akcentus és nyelvcsalád esetében.

Megjegyzés: az alábbi diagramok a motorok átnevezése előtt készültek, ezért jelmagyarázatukban még a korábbi nevek szerepelnek — a Ray Max neve mostantól Sunray, a Ray Turbo neve pedig MoonRay.

Hogyan értelmezd a számokat

A fő mérőszám a szóhiba-arány, röviden WER. Minél alacsonyabb, annál jobb. Az 5 százalékos WER azt jelenti, hogy az átirat nagyon közel áll a referenciaszöveghez. A magas WER azt jelenti, hogy a motor több helyettesítési, beszúrási vagy törlési hibát vétett.

Az egyszerűbb összehasonlítás érdekében ugyanez az eredmény pontosságként is megjeleníthető:

accuracy = max(0, 100 - WER)

Ez a második nézet könnyebben áttekinthető, de mérnöki szempontból továbbra is a WER a hasznosabb mérőszám, mert pontosan megmutatja, hol teljesít gyengén egy modell.

Összesített teljesítmény

Teljes eredmények: mind a 98 nyelv

Kiemelkedő teljesítményű nyelvek

Legnagyobb kihívást jelentő nyelvek

Mit mérünk

• Felismerési minőség 98 nyelven
• A Sunray és a MoonRay közötti különbség
• Nyelvek, amelyeken a pontosság már elég jó a mindennapi feliratozáshoz
• Nyelvek, amelyek több tanítási adatot, normalizálást vagy nyelvspecifikus feldolgozást igényelnek
• Olyan hibás esetek, amikor egy modell több szöveget szúr be, mint amennyi a forrásként szolgáló hanganyagban elhangzik

Miért fontos ez a feliratok szempontjából

Egy feliratozó motort nem csak az alapján ítélünk meg, hogy mennyire jól kezeli az angol nyelvet. A valós tartalmak összetettebbek: többnyelvű filmek, nyelvváltás, regionális nevek, zajos felvételek és olyan tartalmak, amelyek egy jeleneten belül váltanak nyelvet.

A Ray erre a valóságra készült. A benchmarkok segítenek kiválasztani az alapértelmezett beállításokat, meghatározni az elvárásokat, és eldönteni, mire összpontosítsuk a következő tanítási és értékelési munkálatokat.

A termék szempontjából a legfontosabb eredmény egyszerű: a Ray a feladat alapján választhat a sebesség és a pontosság között, és mindkét motor folyamatosan fejlődik, ahogy egyre több nyelv halad végig a benchmark-folyamaton.