To motorer, én opgave

Ray bruger to talegenkendelsesmotorer, fordi arbejdsgange med undertekster ikke alle kræver den samme afvejning.

Sunray (tidligere Ray Max) er optimeret til nøjagtighed. Det er motoren til sprog med få ressourcer, arkivmateriale, professionelt undertekstarbejde og enhver situation, hvor teksten skal være så tæt på den talte lyd som muligt.

MoonRay (tidligere Ray Turbo) er optimeret til hastighed. Det er motoren til livevisning, hurtige forhåndsvisninger og store batches, hvor det er vigtigt hurtigt at få brugbare undertekster.

Benchmarktesten bag dette indlæg sammenligner begge motorer på tværs af 98 sprog ved hjælp af den samme evalueringsproces for hver model. Målet er ikke en vag påstand om, at Ray er flersproget. Målet er en reproducerbar metode til at se, hvordan motorerne klarer sig på tværs af mange skriftsystemer, accenter og sprogfamilier.

Bemærk: Diagrammerne nedenfor er fra før omdøbningen af motorerne, så deres signaturforklaringer viser stadig de tidligere navne — Ray Max hedder nu Sunray, og Ray Turbo hedder nu MoonRay.

Sådan læser du tallene

Den primære måleenhed er ordfejlrate, normalt forkortet WER. Lavere er bedre. En WER på 5 procent betyder, at transskriptionen ligger meget tæt på referenceteksten. En høj WER betyder, at motoren har foretaget flere erstatninger, indsættelser eller sletninger.

For at gøre sammenligningen lettere kan det samme resultat også vises som nøjagtighed:

accuracy = max(0, 100 - WER)

Denne anden visning er lettere at danne sig et hurtigt overblik over, men WER er fortsat den mest nyttige tekniske måleenhed, fordi den præcist viser, hvor en model har problemer.

Samlet ydeevne

Alle resultater: samtlige 98 sprog

Sprog med høj ydeevne

De mest udfordrende sprog

Det måler vi

• Genkendelseskvalitet på tværs af 98 sprog
• Forskellen mellem Sunray og MoonRay
• Sprog, hvor nøjagtigheden allerede er god nok til almindelige undertekster
• Sprog, der kræver flere træningsdata, normalisering eller sprogspecifik håndtering
• Fejltilfælde, hvor en model indsætter mere tekst, end kildelyden indeholder

Derfor er det vigtigt for undertekster

En undertekstmotor bedømmes ikke kun på, hvor godt den håndterer engelsk. Virkelig visning er mere uoverskuelig: flersprogede film, kodeskift, regionale navne, støjfyldte optagelser og indhold, der skifter mellem sprog midt i en scene.

Ray er bygget til denne virkelighed. Benchmarktests hjælper os med at vælge standardindstillinger, afstemme forventninger og beslutte, hvor den næste indsats inden for træning og evaluering skal lægges.

Det vigtige produktresultat er enkelt: Ray kan vælge mellem hastighed og nøjagtighed alt efter opgaven, og begge motorer bliver ved med at forbedre sig, efterhånden som flere sprog bevæger sig gennem benchmarkprocessen.