Twee engines, één taak

Ray gebruikt twee engines voor spraakherkenning, omdat niet elke ondertitelworkflow dezelfde afweging vereist.

Sunray (voorheen Ray Max) is geoptimaliseerd voor nauwkeurigheid. Het is de engine voor talen met weinig beschikbare gegevens, archiefmateriaal, professioneel ondertitelwerk en elk moment waarop de tekst de gesproken audio zo dicht mogelijk moet benaderen.

MoonRay (voorheen Ray Turbo) is geoptimaliseerd voor snelheid. Het is de engine voor live kijken, snelle voorbeelden en grote batches waarbij het belangrijk is om snel bruikbare ondertitels te krijgen.

De benchmark achter dit artikel vergelijkt beide engines in 98 talen, met hetzelfde evaluatieproces voor elk model. Het doel is niet om vaag te beweren dat Ray meertalig is. Het doel is een herhaalbare manier te bieden om te zien hoe de engines presteren met allerlei schriften, accenten en taalfamilies.

Opmerking: de onderstaande grafieken dateren van vóór de naamswijziging van de engines. Daarom staan in de legenda's nog de voormalige namen — Ray Max heet nu Sunray en Ray Turbo heet nu MoonRay.

De cijfers lezen

De belangrijkste metriek is het woordfoutpercentage, meestal afgekort tot WER. Lager is beter. Een WER van 5 procent betekent dat het transcript zeer dicht bij de referentietekst ligt. Een hoge WER betekent dat de engine meer vervangingen, invoegingen of weglatingen heeft gemaakt.

Om resultaten gemakkelijker te vergelijken, kan hetzelfde resultaat ook als nauwkeurigheid worden weergegeven:

accuracy = max(0, 100 - WER)

Die tweede weergave is gemakkelijker te overzien, maar WER blijft de nuttigere technische metriek omdat deze precies laat zien waar een model moeite mee heeft.

Algemene prestaties

Volledige resultaten: alle 98 talen

Best presterende talen

Meest uitdagende talen

Wat we meten

• Herkenningskwaliteit in 98 talen
• Het verschil tussen Sunray en MoonRay
• Talen waarvoor de nauwkeurigheid al hoog genoeg is voor alledaagse ondertitels
• Talen die meer trainingsgegevens, normalisatie of taalspecifieke verwerking nodig hebben
• Foutsituaties waarin een model meer tekst invoegt dan de bronaudio bevat

Waarom dit belangrijk is voor ondertitels

Een ondertitelengine wordt niet alleen beoordeeld op hoe goed deze met Engels omgaat. In de praktijk is kijken complexer: meertalige films, wisselen tussen talen, regionale namen, rumoerige opnamen en content die midden in een scène van taal verandert.

Ray is voor die realiteit ontwikkeld. Benchmarks helpen ons standaardinstellingen te kiezen, verwachtingen te bepalen en te beslissen waarop de volgende trainings- en evaluatiewerkzaamheden zich moeten richten.

Het belangrijkste productresultaat is eenvoudig: Ray kan afhankelijk van de taak kiezen tussen snelheid en nauwkeurigheid, en beide engines blijven verbeteren naarmate meer talen de benchmarkpipeline doorlopen.