Två motorer, en uppgift

Ray använder två taligenkänningsmotorer eftersom alla arbetsflöden för undertexter inte kräver samma avvägning.

Sunray (tidigare Ray Max) är optimerad för precision. Det är motorn för språk med begränsade resurser, arkivmaterial, professionellt undertextarbete och alla situationer där texten måste ligga så nära det talade ljudet som möjligt.

MoonRay (tidigare Ray Turbo) är optimerad för hastighet. Det är motorn för livevisning, snabba förhandsvisningar och stora batcher där det är viktigt att snabbt få användbara undertexter.

Benchmarktestet bakom det här inlägget jämför båda motorerna på 98 språk med samma utvärderingsprocess för varje modell. Målet är inte ett vagt påstående om att Ray är flerspråkigt. Målet är ett repeterbart sätt att se hur motorerna fungerar med många skriftsystem, accenter och språkfamiljer.

Obs! Diagrammen nedan skapades före namnbytet för motorerna, så deras förklaringar visar fortfarande de tidigare namnen – Ray Max heter nu Sunray och Ray Turbo heter nu MoonRay.

Så läser du siffrorna

Det huvudsakliga mätvärdet är ordfelsfrekvens, vanligtvis förkortat WER. Lägre är bättre. En WER på 5 procent innebär att transkriberingen ligger mycket nära referenstexten. En hög WER innebär att motorn gjorde fler ersättningar, infogningar eller borttagningar.

För enklare jämförelse kan samma resultat även visas som träffsäkerhet:

accuracy = max(0, 100 - WER)

Den andra vyn är lättare att snabbt överblicka, men WER är fortfarande det mer användbara tekniska mätvärdet eftersom det visar exakt var en modell har problem.

Övergripande prestanda

Fullständiga resultat: alla 98 språk

Högpresterande språk

Mest utmanande språk

Det här mäter vi

• Igenkänningskvalitet för 98 språk
• Skillnaden mellan Sunray och MoonRay
• Språk där träffsäkerheten redan är tillräckligt hög för vanliga undertexter
• Språk som behöver mer träningsdata, normalisering eller språkspecifik hantering
• Felfall där en modell infogar mer text än källjudet innehåller

Därför är detta viktigt för undertexter

En undertextmotor bedöms inte enbart efter hur väl den hanterar engelska. Verkligt tittande är rörigare: flerspråkiga filmer, kodväxling, regionala namn, brusiga inspelningar och innehåll som växlar mellan språk mitt i en scen.

Ray är byggt för den verkligheten. Benchmarktester hjälper oss att välja standardinställningar, sätta förväntningar och avgöra var nästa insats inom träning och utvärdering bör göras.

Det viktiga produktresultatet är enkelt: Ray kan välja mellan hastighet och precision utifrån uppgiften, och båda motorerna fortsätter att förbättras i takt med att fler språk passerar genom benchmarkflödet.