Două motoare, o singură sarcină

Ray folosește două motoare de recunoaștere a vorbirii, deoarece nu toate fluxurile de lucru pentru subtitrări necesită același compromis.

Sunray (anterior Ray Max) este optimizat pentru acuratețe. Este motorul destinat limbilor cu resurse limitate, materialelor de arhivă, activității profesionale de subtitrare și oricărei situații în care textul trebuie să fie cât mai apropiat posibil de conținutul audio rostit.

MoonRay (anterior Ray Turbo) este optimizat pentru viteză. Este motorul destinat vizionării în direct, previzualizărilor rapide și loturilor mari, unde este important să obții rapid subtitrări utilizabile.

Benchmarkul care stă la baza acestei postări compară ambele motoare în 98 de limbi, folosind același proces de evaluare pentru fiecare model. Scopul nu este o afirmație vagă că Ray este multilingv. Scopul este de a oferi o metodă repetabilă pentru a vedea cum se comportă motoarele în numeroase sisteme de scriere, accente și familii de limbi.

Notă: graficele de mai jos sunt anterioare redenumirii motoarelor, astfel că legendele lor afișează încă denumirile vechi — Ray Max este acum Sunray, iar Ray Turbo este acum MoonRay.

Cum să interpretezi cifrele

Principala metrică este rata de eroare la nivel de cuvânt, abreviată de obicei WER. Cu cât este mai mică, cu atât este mai bine. Un WER de 5% înseamnă că transcrierea este foarte apropiată de textul de referință. Un WER ridicat înseamnă că motorul a făcut mai multe substituiri, inserări sau omisiuni.

Pentru o comparație mai ușoară, același rezultat poate fi afișat și sub formă de acuratețe:

accuracy = max(0, 100 - WER)

Această a doua reprezentare este mai ușor de parcurs vizual, dar WER rămâne metrica inginerească mai utilă, deoarece arată exact unde întâmpină dificultăți un model.

Performanță generală

Rezultate complete: toate cele 98 de limbi

Limbi cu performanțe ridicate

Limbile cu cele mai mari dificultăți

Ce măsurăm

• Calitatea recunoașterii în 98 de limbi
• Diferența dintre Sunray și MoonRay
• Limbile în care acuratețea este deja suficient de bună pentru subtitrările de zi cu zi
• Limbile care necesită mai multe date de antrenament, normalizare sau procesare specifică limbii
• Cazurile de eșec în care un model inserează mai mult text decât conține sursa audio

De ce contează acest lucru pentru subtitrări

Un motor de subtitrare nu este evaluat doar după cât de bine gestionează limba engleză. Vizionarea în condiții reale este mai complexă: filme multilingve, alternarea limbilor, nume regionale, înregistrări cu zgomot și conținut care trece de la o limbă la alta în mijlocul unei scene.

Ray este conceput pentru această realitate. Benchmarkurile ne ajută să alegem opțiunile implicite, să stabilim așteptările și să decidem asupra următoarelor direcții de antrenament și evaluare.

Rezultatul important pentru produs este simplu: Ray poate alege între viteză și acuratețe în funcție de sarcină, iar ambele motoare continuă să se îmbunătățească pe măsură ce mai multe limbi trec prin fluxul de benchmark.