Dy motorë, një detyrë

Ray përdor dy motorë të njohjes së të folurit, sepse jo të gjitha proceset e punës me titrat kërkojnë të njëjtin kompromis.

Sunray (më parë Ray Max) është optimizuar për saktësi. Është motori për gjuhët me pak burime, materialet arkivore, punën profesionale me titrat dhe çdo rast kur teksti duhet të jetë sa më pranë audios së folur.

MoonRay (më parë Ray Turbo) është optimizuar për shpejtësi. Është motori për shikim drejtpërdrejt, pamje paraprake të shpejta dhe grupe të mëdha, ku ka rëndësi marrja e shpejtë e titrave të përdorshëm.

Benchmark-u mbi të cilin bazohet ky postim i krahason të dy motorët në 98 gjuhë, duke përdorur të njëjtin proces vlerësimi për çdo model. Synimi nuk është një pretendim i paqartë se Ray është shumëgjuhësh. Synimi është të ofrohet një mënyrë e përsëritshme për të parë se si sillen motorët në shumë sisteme shkrimi, thekse dhe familje gjuhësore.

Shënim: grafikët më poshtë janë krijuar para riemërtimit të motorëve, ndaj legjendat e tyre ende tregojnë emrat e mëparshëm — Ray Max tani është Sunray dhe Ray Turbo tani është MoonRay.

Si t’i lexoni shifrat

Metrika kryesore është Shkalla e Gabimeve në Fjalë, zakonisht e shkurtuar si WER. Sa më e ulët, aq më mirë. Një WER prej 5 për qind do të thotë se transkripti është shumë pranë tekstit referues. Një WER i lartë do të thotë se motori ka bërë më shumë zëvendësime, shtime ose fshirje.

Për një krahasim më të lehtë, i njëjti rezultat mund të paraqitet edhe si saktësi:

accuracy = max(0, 100 - WER)

Kjo paraqitje e dytë është më e lehtë për t’u shqyrtuar shpejt, por WER mbetet metrika inxhinierike më e dobishme, sepse tregon saktësisht se ku po has vështirësi një model.

Performanca e përgjithshme

Rezultatet e plota: të gjitha 98 gjuhët

Gjuhët me performancë të lartë

Gjuhët më sfiduese

Çfarë matim

• Cilësinë e njohjes në 98 gjuhë
• Dallimin midis Sunray dhe MoonRay
• Gjuhët ku saktësia është tashmë mjaftueshëm e lartë për titra të përditshëm
• Gjuhët që kanë nevojë për më shumë të dhëna trajnimi, normalizim ose trajtim specifik sipas gjuhës
• Rastet e dështimit ku një model shton më shumë tekst sesa përmban audioja burimore

Pse kjo ka rëndësi për titrat

Një motor titrash nuk vlerësohet vetëm nga sa mirë e përpunon anglishten. Shikimi në botën reale është më kompleks: filma shumëgjuhësh, kalime mes gjuhëve, emra rajonalë, regjistrime me zhurmë dhe përmbajtje që kalon nga një gjuhë në tjetrën në mes të skenës.

Ray është ndërtuar për këtë realitet. Benchmark-et na ndihmojnë të zgjedhim cilësimet e parazgjedhura, të përcaktojmë pritshmëritë dhe të vendosim se ku duhet të përqendrohet puna e ardhshme e trajnimit dhe vlerësimit.

Rezultati i rëndësishëm për produktin është i thjeshtë: Ray mund të zgjedhë midis shpejtësisë dhe saktësisë në bazë të detyrës, dhe të dy motorët vazhdojnë të përmirësohen ndërsa më shumë gjuhë kalojnë nëpër procesin e benchmark-ut.