Żewġ magni, kompitu wieħed

Ray juża żewġ magni għar-rikonoxximent tad-diskors għax mhux il-flussi tax-xogħol kollha tas-sottotitoli jeħtieġu l-istess kompromess.

Sunray (li qabel kien Ray Max) huwa ottimizzat għall-preċiżjoni. Huwa l-mutur għal-lingwi b’riżorsi limitati, materjal tal-arkivji, xogħol professjonali fuq is-sottotitoli, u kwalunkwe sitwazzjoni fejn it-test irid ikun kemm jista’ jkun qrib l-awdjo mitkellem.

MoonRay (li qabel kien Ray Turbo) huwa ottimizzat għall-veloċità. Huwa l-mutur għall-wiri dirett, previżjonijiet veloċi, u lottijiet kbar fejn huwa importanti li jinkisbu sottotitoli li jistgħu jintużaw malajr.

Il-benchmark wara din il-pubblikazzjoni jqabbel iż-żewġ magni f’98 lingwa billi juża l-istess proċess ta’ evalwazzjoni għal kull mudell. L-għan mhuwiex affermazzjoni vaga li Ray huwa multilingwi. L-għan huwa li jkun hemm mod ripetibbli kif naraw kif iġibu ruħhom il-magni f’ħafna sistemi ta’ kitba, aċċenti, u familji lingwistiċi.

Nota: il-graffs ta’ hawn taħt inħolqu qabel il-bidla fl-ismijiet tal-magni, għalhekk il-leġġendi tagħhom għadhom juru l-ismijiet preċedenti — Ray Max issa huwa Sunray, u Ray Turbo issa huwa MoonRay.

Kif taqra n-numri

Il-metrika ewlenija hija r-Rata ta’ Żball fil-Kliem, normalment imqassra għal WER. Aktar ma tkun baxxa, aħjar. WER ta’ 5 fil-mija tfisser li t-traskrizzjoni hija qrib ħafna tat-test ta’ referenza. WER għolja tfisser li l-mutur għamel aktar sostituzzjonijiet, inserzjonijiet, jew tħassir.

Għal tqabbil aktar faċli, l-istess riżultat jista’ jintwera wkoll bħala preċiżjoni:

accuracy = max(0, 100 - WER)

Din it-tieni rappreżentazzjoni hija aktar faċli biex tiġi eżaminata malajr, iżda WER tibqa’ l-metrika tal-inġinerija l-aktar utli għax turi eżattament fejn mudell qed isib diffikultà.

Prestazzjoni ġenerali

Riżultati sħaħ: it-98 lingwa kollha

Lingwi bi prestazzjoni għolja

L-aktar lingwi diffiċli

Dak li nkejlu

• Il-kwalità tar-rikonoxximent f’98 lingwa
• Id-differenza bejn Sunray u MoonRay
• Il-lingwi fejn il-preċiżjoni diġà hija b’saħħitha biżżejjed għas-sottotitoli ta’ kuljum
• Il-lingwi li jeħtieġu aktar data għat-taħriġ, normalizzazzjoni, jew trattament speċifiku għal-lingwa
• Każijiet ta’ falliment fejn mudell idaħħal aktar test milli fih l-awdjo tas-sors

Għaliex dan huwa importanti għas-sottotitoli

Magna tas-sottotitoli ma tiġix iġġudikata biss skont kemm tittratta tajjeb l-Ingliż. Il-wiri reali huwa aktar kumpless: films multilingwi, qlib bejn il-kodiċijiet lingwistiċi, ismijiet reġjonali, reġistrazzjonijiet storbjużi, u kontenut li jaqleb minn lingwa għal oħra f’nofs xena.

Ray huwa mibni għal din ir-realtà. Il-benchmarks jgħinuna nagħżlu l-valuri prestabbiliti, nistabbilixxu l-aspettattivi, u niddeċiedu fejn għandu jsir ix-xogħol li jmiss ta’ taħriġ u evalwazzjoni.

Ir-riżultat importanti għall-prodott huwa sempliċi: Ray jista’ jagħżel bejn il-veloċità u l-preċiżjoni skont il-kompitu, u ż-żewġ magni jkomplu jitjiebu hekk kif aktar lingwi jgħaddu mill-pipeline tal-benchmark.