Dua enjin, satu tugas

Ray menggunakan dua enjin pengecaman pertuturan kerana bukan semua aliran kerja sari kata memerlukan pertimbangan yang sama.

Sunray (dahulunya Ray Max) ditala untuk ketepatan. Enjin ini digunakan untuk bahasa yang kekurangan sumber, bahan arkib, kerja sari kata profesional dan sebarang keadaan yang memerlukan teks sehampir mungkin dengan audio pertuturan.

MoonRay (dahulunya Ray Turbo) ditala untuk kelajuan. Enjin ini digunakan untuk tontonan langsung, pratonton pantas dan pemprosesan kelompok besar yang memerlukan sari kata yang boleh digunakan dengan segera.

Penanda aras yang menjadi asas catatan ini membandingkan kedua-dua enjin merentas 98 bahasa menggunakan proses penilaian yang sama untuk setiap model. Matlamatnya bukan sekadar dakwaan umum bahawa Ray menyokong pelbagai bahasa. Matlamatnya adalah untuk menyediakan cara yang boleh diulang bagi melihat prestasi enjin merentas pelbagai sistem tulisan, loghat dan rumpun bahasa.

Nota: carta di bawah dihasilkan sebelum penjenamaan semula enjin, jadi petunjuknya masih memaparkan nama lama — Ray Max kini Sunray dan Ray Turbo kini MoonRay.

Cara membaca angka

Metrik utama ialah Kadar Ralat Perkataan (Word Error Rate), biasanya disingkatkan sebagai WER. Lebih rendah adalah lebih baik. WER sebanyak 5 peratus bermakna transkrip sangat hampir dengan teks rujukan. WER yang tinggi bermakna enjin melakukan lebih banyak penggantian, sisipan atau pengguguran.

Untuk perbandingan yang lebih mudah, keputusan yang sama juga boleh ditunjukkan sebagai ketepatan:

accuracy = max(0, 100 - WER)

Paparan kedua itu lebih mudah diteliti sepintas lalu, tetapi WER kekal sebagai metrik kejuruteraan yang lebih berguna kerana ia menunjukkan dengan tepat bahagian yang sukar dikendalikan oleh sesuatu model.

Prestasi keseluruhan

Keputusan penuh: kesemua 98 bahasa

Bahasa berprestasi tinggi

Bahasa paling mencabar

Perkara yang kami ukur

• Kualiti pengecaman merentas 98 bahasa
• Perbezaan antara Sunray dengan MoonRay
• Bahasa yang ketepatannya sudah cukup tinggi untuk sari kata kegunaan harian
• Bahasa yang memerlukan lebih banyak data latihan, penormalan atau pengendalian khusus bahasa
• Kes kegagalan apabila model menyisipkan lebih banyak teks daripada yang terkandung dalam audio sumber

Mengapa perkara ini penting untuk sari kata

Enjin sari kata tidak dinilai berdasarkan keupayaannya mengendalikan bahasa Inggeris sahaja. Tontonan sebenar lebih rumit: filem berbilang bahasa, peralihan kod, nama serantau, rakaman bising dan kandungan yang bertukar antara bahasa di pertengahan babak.

Ray dibina untuk realiti tersebut. Penanda aras membantu kami memilih tetapan lalai, menetapkan jangkaan dan menentukan hala tuju kerja latihan serta penilaian seterusnya.

Hasil produk yang penting adalah mudah: Ray boleh memilih antara kelajuan dengan ketepatan berdasarkan tugas, dan kedua-dua enjin terus bertambah baik apabila lebih banyak bahasa melalui saluran penanda aras.