Dua mesin, satu tugas

Ray menggunakan dua mesin pengenalan ucapan karena tidak semua alur kerja subtitel memerlukan kompromi yang sama.

Sunray (sebelumnya Ray Max) dioptimalkan untuk akurasi. Ini adalah mesin untuk bahasa dengan sumber daya terbatas, materi arsip, pekerjaan subtitel profesional, dan setiap situasi ketika teks harus sedekat mungkin dengan audio yang diucapkan.

MoonRay (sebelumnya Ray Turbo) dioptimalkan untuk kecepatan. Ini adalah mesin untuk menonton secara langsung, pratinjau cepat, dan pemrosesan dalam jumlah besar ketika memperoleh subtitel yang dapat digunakan dengan cepat menjadi hal penting.

Tolok ukur yang mendasari artikel ini membandingkan kedua mesin dalam 98 bahasa dengan menggunakan proses evaluasi yang sama untuk setiap model. Tujuannya bukan sekadar klaim samar bahwa Ray bersifat multibahasa. Tujuannya adalah menyediakan cara yang dapat diulang untuk melihat bagaimana kedua mesin bekerja pada berbagai aksara, aksen, dan rumpun bahasa.

Catatan: diagram di bawah dibuat sebelum perubahan merek mesin, sehingga legendanya masih menampilkan nama lama — Ray Max kini menjadi Sunray, dan Ray Turbo kini menjadi MoonRay.

Cara membaca angka-angkanya

Metrik utamanya adalah Tingkat Kesalahan Kata (Word Error Rate), yang biasanya disingkat WER. Semakin rendah, semakin baik. WER sebesar 5 persen berarti transkrip sangat mendekati teks referensi. WER yang tinggi berarti mesin melakukan lebih banyak substitusi, penyisipan, atau penghapusan.

Untuk mempermudah perbandingan, hasil yang sama juga dapat ditampilkan sebagai akurasi:

accuracy = max(0, 100 - WER)

Tampilan kedua tersebut lebih mudah dibaca sekilas, tetapi WER tetap menjadi metrik rekayasa yang lebih berguna karena menunjukkan dengan tepat bagian yang menyulitkan suatu model.

Performa keseluruhan

Hasil lengkap: seluruh 98 bahasa

Bahasa dengan performa tinggi

Bahasa yang paling menantang

Hal yang kami ukur

• Kualitas pengenalan dalam 98 bahasa
• Perbedaan antara Sunray dan MoonRay
• Bahasa yang akurasinya sudah cukup kuat untuk subtitel sehari-hari
• Bahasa yang memerlukan lebih banyak data pelatihan, normalisasi, atau penanganan khusus bahasa
• Kasus kegagalan ketika model menyisipkan lebih banyak teks daripada yang terdapat dalam audio sumber

Mengapa hal ini penting untuk subtitel

Mesin subtitel tidak dinilai hanya berdasarkan seberapa baik mesin tersebut menangani bahasa Inggris. Situasi menonton yang sesungguhnya lebih rumit: film multibahasa, peralihan kode, nama-nama regional, rekaman yang bising, dan konten yang berganti bahasa di tengah adegan.

Ray dirancang untuk realitas tersebut. Tolok ukur membantu kami memilih pengaturan bawaan, menetapkan ekspektasi, dan menentukan arah pekerjaan pelatihan serta evaluasi berikutnya.

Hasil produk yang penting sederhana: Ray dapat memilih antara kecepatan dan akurasi berdasarkan tugasnya, dan kedua mesin terus meningkat seiring makin banyak bahasa diproses melalui pipeline tolok ukur.