Deux moteurs, une seule mission

Ray utilise deux moteurs de reconnaissance vocale, car tous les flux de travail de sous-titrage ne nécessitent pas le même compromis.

Sunray (anciennement Ray Max) est optimisé pour la précision. C’est le moteur conçu pour les langues disposant de peu de ressources, les documents d’archives, le sous-titrage professionnel et toutes les situations où le texte doit être aussi fidèle que possible à l’audio parlé.

MoonRay (anciennement Ray Turbo) est optimisé pour la vitesse. C’est le moteur conçu pour le visionnage en direct, les aperçus rapides et les traitements par lots volumineux, lorsqu’il est essentiel d’obtenir rapidement des sous-titres exploitables.

Le benchmark présenté dans cet article compare les deux moteurs dans 98 langues, en appliquant le même processus d’évaluation à chaque modèle. L’objectif n’est pas d’affirmer vaguement que Ray est multilingue. Il s’agit de proposer une méthode reproductible permettant d’observer le comportement des moteurs avec de nombreux systèmes d’écriture, accents et familles de langues.

Remarque : les graphiques ci-dessous sont antérieurs au changement de nom des moteurs. Leurs légendes affichent donc encore les anciens noms — Ray Max s’appelle désormais Sunray, et Ray Turbo s’appelle désormais MoonRay.

Comment lire les chiffres

La métrique principale est le taux d’erreur sur les mots, généralement abrégé en WER. Plus il est faible, mieux c’est. Un WER de 5 % signifie que la transcription est très proche du texte de référence. Un WER élevé signifie que le moteur a effectué davantage de substitutions, d’insertions ou de suppressions.

Pour faciliter la comparaison, le même résultat peut également être présenté sous forme de précision :

accuracy = max(0, 100 - WER)

Cette seconde présentation est plus facile à parcourir, mais le WER reste la métrique d’ingénierie la plus utile, car il indique précisément où un modèle rencontre des difficultés.

Performances globales

Résultats complets : les 98 langues

Langues les plus performantes

Langues les plus difficiles

Ce que nous mesurons

• La qualité de la reconnaissance dans 98 langues
• La différence entre Sunray et MoonRay
• Les langues pour lesquelles la précision est déjà suffisante pour les sous-titres du quotidien
• Les langues qui nécessitent davantage de données d’entraînement, de normalisation ou de traitement spécifique
• Les cas d’échec dans lesquels un modèle insère plus de texte que l’audio source n’en contient

Pourquoi cela compte pour les sous-titres

Un moteur de sous-titrage n’est pas évalué uniquement sur sa capacité à traiter l’anglais. Les conditions réelles de visionnage sont plus complexes : films multilingues, alternance entre plusieurs langues, noms régionaux, enregistrements bruités et contenus qui changent de langue au milieu d’une scène.

Ray est conçu pour cette réalité. Les benchmarks nous aident à choisir les paramètres par défaut, à définir les attentes et à déterminer les priorités des prochains travaux d’entraînement et d’évaluation.

Le principal résultat pour le produit est simple : Ray peut privilégier la vitesse ou la précision selon la tâche, et les deux moteurs continuent de s’améliorer à mesure que davantage de langues passent par le processus de benchmark.