שני מנועים, משימה אחת

Ray משתמש בשני מנועי זיהוי דיבור, מכיוון שלא כל תהליכי העבודה עם כתוביות דורשים את אותה פשרה.

Sunray (לשעבר Ray Max) מכוון לדיוק. זהו המנוע לשפות דלות משאבים, לחומר ארכיוני, לעבודת כתוביות מקצועית ולכל מצב שבו הטקסט צריך להיות קרוב ככל האפשר לאודיו המדובר.

MoonRay (לשעבר Ray Turbo) מכוון למהירות. זהו המנוע לצפייה בשידור חי, לתצוגות מקדימות מהירות ולאצוות גדולות שבהן חשוב להפיק במהירות כתוביות שימושיות.

מבחן הביצועים שעליו מבוסס פוסט זה משווה בין שני המנועים ב-98 שפות, באמצעות אותו תהליך הערכה לכל מודל. המטרה אינה לטעון באופן מעורפל ש-Ray הוא רב-לשוני. המטרה היא לספק דרך הניתנת לשחזור לבחינת התנהגות המנועים במגוון רחב של מערכות כתב, מבטאים ומשפחות שפות.

הערה: התרשימים שלהלן נוצרו לפני המיתוג מחדש של המנועים, ולכן המקרא שלהם עדיין מציג את השמות הקודמים — Ray Max נקרא כעת Sunray, ו-Ray Turbo נקרא כעת MoonRay.

איך לקרוא את הנתונים

המדד העיקרי הוא שיעור השגיאות במילים, שבדרך כלל מקוצר ל-WER. ככל שהערך נמוך יותר, כך התוצאה טובה יותר. WER של 5 אחוזים פירושו שהתמלול קרוב מאוד לטקסט הייחוס. WER גבוה פירושו שהמנוע ביצע יותר החלפות, הוספות או השמטות.

כדי להקל על ההשוואה, אפשר להציג את אותה תוצאה גם כרמת דיוק:

accuracy = max(0, 100 - WER)

קל יותר לסרוק את התצוגה השנייה, אך WER נותר המדד ההנדסי השימושי יותר, משום שהוא מראה בדיוק היכן המודל מתקשה.

ביצועים כוללים

התוצאות המלאות: כל 98 השפות

שפות בעלות ביצועים גבוהים

השפות המאתגרות ביותר

מה אנחנו מודדים

• איכות הזיהוי ב-98 שפות
• ההבדל בין Sunray ל-MoonRay
• שפות שבהן הדיוק כבר גבוה מספיק לכתוביות יומיומיות
• שפות שזקוקות ליותר נתוני אימון, לנרמול או לטיפול ייעודי לשפה
• מקרי כשל שבהם מודל מוסיף יותר טקסט מכפי שמופיע באודיו המקורי

למה זה חשוב לכתוביות

מנוע כתוביות אינו נמדד רק לפי איכות הטיפול שלו באנגלית. הצפייה בעולם האמיתי מורכבת יותר: סרטים רב-לשוניים, מעבר בין שפות, שמות אזוריים, הקלטות רועשות ותוכן שעובר משפה לשפה באמצע סצנה.

Ray נבנה למציאות הזאת. מבחני ביצועים עוזרים לנו לבחור הגדרות ברירת מחדל, לתאם ציפיות ולהחליט לאן להפנות את עבודת האימון וההערכה הבאה.

התוצאה החשובה מבחינת המוצר פשוטה: Ray יכול לבחור בין מהירות לדיוק בהתאם למשימה, ושני המנועים ממשיכים להשתפר ככל ששפות נוספות עוברות בצינור מבחני הביצועים.