दुई इन्जिन, एउटै काम

सबै उपशीर्षक कार्यप्रवाहमा एउटै किसिमको सन्तुलन आवश्यक नपर्ने भएकाले Ray ले दुईवटा वाक् पहिचान इन्जिन प्रयोग गर्छ।

Sunray (यसअघि Ray Max) सटीकताका लागि अनुकूलित छ। यो न्यून-स्रोत भएका भाषाहरू, अभिलेखीय सामग्री, व्यावसायिक उपशीर्षकसम्बन्धी काम र पाठलाई बोलिएको अडियोसँग सकेसम्म मिल्दोजुल्दो बनाउनुपर्ने अवस्थाका लागि प्रयोग हुने इन्जिन हो।

MoonRay (यसअघि Ray Turbo) गतिका लागि अनुकूलित छ। यो प्रत्यक्ष अवलोकन, द्रुत पूर्वावलोकन र प्रयोगयोग्य उपशीर्षक छिट्टै प्राप्त गर्नु महत्त्वपूर्ण हुने ठूला ब्याचहरूका लागि प्रयोग हुने इन्जिन हो।

यस पोस्टको आधारमा रहेको बेन्चमार्कले प्रत्येक मोडेलका लागि एउटै मूल्याङ्कन प्रक्रिया प्रयोग गरेर दुवै इन्जिनलाई 98 भाषामा तुलना गर्छ। यसको उद्देश्य Ray बहुभाषिक छ भन्ने अस्पष्ट दाबी गर्नु होइन। उद्देश्य धेरै लिपि, उच्चारण र भाषा परिवारहरूमा यी इन्जिनले कस्तो व्यवहार गर्छन् भनेर हेर्ने दोहोर्‍याउन मिल्ने तरिका उपलब्ध गराउनु हो।

नोट: तलका चार्टहरू इन्जिनको पुनःब्रान्डिङ हुनुअघिका हुन्, त्यसैले तिनका लेजेन्डमा अझै पनि पुराना नामहरू देखिन्छन् — Ray Max अब Sunray हो र Ray Turbo अब MoonRay हो।

सङ्ख्याहरू कसरी बुझ्ने

मुख्य मेट्रिक शब्द त्रुटि दर (Word Error Rate) हो, जसलाई सामान्यतया WER भनेर छोटकरीमा लेखिन्छ। कम हुनु राम्रो हो। 5 प्रतिशत WER हुनुको अर्थ ट्रान्सक्रिप्ट सन्दर्भ पाठसँग धेरै नजिक छ। उच्च WER हुनुको अर्थ इन्जिनले बढी प्रतिस्थापन, थप वा मेटाइ गरेको छ।

सजिलो तुलनाका लागि उही नतिजालाई सटीकताका रूपमा पनि देखाउन सकिन्छ:

accuracy = max(0, 100 - WER)

दोस्रो दृश्यलाई छिटो हेरेर बुझ्न सजिलो हुन्छ, तर WER नै अझ उपयोगी इन्जिनियरिङ मेट्रिक रहन्छ, किनभने यसले मोडेलले ठ्याक्कै कहाँ कठिनाइ भोगिरहेको छ भन्ने देखाउँछ।

समग्र कार्यसम्पादन

पूर्ण नतिजा: सबै 98 भाषा

उच्च कार्यसम्पादन भएका भाषाहरू

सबैभन्दा चुनौतीपूर्ण भाषाहरू

हामी के मापन गर्छौँ

• 98 भाषामा पहिचानको गुणस्तर
• Sunray र MoonRay बीचको भिन्नता
• दैनिक उपशीर्षकका लागि सटीकता पहिले नै पर्याप्त बलियो भएका भाषाहरू
• थप प्रशिक्षण डेटा, सामान्यीकरण वा भाषाविशेष व्यवस्थापन आवश्यक पर्ने भाषाहरू
• मोडेलले स्रोत अडियोमा भएकोभन्दा बढी पाठ थप्ने विफलताका अवस्थाहरू

उपशीर्षकका लागि यो किन महत्त्वपूर्ण छ

उपशीर्षक इन्जिनलाई उसले अङ्ग्रेजी कति राम्रोसँग सम्हाल्छ भन्ने आधारमा मात्र मूल्याङ्कन गरिँदैन। वास्तविक अवलोकन अझ जटिल हुन्छ: बहुभाषिक चलचित्र, कोड-स्विचिङ, क्षेत्रीय नाम, आवाजयुक्त रेकर्डिङ र दृश्यको बीचमै एक भाषाबाट अर्को भाषामा जाने सामग्री।

Ray त्यही वास्तविकताका लागि बनाइएको हो। बेन्चमार्कहरूले हामीलाई पूर्वनिर्धारित विकल्पहरू छनोट गर्न, अपेक्षाहरू तय गर्न र प्रशिक्षण तथा मूल्याङ्कनको अर्को काम कहाँ केन्द्रित गर्ने भन्ने निर्णय गर्न मद्दत गर्छन्।

महत्त्वपूर्ण उत्पादनसम्बन्धी नतिजा सरल छ: Ray ले कामअनुसार गति र सटीकतामध्ये छनोट गर्न सक्छ, र बेन्चमार्क प्रक्रियामा थप भाषाहरू समावेश हुँदै जाँदा दुवै इन्जिन निरन्तर सुधार भइरहन्छन्।