দুটি ইঞ্জিন, একটি কাজ

Ray দুটি স্পিচ রিকগনিশন ইঞ্জিন ব্যবহার করে, কারণ সব সাবটাইটেল ওয়ার্কফ্লোতে একই ধরনের ভারসাম্যের প্রয়োজন হয় না।

Sunray (পূর্বের নাম Ray Max) নির্ভুলতার জন্য টিউন করা হয়েছে। এটি স্বল্প-রিসোর্সের ভাষা, আর্কাইভে সংরক্ষিত উপাদান, পেশাদার সাবটাইটেলের কাজ এবং যেসব ক্ষেত্রে টেক্সটকে কথিত অডিওর যতটা সম্ভব কাছাকাছি হতে হয়, সেগুলোর জন্য উপযুক্ত ইঞ্জিন।

MoonRay (পূর্বের নাম Ray Turbo) গতির জন্য টিউন করা হয়েছে। এটি লাইভ দেখার সময়, দ্রুত প্রিভিউ এবং বড় ব্যাচে দ্রুত ব্যবহারযোগ্য সাবটাইটেল পাওয়া গুরুত্বপূর্ণ—এমন কাজের জন্য উপযুক্ত ইঞ্জিন।

এই পোস্টের ভিত্তি হিসেবে ব্যবহৃত বেঞ্চমার্কটি প্রতিটি মডেলের জন্য একই মূল্যায়ন প্রক্রিয়া ব্যবহার করে ৯৮টি ভাষায় উভয় ইঞ্জিনের তুলনা করে। এর লক্ষ্য শুধু অস্পষ্টভাবে দাবি করা নয় যে Ray বহুভাষিক। বরং লক্ষ্য হলো বিভিন্ন লিপি, উচ্চারণ ও ভাষা-পরিবারে ইঞ্জিনগুলো কেমন আচরণ করে, তা পুনরাবৃত্তিযোগ্য উপায়ে দেখা।

দ্রষ্টব্য: নিচের চার্টগুলো ইঞ্জিনের পুনঃব্র্যান্ডিংয়ের আগের, তাই সেগুলোর লেজেন্ডে এখনো পুরোনো নাম দেখা যায়—Ray Max এখন Sunray এবং Ray Turbo এখন MoonRay।

সংখ্যাগুলো যেভাবে পড়বেন

প্রধান মেট্রিক হলো শব্দ ত্রুটির হার, যাকে সাধারণত সংক্ষেপে WER বলা হয়। মান যত কম, তত ভালো। ৫ শতাংশ WER-এর অর্থ হলো ট্রান্সক্রিপ্টটি রেফারেন্স টেক্সটের খুব কাছাকাছি। বেশি WER-এর অর্থ হলো ইঞ্জিনটি আরও বেশি প্রতিস্থাপন, সংযোজন বা অপসারণ করেছে।

সহজে তুলনা করার জন্য একই ফলাফলকে নির্ভুলতা হিসেবেও দেখানো যায়:

accuracy = max(0, 100 - WER)

দ্বিতীয় উপস্থাপনাটি দ্রুত দেখে বোঝা সহজ, তবে WER-ই প্রকৌশলগতভাবে বেশি কার্যকর মেট্রিক, কারণ এটি কোনো মডেল ঠিক কোথায় সমস্যায় পড়ছে তা স্পষ্টভাবে দেখায়।

সামগ্রিক কর্মক্ষমতা

পূর্ণাঙ্গ ফলাফল: সব ৯৮টি ভাষা

উচ্চ কর্মক্ষমতার ভাষা

সবচেয়ে চ্যালেঞ্জিং ভাষা

আমরা যা পরিমাপ করি

• ৯৮টি ভাষায় রিকগনিশনের মান
• Sunray ও MoonRay-এর মধ্যে পার্থক্য
• যেসব ভাষায় নির্ভুলতা ইতিমধ্যে দৈনন্দিন সাবটাইটেলের জন্য যথেষ্ট ভালো
• যেসব ভাষায় আরও প্রশিক্ষণ ডেটা, নরমালাইজেশন বা ভাষাভিত্তিক ব্যবস্থাপনা প্রয়োজন
• যেসব ব্যর্থতার ক্ষেত্রে কোনো মডেল উৎস অডিওতে থাকা টেক্সটের চেয়ে বেশি টেক্সট সংযোজন করে

সাবটাইটেলের জন্য এটি কেন গুরুত্বপূর্ণ

একটি সাবটাইটেল ইঞ্জিনকে শুধু ইংরেজি কতটা ভালোভাবে পরিচালনা করে, তার ভিত্তিতে বিচার করা যায় না। বাস্তবে দেখার অভিজ্ঞতা আরও জটিল: বহুভাষিক চলচ্চিত্র, কোড-সুইচিং, আঞ্চলিক নাম, কোলাহলপূর্ণ রেকর্ডিং এবং দৃশ্যের মাঝখানে ভাষা বদলে যাওয়া কনটেন্ট।

Ray এই বাস্তবতার কথা মাথায় রেখেই তৈরি। বেঞ্চমার্ক আমাদের ডিফল্ট বেছে নিতে, প্রত্যাশা নির্ধারণ করতে এবং পরবর্তী প্রশিক্ষণ ও মূল্যায়নের কাজ কোথায় হওয়া উচিত তা ঠিক করতে সাহায্য করে।

পণ্যের গুরুত্বপূর্ণ ফলাফলটি সহজ: কাজের ধরন অনুযায়ী Ray গতি ও নির্ভুলতার মধ্যে বেছে নিতে পারে, আর বেঞ্চমার্ক পাইপলাইনের মধ্য দিয়ে আরও ভাষা অগ্রসর হওয়ার সঙ্গে সঙ্গে উভয় ইঞ্জিনই উন্নত হতে থাকে।