এখন চলছে · বেঞ্চমার্ক
Ray Guardian ঘোষণা: ছবি ও ভিডিওর জন্য ভিজ্যুয়াল নিরাপত্তা
Ray Guardian হলো Ray-এর সমন্বিত ভিজ্যুয়াল নিরাপত্তা ব্যবস্থা, যা 13টি ছবিস্তরের নিরাপত্তা বিভাগ এবং প্রকাশ্যে লেবেলযুক্ত ভিডিও ডেটাসেটে বেঞ্চমার্ক করা হয়েছে।
Ray Guardian-এর পরিচিতি
Ray Guardian হলো ছবি ও ভিডিওর জন্য Ray-এর ভিজ্যুয়াল নিরাপত্তা ব্যবস্থা। এটি সংবেদনশীল কনটেন্ট শনাক্ত করতে ভিজ্যুয়াল মিডিয়া পর্যালোচনা করে এবং এমন বিভাগীয় সংকেত দেয়, যা Ray প্লেব্যাক, তৈরি, মডারেশন এবং পারিবারিক সেটিংসে ব্যবহার করতে পারে।
গুরুত্বপূর্ণ বিষয়টি সহজ: Ray Guardian একটি একক ব্যবস্থা। স্থির ছবি ও ভিডিও ক্লিপ ভিন্ন মিডিয়া-পথ দিয়ে প্রবেশ করলেও প্রোডাক্টটি Guardian-এর একটি সিদ্ধান্তই পায়।
ছবির ক্ষেত্রে Ray Guardian সম্পূর্ণ নিরাপত্তা শ্রেণিবিন্যাস মূল্যায়ন করে: নগ্নতা, যৌন কনটেন্ট, সহিংসতা, রক্তাক্ততা, অস্ত্র, মাদক, অ্যালকোহল, ধূমপান, অস্বস্তিকর কনটেন্ট, চুম্বন / অন্তরঙ্গতা, আত্মক্ষতি, প্রাণীর প্রতি নিষ্ঠুরতা এবং চিকিৎসাজনিত রক্তাক্ততা।
ভিডিওর ক্ষেত্রে Ray Guardian সময়ের মাত্রা যোগ করে। একটি ফ্রেম অস্পষ্ট হতে পারে; একটি ক্লিপে ক্রিয়া, উদ্দেশ্য এবং প্রেক্ষাপট দেখা যেতে পারে। ভিডিও-পথটি ফ্রেম-স্তরের নিরাপত্তা শনাক্তকরণের সঙ্গে ক্লিপ-স্তরের সময়গত উপলব্ধি একত্র করে, যাতে চূড়ান্ত ফলাফল পর্দায় কী দেখা যাচ্ছে এবং সময়ের সঙ্গে কী ঘটছে—উভয়ই প্রতিফলিত করে।
এই ব্যবস্থাটিই আমরা বেঞ্চমার্ক করেছি।
13-বিভাগের ভিজ্যুয়াল নিরাপত্তা বেঞ্চমার্ক
Ray Guardian-এর 13-বিভাগের হোল্ড-আউট ছবি বেঞ্চমার্কে Ray Guardian 100.000% নির্ভুলতা অর্জন করেছে: 17,435টি জানা লেবেল, 0টি ত্রুটি।
এই বেঞ্চমার্কটি প্রোডাক্টের নিজস্ব শ্রেণিবিন্যাসের সবচেয়ে কাছাকাছি: একই বিভাগীয় সংজ্ঞা, হোল্ড-আউট উদাহরণ এবং Ray Guardian-এর ভিজ্যুয়াল নিরাপত্তা বিভাগের সম্পূর্ণ সেট।
| বেঞ্চমার্ক | পরিধি | আইটেম | নির্ভুলতা | প্রিসিশন | রিকল | F1 |
|---|---|---|---|---|---|---|
| Ray Guardian-এর হোল্ড-আউট ছবিস্তরের বেঞ্চমার্ক | Ray Guardian-এর সব 13টি বিভাগ | 17,435টি লেবেল | 100.000% | 100.000% | 100.000% | 100.000% |
বেঞ্চমার্কটিতে এমন বিভাগ রয়েছে, যেগুলো বাস্তব প্রোডাক্টে প্রায়ই পরস্পরের সঙ্গে মিলে যায়: যৌন কনটেন্ট বনাম নগ্নতা, রক্তাক্ততা বনাম চিকিৎসাজনিত রক্তাক্ততা, অস্ত্র বনাম সহিংসতা এবং অস্বস্তিকর কনটেন্ট বনাম সাধারণ অপ্রীতিকর প্রেক্ষাপট।
প্রকাশ্যে লেবেলযুক্ত ভিডিও বেঞ্চমার্ক স্যুট
প্রতিটি ডেটাসেট বাস্তবে যে লেবেল দেয়, ভিডিও বেঞ্চমার্কগুলো তার বিপরীতে পরিমাপ করা হয়। চুম্বন-বনাম-আলিঙ্গন ডেটাসেট চুম্বন / অন্তরঙ্গতার প্রমাণ সমর্থন করে। সহিংসতার ডেটাসেট সহিংসতা এবং অস্বস্তিকর ঘটনার প্রমাণ সমর্থন করে। নিরাপদ ক্রিয়ার ডেটাসেট পরীক্ষা করে, সাধারণ ক্রিয়ার ক্লিপগুলো বাধাহীনভাবে অনুমোদিত হয় কি না।
এতে ফলাফল পড়া সহজ এবং অপব্যবহার করা কঠিন হয়: প্রতিটি সারি সংশ্লিষ্ট ডেটাসেটের নিজস্ব লেবেল-পরিধিতে Ray Guardian-এর কার্যকারিতা দেখায়।
| ডেটাসেট | Ray Guardian-এর পরিধি | ক্লিপ | নির্ভুলতা | প্রিসিশন | রিকল | F1 |
|---|---|---|---|---|---|---|
| HMDB51 চুম্বন বনাম আলিঙ্গন | চুম্বন / অন্তরঙ্গতা | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence-এর প্রকাশ্য লেবেল | সহিংসতা / অস্বস্তিকর | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime-এর ম্যাপ করা লেবেল | সহিংসতা / অস্বস্তিকর | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime-এর বিস্তৃত অস্বাভাবিকতা | অস্বাভাবিকতা / অস্বস্তিকর | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 নিরাপদ-ক্রিয়া হোল্ডআউট | নিরাপদ-ক্রিয়ার সুরক্ষাবিধি | 330 | 100.000% | n/a | n/a | n/a |
UCF101 সারিটি কেবল নেতিবাচক উদাহরণের একটি সুরক্ষাবিধি: এটি পরিমাপ করে সাধারণ নিরাপদ ক্রিয়াগুলো ভুলভাবে ব্লক করা হয় কি না। ওই পরীক্ষায় Ray Guardian নিরাপদ-ক্রিয়ার সব 330টি ক্লিপ সঠিকভাবে অনুমোদন করেছে।
কনফিউশন ম্যাট্রিক্সগুলো যা দেখায়
নির্ভুলতাই প্রধান সংখ্যা। একটি কনফিউশন ম্যাট্রিক্স এর পেছনের সিদ্ধান্তগুলোর ধরন দেখায়।
প্রতিটি ম্যাট্রিক্স সঠিক অনুমোদন, ভুল সতর্কতা, শনাক্ত না হওয়া অনিরাপদ ক্লিপ এবং সঠিকভাবে চিহ্নিত অনিরাপদ ক্লিপকে আলাদা করে। এটি গুরুত্বপূর্ণ, কারণ একটি নিরাপত্তা ব্যবস্থাকে মানুষকে সুরক্ষিত রাখার পাশাপাশি সাধারণ মিডিয়ায় প্রয়োজনের চেয়ে বেশি বিঘ্ন সৃষ্টি করা এড়াতে হয়।
স্বাধীন রেফারেন্স ডেটাসেট
আমরা স্বাধীন প্রকাশ্য এবং নিয়ন্ত্রিত-অ্যাক্সেস রেফারেন্স ডেটাসেটেও Ray Guardian মূল্যায়ন করি। এসব ডেটাসেট উপযোগী, কারণ এগুলোর লেবেল অন্য দল ভিন্ন উদ্দেশ্যে তৈরি করেছে এবং সেগুলো সব সময় Ray Guardian-এর বিভাগগুলোর সঙ্গে পুরোপুরি সামঞ্জস্যপূর্ণ নয়।
নিচের টেবিলে প্রতিটি ফলাফল ডেটাসেটটি যে বিভাগীয় স্তর সমর্থন করতে পারে, সেই স্তরে দেখানো হয়েছে। কোনো ডেটাসেট অ্যালকোহল-সংক্রান্ত বস্তু পরীক্ষা করলে আমরা অ্যালকোহল-সংক্রান্ত আচরণ দেখাই। এটি চিকিৎসাজনিত ক্ষত পরীক্ষা করলে আমরা চিকিৎসাজনিত রক্তাক্ততা বা অস্বস্তিকর আচরণ দেখাই।
| রেফারেন্স ডেটাসেট | Ray Guardian-এর পরিধি | আইটেম | নির্ভুলতা | রিকল | মন্তব্য |
|---|---|---|---|---|---|
| HoliSafe-Bench টেস্ট স্প্লিট | ম্যাপ করা ছবি-নিরাপত্তা বিভাগ | 32,248টি লেবেল | 94.266% | 75.779% | স্বাধীন নিয়ন্ত্রিত-অ্যাক্সেস নিরাপত্তা বেঞ্চমার্ক |
| UnsafeBench ট্রেন স্প্লিট | ম্যাপ করা ছবি-নিরাপত্তা বিভাগ | 40,545টি লেবেল | 89.893% | 74.482% | স্বাধীন নিয়ন্ত্রিত-অ্যাক্সেস নিরাপত্তা বেঞ্চমার্ক |
| SurgWound টেস্ট স্প্লিট | চিকিৎসাজনিত রক্তাক্ততা | 137টি ছবি | 86.861% | 100.000% | চিকিৎসাজনিত ক্ষত শনাক্তকরণের সংবেদনশীলতা পরীক্ষা |
| SurgWound টেস্ট স্প্লিট | অস্বস্তিকর | 137টি ছবি | 83.942% | 99.130% | চিকিৎসাজনিত ক্ষত শনাক্তকরণের সংবেদনশীলতা পরীক্ষা |
| Lower Limb and Feet Wound Dataset | চিকিৎসাজনিত রক্তাক্ততা | 5,443টি ছবি | 65.185% | 98.958% | ক্ষত-ডোমেইনের রেফারেন্স পরীক্ষা |
| HOD Benchmark Dataset | অ্যালকোহল | 10,631টি ছবি | 97.667% | 87.095% | গবেষণা-ব্যবহারের অবজেক্ট বেঞ্চমার্ক |
| HOD Benchmark Dataset | ধূমপান | 10,631টি ছবি | 98.222% | 93.391% | গবেষণা-ব্যবহারের অবজেক্ট বেঞ্চমার্ক |
| HOD Benchmark Dataset | অস্ত্র | 10,631টি ছবি | 85.053% | 68.659% | গবেষণা-ব্যবহারের অবজেক্ট বেঞ্চমার্ক |
| Open Images V7-এর নির্বাচিত ভ্যালিডেশন উপসেট | অস্ত্র | 460টি সারি | 81.957% | 87.234% | অবজেক্ট-লেবেলের রেফারেন্স পরীক্ষা |
এই সারিগুলো দেখায়, যে বেঞ্চমার্কের বিপরীতে Ray Guardian তৈরি হয়েছে, তার বাইরেও এটি কীভাবে আচরণ করে।
সংখ্যাগুলো ভিন্ন হওয়ার কারণ
প্রকাশ্য রেফারেন্সে কম স্কোর কোনো অসংগতি নয়। এর অর্থ ডেটাসেটটি ভিন্ন একটি প্রশ্ন করছে।
Ray Guardian-এর 13-বিভাগের বেঞ্চমার্কটি পরীক্ষা করে, ব্যবস্থাটি Ray-এ ব্যবহৃত নিরাপত্তা বিভাগগুলো শনাক্ত করে কি না। স্বাধীন রেফারেন্স ডেটাসেটগুলো পরীক্ষা করে, বাইরের লেবেল, বাইরের সংগ্রহ-পদ্ধতি এবং বাইরের বিভাগীয় সংজ্ঞা এই শ্রেণিবিন্যাসে ম্যাপ করলে কী ঘটে।
সাধারণ কিছু কারণে স্কোর পরিবর্তিত হতে পারে:
- ভিন্ন লেবেল-সংজ্ঞা। কোনো ডেটাসেট একটি বস্তুকে লেবেল করতে পারে, যেখানে Ray Guardian নিরাপত্তাগত অর্থ বিচার করে। একটি ওয়াইনের গ্লাস, বোতল, ছুরি বা চিকিৎসাজনিত ক্ষত নিজে থেকেই সব সময় অনিরাপদ নয়।
- স্থূল লেবেল। কিছু প্রকাশ্য নিরাপত্তা লেবেল একাধিক ধারণাকে একটি বিস্তৃত লেবেলে একত্র করে। Ray Guardian-এর বিভাগগুলো আরও নির্দিষ্ট।
- প্রেক্ষাপটের ঘাটতি। কিছু লেবেল ক্যাপশন, অডিও, আশপাশের দৃশ্য বা মানুষের উদ্দেশ্যের ওপর নির্ভর করে। এসব পরীক্ষা দৃশ্যমান কনটেন্ট পরিমাপ করে।
- ডোমেইন পরিবর্তন। বাহ্যিক ডেটাসেটে বিভিন্ন ক্রপ, রেজোলিউশন, তৈরি করা ছবি, নজরদারি ফুটেজ, বস্তুর ক্লোজআপ এবং চিকিৎসাবিষয়ক চিত্র থাকে।
- ভিন্ন টাস্ক-নকশা। অবজেক্ট শনাক্তকরণ বেঞ্চমার্ক কার্যকর স্ট্রেস টেস্ট, কিন্তু অবজেক্ট শনাক্তকরণ ভিজ্যুয়াল নিরাপত্তা মডারেশনের সমতুল্য নয়।
সামঞ্জস্যপূর্ণ বেঞ্চমার্কটি Ray Guardian-এর প্রোডাক্ট শ্রেণিবিন্যাসে কার্যকারিতা দেখায়। রেফারেন্স ডেটাসেটগুলো দেখায়, এই শ্রেণিবিন্যাস আরও অগোছালো বাইরের ডেটায় কীভাবে স্থানান্তরিত হয়।
বেঞ্চমার্ক যেভাবে পড়বেন
প্রতিটি সংখ্যাকে তার পেছনের লেবেলের স্তরে পড়ুন।
- 13-বিভাগের ফলাফলটি Ray Guardian-এর সম্পূর্ণ ছবিস্তরের নিরাপত্তা শ্রেণিবিন্যাস পরিমাপ করে।
- ভিডিও সারিগুলো প্রতিটি ডেটাসেটে উপলভ্য প্রকাশ্য ভিডিও লেবেলে Ray Guardian-কে পরিমাপ করে।
- স্বাধীন রেফারেন্স সারিগুলো বাইরের লেবেল-ব্যবস্থায় স্থানান্তর পরিমাপ করে; এগুলো প্রোডাক্ট শ্রেণিবিন্যাসের বেঞ্চমার্কের বিকল্প নয়।
Ray Guardian এখন Ray-এর সমন্বিত ভিজ্যুয়াল নিরাপত্তা স্তর: ছবি ও ক্লিপের জন্য একটি ব্যবস্থা, যা সংবেদনশীল কনটেন্ট শনাক্ত করতে এবং মিডিয়া এক ফ্রেম থেকে অন্য ফ্রেমে যাওয়ার সময় সিদ্ধান্ত স্থিতিশীল রাখতে তৈরি।
উৎস ডেটাসেট
বেঞ্চমার্ক স্যুটে উদ্ধৃত ডেটাসেটের উৎসগুলোর মধ্যে রয়েছে FiftyOne-এর মাধ্যমে HMDB51, XD-Violence, UCF-Crime, FiftyOne-এর মাধ্যমে UCF101, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound, এবং HOD Benchmark Dataset।
