अभी चल रहा है · बेंचमार्क
Ray Guardian की घोषणा: चित्रों और वीडियो के लिए दृश्य सुरक्षा
Ray Guardian, Ray की एकीकृत दृश्य सुरक्षा प्रणाली है, जिसका बेंचमार्क 13 चित्र-स्तरीय सुरक्षा श्रेणियों और सार्वजनिक रूप से लेबल किए गए वीडियो डेटासेट पर किया गया है।
Ray Guardian का परिचय
Ray Guardian, चित्रों और वीडियो के लिए Ray की दृश्य सुरक्षा प्रणाली है। यह संवेदनशील सामग्री के लिए दृश्य मीडिया की समीक्षा करती है और ऐसे श्रेणी संकेत लौटाती है जिनका उपयोग Ray प्लेबैक, निर्माण, मॉडरेशन और पारिवारिक सेटिंग में कर सकता है।
महत्वपूर्ण बात सरल है: Ray Guardian एक ही प्रणाली है। स्थिर चित्र और वीडियो क्लिप अलग-अलग मीडिया पथों से प्रवेश करते हैं, लेकिन उत्पाद को Guardian का एक ही निर्णय प्राप्त होता है।
चित्रों के लिए, Ray Guardian संपूर्ण सुरक्षा वर्गीकरण का मूल्यांकन करता है: नग्नता, यौन सामग्री, हिंसा, रक्तरंजित सामग्री, हथियार, मादक पदार्थ, अल्कोहल, धूम्रपान, विचलित करने वाली सामग्री, चुंबन / अंतरंगता, आत्म-हानि, पशु क्रूरता और चिकित्सीय रक्तरंजित सामग्री।
वीडियो के लिए, Ray Guardian समय का आयाम जोड़ता है। एक फ़्रेम अस्पष्ट हो सकता है; कोई क्लिप क्रिया, मंशा और संदर्भ दिखा सकती है। वीडियो पथ फ़्रेम-स्तरीय सुरक्षा पहचान को क्लिप-स्तरीय कालगत समझ के साथ जोड़ता है, ताकि अंतिम परिणाम यह दर्शाए कि स्क्रीन पर क्या दिखाई देता है और समय के साथ क्या हो रहा है।
हमने इसी प्रणाली का बेंचमार्क किया।
13-श्रेणी दृश्य सुरक्षा बेंचमार्क
Ray Guardian ने Ray Guardian के 13-श्रेणी होल्ड-आउट चित्र बेंचमार्क पर 100.000% सटीकता प्राप्त की: 17,435 ज्ञात लेबल, 0 त्रुटियाँ।
यह बेंचमार्क स्वयं उत्पाद के वर्गीकरण के सबसे निकट है: समान श्रेणी परिभाषाएँ, होल्ड-आउट उदाहरण और Ray Guardian की दृश्य सुरक्षा श्रेणियों का पूरा समूह।
| बेंचमार्क | दायरा | आइटम | सटीकता | परिशुद्धता | रिकॉल | F1 |
|---|---|---|---|---|---|---|
| Ray Guardian होल्ड-आउट चित्र-स्तरीय बेंचमार्क | Ray Guardian की सभी 13 श्रेणियाँ | 17,435 लेबल | 100.000% | 100.000% | 100.000% | 100.000% |
बेंचमार्क में ऐसी श्रेणियाँ शामिल हैं जो वास्तविक उत्पादों में अक्सर एक-दूसरे से ओवरलैप करती हैं: यौन सामग्री बनाम नग्नता, रक्तरंजित सामग्री बनाम चिकित्सीय रक्तरंजित सामग्री, हथियार बनाम हिंसा, और विचलित करने वाली सामग्री बनाम सामान्य अप्रिय संदर्भ।
सार्वजनिक रूप से लेबल किया गया वीडियो बेंचमार्क सुइट
वीडियो बेंचमार्क को उन लेबलों के आधार पर मापा जाता है जो प्रत्येक डेटासेट वास्तव में प्रदान करता है। चुंबन-बनाम-आलिंगन डेटासेट चुंबन / अंतरंगता संबंधी साक्ष्य का समर्थन करता है। हिंसा डेटासेट हिंसा और विचलित करने वाली घटना संबंधी साक्ष्य का समर्थन करता है। सुरक्षित-क्रिया डेटासेट यह जाँचता है कि सामान्य गतिविधियों वाली क्लिप को बिना समस्या के अनुमति दी जाती है या नहीं।
इससे परिणामों को पढ़ना आसान और उनका दुरुपयोग करना कठिन हो जाता है: प्रत्येक पंक्ति उस डेटासेट के मूल लेबल दायरे पर Ray Guardian के प्रदर्शन की रिपोर्ट करती है।
| डेटासेट | Ray Guardian का दायरा | क्लिप | सटीकता | परिशुद्धता | रिकॉल | F1 |
|---|---|---|---|---|---|---|
| HMDB51 चुंबन बनाम आलिंगन | चुंबन / अंतरंगता | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence सार्वजनिक लेबल | हिंसा / विचलित करने वाली सामग्री | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime मैप किए गए लेबल | हिंसा / विचलित करने वाली सामग्री | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime व्यापक विसंगति | विसंगति / विचलित करने वाली सामग्री | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 सुरक्षित-क्रिया होल्ड-आउट | सुरक्षित-क्रिया सुरक्षा नियंत्रण | 330 | 100.000% | n/a | n/a | n/a |
UCF101 पंक्ति केवल-नकारात्मक सुरक्षा नियंत्रण है: यह मापती है कि क्या सामान्य सुरक्षित गतिविधियों को गलती से अवरुद्ध किया जाता है। उस परीक्षण में, Ray Guardian ने सभी 330 सुरक्षित-क्रिया क्लिप को सही ढंग से अनुमति दी।
कन्फ्यूज़न मैट्रिक्स क्या दिखाते हैं
सटीकता मुख्य संख्या है। कन्फ्यूज़न मैट्रिक्स उसके पीछे के निर्णयों का स्वरूप दिखाता है।
प्रत्येक मैट्रिक्स सही अनुमतियों, गलत चेतावनियों, छूट गई असुरक्षित क्लिप और सही ढंग से चिह्नित असुरक्षित क्लिप को अलग करता है। यह महत्वपूर्ण है क्योंकि किसी सुरक्षा प्रणाली को सामान्य मीडिया में आवश्यकता से अधिक बाधा डाले बिना लोगों की रक्षा करनी होती है।
स्वतंत्र संदर्भ डेटासेट
हम स्वतंत्र सार्वजनिक और अभिगम-नियंत्रित संदर्भ डेटासेट पर भी Ray Guardian का मूल्यांकन करते हैं। ये डेटासेट उपयोगी हैं क्योंकि इनके लेबल अन्य टीमों ने अन्य उद्देश्यों के लिए बनाए थे और वे हमेशा Ray Guardian की श्रेणियों से पूरी तरह मेल नहीं खाते।
नीचे दी गई तालिका प्रत्येक परिणाम को उस श्रेणी स्तर पर रिपोर्ट करती है जिसका डेटासेट समर्थन कर सकता है। जब कोई डेटासेट अल्कोहल से संबंधित वस्तुओं का परीक्षण करता है, तो हम अल्कोहल संबंधी व्यवहार की रिपोर्ट करते हैं। जब वह चिकित्सीय घावों का परीक्षण करता है, तो हम चिकित्सीय रक्तरंजित सामग्री या विचलित करने वाले व्यवहार की रिपोर्ट करते हैं।
| संदर्भ डेटासेट | Ray Guardian का दायरा | आइटम | सटीकता | रिकॉल | टिप्पणियाँ |
|---|---|---|---|---|---|
| HoliSafe-Bench परीक्षण विभाजन | मैप की गई चित्र-सुरक्षा श्रेणियाँ | 32,248 लेबल | 94.266% | 75.779% | स्वतंत्र अभिगम-नियंत्रित सुरक्षा बेंचमार्क |
| UnsafeBench प्रशिक्षण विभाजन | मैप की गई चित्र-सुरक्षा श्रेणियाँ | 40,545 लेबल | 89.893% | 74.482% | स्वतंत्र अभिगम-नियंत्रित सुरक्षा बेंचमार्क |
| SurgWound परीक्षण विभाजन | चिकित्सीय रक्तरंजित सामग्री | 137 चित्र | 86.861% | 100.000% | चिकित्सीय घाव संवेदनशीलता जाँच |
| SurgWound परीक्षण विभाजन | विचलित करने वाली सामग्री | 137 चित्र | 83.942% | 99.130% | चिकित्सीय घाव संवेदनशीलता जाँच |
| Lower Limb and Feet Wound Dataset | चिकित्सीय रक्तरंजित सामग्री | 5,443 चित्र | 65.185% | 98.958% | घाव-डोमेन संदर्भ जाँच |
| HOD Benchmark Dataset | अल्कोहल | 10,631 चित्र | 97.667% | 87.095% | अनुसंधान-उपयोग वस्तु बेंचमार्क |
| HOD Benchmark Dataset | धूम्रपान | 10,631 चित्र | 98.222% | 93.391% | अनुसंधान-उपयोग वस्तु बेंचमार्क |
| HOD Benchmark Dataset | हथियार | 10,631 चित्र | 85.053% | 68.659% | अनुसंधान-उपयोग वस्तु बेंचमार्क |
| Open Images V7 चयनित सत्यापन उपसमुच्चय | हथियार | 460 पंक्तियाँ | 81.957% | 87.234% | वस्तु-लेबल संदर्भ जाँच |
ये पंक्तियाँ दिखाती हैं कि Ray Guardian उस बेंचमार्क से परे कैसा व्यवहार करता है जिसके आधार पर इसे बनाया गया था।
संख्याएँ अलग क्यों हैं
सार्वजनिक संदर्भ का कम स्कोर कोई विरोधाभास नहीं है। इसका अर्थ है कि डेटासेट एक अलग प्रश्न पूछ रहा है।
13-श्रेणी Ray Guardian बेंचमार्क यह पूछता है कि क्या प्रणाली Ray में उपयोग की जाने वाली सुरक्षा श्रेणियों को पहचानती है। स्वतंत्र संदर्भ डेटासेट यह पूछते हैं कि बाहरी लेबल, बाहरी संग्रह विधियों और बाहरी श्रेणी परिभाषाओं को उस वर्गीकरण में मैप करने पर क्या होता है।
स्कोर सामान्य कारणों से बदल सकते हैं:
- अलग लेबल परिभाषाएँ। कोई डेटासेट किसी वस्तु को लेबल कर सकता है, जबकि Ray Guardian सुरक्षा संबंधी अर्थ का आकलन कर रहा होता है। वाइन का गिलास, बोतल, चाकू या चिकित्सीय घाव अपने आप में हमेशा असुरक्षित नहीं होता।
- व्यापक लेबल। कुछ सार्वजनिक सुरक्षा लेबल कई अवधारणाओं को एक व्यापक लेबल में मिला देते हैं। Ray Guardian की श्रेणियाँ अधिक विशिष्ट हैं।
- संदर्भ का अभाव। कुछ लेबल कैप्शन, ऑडियो, आसपास के दृश्य या मानवीय मंशा पर निर्भर करते हैं। ये परीक्षण दृश्यमान सामग्री को मापते हैं।
- डोमेन परिवर्तन। बाहरी डेटासेट में अलग-अलग क्रॉप, रिज़ॉल्यूशन, जनरेट किए गए चित्र, निगरानी फ़ुटेज, वस्तुओं के क्लोज़-अप और चिकित्सीय चित्र शामिल होते हैं।
- अलग कार्य संरचना। वस्तु पहचान बेंचमार्क उपयोगी दबाव परीक्षण हैं, लेकिन वस्तु पहचान दृश्य सुरक्षा मॉडरेशन के समान नहीं है।
संरेखित बेंचमार्क Ray Guardian के उत्पाद वर्गीकरण पर प्रदर्शन दिखाता है। संदर्भ डेटासेट दिखाते हैं कि यह वर्गीकरण अधिक अव्यवस्थित बाहरी डेटा में किस प्रकार स्थानांतरित होता है।
बेंचमार्क को कैसे पढ़ें
प्रत्येक संख्या को उसके पीछे के लेबलों के स्तर पर पढ़ें।
- 13-श्रेणी परिणाम संपूर्ण Ray Guardian चित्र-स्तरीय सुरक्षा वर्गीकरण को मापता है।
- वीडियो पंक्तियाँ प्रत्येक डेटासेट में उपलब्ध सार्वजनिक वीडियो लेबलों पर Ray Guardian को मापती हैं।
- स्वतंत्र संदर्भ पंक्तियाँ बाहरी लेबल प्रणालियों में स्थानांतरण को मापती हैं; वे उत्पाद वर्गीकरण बेंचमार्क का प्रतिस्थापन नहीं हैं।
Ray Guardian अब Ray की एकीकृत दृश्य सुरक्षा परत है: चित्रों और क्लिप के लिए एक प्रणाली, जिसे संवेदनशील सामग्री पहचानने और मीडिया के एक फ़्रेम से दूसरे फ़्रेम में जाने के दौरान निर्णयों को स्थिर रखने के लिए बनाया गया है।
स्रोत डेटासेट
बेंचमार्क सुइट में इन सहित डेटासेट स्रोतों का उल्लेख है: FiftyOne के माध्यम से HMDB51, XD-Violence, UCF-Crime, FiftyOne के माध्यम से UCF101, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound, और HOD Benchmark Dataset।
