अहिले चलिरहेको · बेन्चमार्कहरू
Ray Guardian को घोषणा: तस्बिर र भिडियोका लागि दृश्य सुरक्षा
Ray Guardian, Ray को एकीकृत दृश्य सुरक्षा प्रणाली हो, जसलाई 13 तस्बिर-स्तरीय सुरक्षा श्रेणी र सार्वजनिक रूपमा लेबल गरिएका भिडियो डेटासेटहरूमा बेन्चमार्क गरिएको छ।
Ray Guardian को परिचय
Ray Guardian तस्बिर र भिडियोका लागि Ray को दृश्य सुरक्षा प्रणाली हो। यसले संवेदनशील सामग्रीका लागि दृश्य मिडियाको समीक्षा गर्छ र प्लेब्याक, सिर्जना, मोडरेसन तथा पारिवारिक सेटिङहरूमा Ray ले प्रयोग गर्न सक्ने श्रेणी सङ्केतहरू फर्काउँछ।
महत्त्वपूर्ण कुरा सरल छ: Ray Guardian एउटै प्रणाली हो। स्थिर तस्बिर र भिडियो क्लिपहरू फरक मिडिया मार्गबाट प्रवेश गर्छन्, तर उत्पादनले Guardian को एउटै निर्णय प्राप्त गर्छ।
तस्बिरहरूका लागि, Ray Guardian ले पूर्ण सुरक्षा वर्गीकरणको मूल्याङ्कन गर्छ: नग्नता, यौन सामग्री, हिंसा, रक्तपातपूर्ण सामग्री, हतियार, लागूपदार्थ, मदिरा, धूमपान, विचलित पार्ने सामग्री, चुम्बन / घनिष्ठता, आत्म-हानि, पशु क्रूरता र चिकित्सकीय रक्तपातपूर्ण सामग्री।
भिडियोका लागि, Ray Guardian ले समयको आयाम थप्छ। एउटै फ्रेम अस्पष्ट हुन सक्छ; क्लिपले क्रिया, अभिप्राय र सन्दर्भ देखाउन सक्छ। भिडियो मार्गले फ्रेम-स्तरीय सुरक्षा पहिचानलाई क्लिप-स्तरीय समयगत बुझाइसँग संयोजन गर्छ, ताकि अन्तिम परिणामले स्क्रिनमा के देखिन्छ र समयक्रममा के भइरहेको छ भन्ने कुरा प्रतिबिम्बित गरोस्।
हामीले बेन्चमार्क गरेको प्रणाली यही हो।
13-श्रेणीको दृश्य सुरक्षा बेन्चमार्क
Ray Guardian ले Ray Guardian को 13-श्रेणीको होल्ड-आउट तस्बिर बेन्चमार्कमा 100.000% शुद्धता हासिल गर्यो: 17,435 ज्ञात लेबल, 0 त्रुटि।
यो बेन्चमार्क उत्पादनको आफ्नै वर्गीकरणसँग सबैभन्दा नजिक छ: उही श्रेणी परिभाषाहरू, होल्ड-आउट उदाहरणहरू र Ray Guardian का दृश्य सुरक्षा श्रेणीहरूको पूर्ण समूह।
| बेन्चमार्क | दायरा | वस्तुहरू | शुद्धता | प्रेसिजन | रिकॉल | F1 |
|---|---|---|---|---|---|---|
| Ray Guardian को होल्ड-आउट तस्बिर-स्तरीय बेन्चमार्क | Ray Guardian का सबै 13 श्रेणी | 17,435 लेबल | 100.000% | 100.000% | 100.000% | 100.000% |
यो बेन्चमार्कमा वास्तविक उत्पादनहरूमा प्रायः एकअर्कासँग खप्टिने श्रेणीहरू समावेश छन्: यौन सामग्री र नग्नता, रक्तपातपूर्ण सामग्री र चिकित्सकीय रक्तपातपूर्ण सामग्री, हतियार र हिंसा, तथा विचलित पार्ने सामग्री र सामान्य अप्रिय सन्दर्भ।
सार्वजनिक रूपमा लेबल गरिएको भिडियो बेन्चमार्क सुइट
भिडियो बेन्चमार्कहरू प्रत्येक डेटासेटले वास्तवमा उपलब्ध गराउने लेबलहरूका आधारमा मापन गरिन्छन्। चुम्बन र अँगालो छुट्याउने डेटासेटले चुम्बन / घनिष्ठताको प्रमाणलाई समर्थन गर्छ। हिंसासम्बन्धी डेटासेटले हिंसा र विचलित पार्ने घटनाको प्रमाणलाई समर्थन गर्छ। सुरक्षित क्रियासम्बन्धी डेटासेटले सामान्य गतिविधिका क्लिपहरू कुनै अवरोधबिना अनुमति दिइन्छन् कि दिइँदैनन् भनेर परीक्षण गर्छ।
यसले नतिजाहरूलाई बुझ्न सजिलो र दुरुपयोग गर्न कठिन बनाउँछ: प्रत्येक पङ्क्तिले उक्त डेटासेटको आफ्नै लेबल दायरामा Ray Guardian को कार्यसम्पादन प्रस्तुत गर्छ।
| डेटासेट | Ray Guardian को दायरा | क्लिपहरू | शुद्धता | प्रेसिजन | रिकॉल | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | चुम्बन / घनिष्ठता | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | हिंसा / विचलित पार्ने सामग्री | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | हिंसा / विचलित पार्ने सामग्री | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | असामान्यता / विचलित पार्ने सामग्री | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | सुरक्षित-क्रिया सुरक्षा सीमा | 330 | 100.000% | लागू हुँदैन | लागू हुँदैन | लागू हुँदैन |
UCF101 पङ्क्ति नकारात्मक-मात्र सुरक्षा सीमा हो: यसले सामान्य सुरक्षित क्रियाहरूलाई गलत रूपमा रोकिएको छ कि छैन भनेर मापन गर्छ। उक्त परीक्षणमा Ray Guardian ले सबै 330 सुरक्षित-क्रिया क्लिपहरूलाई सही रूपमा अनुमति दियो।
कन्फ्युजन म्याट्रिक्सहरूले के देखाउँछन्
शुद्धता मुख्य सङ्ख्या हो। कन्फ्युजन म्याट्रिक्सले त्यसको पछाडि रहेका निर्णयहरूको स्वरूप देखाउँछ।
प्रत्येक म्याट्रिक्सले सही अनुमति, गलत चेतावनी, छुटेका असुरक्षित क्लिप र सही रूपमा चिन्ह लगाइएका असुरक्षित क्लिपहरूलाई अलग गर्छ। यो महत्त्वपूर्ण छ, किनकि सुरक्षा प्रणालीले सामान्य मिडियालाई आवश्यकताभन्दा बढी अवरुद्ध नगरी मानिसहरूको सुरक्षा गर्नुपर्छ।
स्वतन्त्र सन्दर्भ डेटासेटहरू
हामी Ray Guardian लाई स्वतन्त्र सार्वजनिक र पहुँच-नियन्त्रित सन्दर्भ डेटासेटहरूमा पनि मूल्याङ्कन गर्छौँ। यी डेटासेटहरू उपयोगी छन्, किनकि तिनका लेबलहरू अन्य टोलीहरूले अन्य उद्देश्यका लागि तयार गरेका हुन् र ती सधैँ Ray Guardian का श्रेणीहरूसँग पूर्ण रूपमा मेल खाँदैनन्।
तलको तालिकाले प्रत्येक नतिजालाई डेटासेटले समर्थन गर्न सक्ने श्रेणी स्तरमा प्रस्तुत गर्छ। डेटासेटले मदिरासम्बन्धी वस्तुहरू परीक्षण गर्दा हामी मदिरासम्बन्धी व्यवहार रिपोर्ट गर्छौँ। यसले चिकित्सकीय घाउहरू परीक्षण गर्दा हामी चिकित्सकीय रक्तपातपूर्ण सामग्री वा विचलित पार्ने व्यवहार रिपोर्ट गर्छौँ।
| सन्दर्भ डेटासेट | Ray Guardian को दायरा | वस्तुहरू | शुद्धता | रिकॉल | टिप्पणीहरू |
|---|---|---|---|---|---|
| HoliSafe-Bench परीक्षण विभाजन | म्याप गरिएका तस्बिर-सुरक्षा श्रेणीहरू | 32,248 लेबल | 94.266% | 75.779% | स्वतन्त्र पहुँच-नियन्त्रित सुरक्षा बेन्चमार्क |
| UnsafeBench प्रशिक्षण विभाजन | म्याप गरिएका तस्बिर-सुरक्षा श्रेणीहरू | 40,545 लेबल | 89.893% | 74.482% | स्वतन्त्र पहुँच-नियन्त्रित सुरक्षा बेन्चमार्क |
| SurgWound परीक्षण विभाजन | चिकित्सकीय रक्तपातपूर्ण सामग्री | 137 तस्बिर | 86.861% | 100.000% | चिकित्सकीय घाउ संवेदनशीलता जाँच |
| SurgWound परीक्षण विभाजन | विचलित पार्ने सामग्री | 137 तस्बिर | 83.942% | 99.130% | चिकित्सकीय घाउ संवेदनशीलता जाँच |
| Lower Limb and Feet Wound Dataset | चिकित्सकीय रक्तपातपूर्ण सामग्री | 5,443 तस्बिर | 65.185% | 98.958% | घाउ-डोमेन सन्दर्भ जाँच |
| HOD Benchmark Dataset | मदिरा | 10,631 तस्बिर | 97.667% | 87.095% | अनुसन्धान-प्रयोगका लागि वस्तु बेन्चमार्क |
| HOD Benchmark Dataset | धूमपान | 10,631 तस्बिर | 98.222% | 93.391% | अनुसन्धान-प्रयोगका लागि वस्तु बेन्चमार्क |
| HOD Benchmark Dataset | हतियार | 10,631 तस्बिर | 85.053% | 68.659% | अनुसन्धान-प्रयोगका लागि वस्तु बेन्चमार्क |
| Open Images V7 को चयनित प्रमाणीकरण उपसमूह | हतियार | 460 पङ्क्ति | 81.957% | 87.234% | वस्तु-लेबल सन्दर्भ जाँच |
यी पङ्क्तिहरूले Ray Guardian जुन बेन्चमार्कका आधारमा बनाइएको हो, त्यसभन्दा बाहिर यसले कसरी व्यवहार गर्छ भन्ने देखाउँछन्।
सङ्ख्याहरू किन फरक हुन्छन्
सार्वजनिक सन्दर्भमा कम स्कोर आउनु विरोधाभास होइन। यसको अर्थ डेटासेटले फरक प्रश्न सोधिरहेको छ।
13-श्रेणीको Ray Guardian बेन्चमार्कले प्रणालीले Ray मा प्रयोग हुने सुरक्षा श्रेणीहरू पहिचान गर्छ कि गर्दैन भनेर सोध्छ। स्वतन्त्र सन्दर्भ डेटासेटहरूले बाह्य लेबल, बाह्य सङ्कलन विधि र बाह्य श्रेणी परिभाषाहरूलाई उक्त वर्गीकरणमा म्याप गर्दा के हुन्छ भनेर सोध्छन्।
सहज कारणहरूले स्कोर परिवर्तन हुन सक्छन्:
- फरक लेबल परिभाषाहरू। डेटासेटले कुनै वस्तुलाई लेबल गर्न सक्छ, जबकि Ray Guardian ले सुरक्षा अर्थको मूल्याङ्कन गरिरहेको हुन्छ। वाइनको गिलास, बोतल, चक्कु वा चिकित्सकीय घाउ आफैँमा सधैँ असुरक्षित हुँदैन।
- स्थूल लेबलहरू। केही सार्वजनिक सुरक्षा लेबलहरूले धेरै अवधारणालाई एउटै व्यापक लेबलमा समेट्छन्। Ray Guardian का श्रेणीहरू अझ विशिष्ट छन्।
- सन्दर्भको अभाव। केही लेबलहरू क्याप्सन, अडियो, वरपरको दृश्य वा मानवीय अभिप्रायमा निर्भर हुन्छन्। यी परीक्षणहरूले दृश्य सामग्री मापन गर्छन्।
- डोमेन परिवर्तन। बाह्य डेटासेटहरूमा फरक क्रप, रिजोल्युसन, सिर्जित तस्बिर, निगरानी फुटेज, वस्तुका क्लोजअप र चिकित्सकीय तस्बिरहरू समावेश हुन्छन्।
- फरक कार्य संरचना। वस्तु पहिचान बेन्चमार्कहरू उपयोगी तनाव परीक्षण हुन्, तर वस्तु पहिचान दृश्य सुरक्षा मोडरेसनसँग समान हुँदैन।
संरेखित बेन्चमार्कले Ray Guardian को उत्पादन वर्गीकरणमा यसको कार्यसम्पादन देखाउँछ। सन्दर्भ डेटासेटहरूले उक्त वर्गीकरण अझ अव्यवस्थित बाह्य डेटामा कसरी स्थानान्तरण हुन्छ भन्ने देखाउँछन्।
बेन्चमार्क कसरी पढ्ने
प्रत्येक सङ्ख्यालाई त्यसको पछाडि रहेका लेबलहरूको स्तरमा पढ्नुहोस्।
- 13-श्रेणीको नतिजाले Ray Guardian को पूर्ण तस्बिर-स्तरीय सुरक्षा वर्गीकरण मापन गर्छ।
- भिडियो पङ्क्तिहरूले प्रत्येक डेटासेटमा उपलब्ध सार्वजनिक भिडियो लेबलहरूका आधारमा Ray Guardian लाई मापन गर्छन्।
- स्वतन्त्र सन्दर्भ पङ्क्तिहरूले बाह्य लेबल प्रणालीहरूमा स्थानान्तरण मापन गर्छन्; तिनले उत्पादन वर्गीकरण बेन्चमार्कलाई प्रतिस्थापन गर्दैनन्।
Ray Guardian अब Ray को एकीकृत दृश्य सुरक्षा तह हो: तस्बिर र क्लिपका लागि एउटै प्रणाली, जुन संवेदनशील सामग्री पत्ता लगाउन र मिडिया एक फ्रेमबाट अर्कोमा जाँदा निर्णयहरू स्थिर राख्न बनाइएको हो।
स्रोत डेटासेटहरू
बेन्चमार्क सुइटले HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound, र HOD Benchmark Dataset लगायतका डेटासेट स्रोतहरू उद्धृत गर्छ।
