Pašlaik atskaņo · Etalontesti
Iepazīstinām ar Ray Guardian: attēlu un video vizuālā drošība
Ray Guardian ir Ray vienotā vizuālās drošības sistēma, kas novērtēta 13 attēlu līmeņa drošības kategorijās un publiski marķētās video datu kopās.
Iepazīstinām ar Ray Guardian
Ray Guardian ir Ray vizuālās drošības sistēma attēliem un video. Tā pārbauda vizuālos multivides materiālus, lai noteiktu sensitīvu saturu, un atgriež kategoriju signālus, kurus Ray var izmantot atskaņošanai, satura izveidei, moderēšanai un ģimenes iestatījumiem.
Būtiskākais ir vienkāršs: Ray Guardian ir viena sistēma. Nekustīgi attēli un videoklipi tiek apstrādāti pa atšķirīgiem multivides ceļiem, taču produkts saņem vienu Guardian lēmumu.
Attēliem Ray Guardian izvērtē pilnu drošības taksonomiju: kailums, seksuāls saturs, vardarbība, asiņains saturs, ieroči, narkotikas, alkohols, smēķēšana, satraucošs saturs, skūpstīšanās / intimitāte, paškaitējums, cietsirdīga izturēšanās pret dzīvniekiem un medicīniski asiņains saturs.
Video gadījumā Ray Guardian pievieno laika dimensiju. Atsevišķs kadrs var būt neviennozīmīgs; klips var parādīt darbību, nolūku un kontekstu. Video apstrādes ceļš apvieno drošības noteikšanu kadru līmenī ar temporālu izpratni klipa līmenī, lai gala rezultāts atspoguļotu gan ekrānā redzamo, gan laika gaitā notiekošo.
Šī ir sistēma, kuru mēs novērtējām.
13 kategoriju vizuālās drošības etalontests
Ray Guardian sasniedza 100.000% precizitāti Ray Guardian 13 kategoriju nošķirtajā attēlu etalontestā: 17,435 zināmas etiķetes, 0 kļūdas.
Šis etalontests visprecīzāk atbilst paša produkta taksonomijai: tās pašas kategoriju definīcijas, nošķirti piemēri un pilns Ray Guardian vizuālās drošības kategoriju kopums.
| Etalontests | Tvērums | Vienības | Precizitāte | Pozitīvā paredzējuma precizitāte | Pilnīgums | F1 |
|---|---|---|---|---|---|---|
| Ray Guardian nošķirtais attēlu līmeņa etalontests | Visas 13 Ray Guardian kategorijas | 17,435 etiķetes | 100.000% | 100.000% | 100.000% | 100.000% |
Etalontests ietver kategorijas, kas reālos produktos bieži pārklājas: seksuāls saturs pret kailumu, asiņains saturs pret medicīniski asiņainu saturu, ieroči pret vardarbību un satraucošs saturs pret parastu nepatīkamu kontekstu.
Publiski marķētu video etalontestu komplekts
Video etalontesti tiek mērīti, izmantojot etiķetes, ko faktiski nodrošina katra datu kopa. Datu kopa skūpsts pret apskāvienu sniedz pierādījumus par skūpstīšanos / intimitāti. Vardarbības datu kopa sniedz pierādījumus par vardarbību un satraucošiem notikumiem. Drošu darbību datu kopa pārbauda, vai parasti darbību klipi tiek netraucēti atļauti.
Tādējādi rezultātus ir vieglāk lasīt un grūtāk izmantot neatbilstoši: katrā rindā ir norādīta Ray Guardian veiktspēja attiecīgās datu kopas sākotnējo etiķešu tvērumā.
| Datu kopa | Ray Guardian tvērums | Klipi | Precizitāte | Pozitīvā paredzējuma precizitāte | Pilnīgums | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Skūpsts pret apskāvienu | Skūpstīšanās / intimitāte | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Publiskās etiķetes | Vardarbība / satraucošs saturs | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Kartētās etiķetes | Vardarbība / satraucošs saturs | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Plaša anomālija | Anomālija / satraucošs saturs | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Drošu darbību nošķirtā kopa | Drošu darbību aizsargmehānisms | 330 | 100.000% | n/a | n/a | n/a |
UCF101 rinda ir tikai negatīvo piemēru aizsargmehānisms: tā mēra, vai parastas drošas darbības netiek kļūdaini bloķētas. Šajā testā Ray Guardian pareizi atļāva visus 330 drošu darbību klipus.
Ko parāda sajaukuma matricas
Precizitāte ir galvenais rādītājs. Sajaukuma matrica parāda aiz tā esošo lēmumu struktūru.
Katrā matricā ir nodalīti pareizi atļautie gadījumi, viltus trauksmes, nepamanītie nedrošie klipi un pareizi atzīmētie nedrošie klipi. Tas ir svarīgi, jo drošības sistēmai ir jāaizsargā cilvēki, nepārtraucot parastu multivides materiālu izmantošanu biežāk, nekā nepieciešams.
Neatkarīgas atsauces datu kopas
Mēs arī izvērtējam Ray Guardian neatkarīgās publiskās un piekļuves ierobežotās atsauces datu kopās. Šīs datu kopas ir noderīgas, jo to etiķetes ir izveidojušas citas komandas citiem mērķiem un tās ne vienmēr pilnībā atbilst Ray Guardian kategorijām.
Tālāk esošajā tabulā katrs rezultāts ir norādīts tādā kategoriju līmenī, kādu datu kopa spēj atbalstīt. Ja datu kopa pārbauda ar alkoholu saistītus objektus, mēs ziņojam par alkohola kategorijas darbību. Ja tā pārbauda medicīniskas brūces, mēs ziņojam par medicīniski asiņaina satura vai satraucoša satura kategorijas darbību.
| Atsauces datu kopa | Ray Guardian tvērums | Vienības | Precizitāte | Pilnīgums | Piezīmes |
|---|---|---|---|---|---|
| HoliSafe-Bench testa sadalījums | Kartētas attēlu drošības kategorijas | 32,248 etiķetes | 94.266% | 75.779% | Neatkarīgs piekļuves ierobežots drošības etalontests |
| UnsafeBench apmācības sadalījums | Kartētas attēlu drošības kategorijas | 40,545 etiķetes | 89.893% | 74.482% | Neatkarīgs piekļuves ierobežots drošības etalontests |
| SurgWound testa sadalījums | Medicīniski asiņains saturs | 137 attēli | 86.861% | 100.000% | Medicīnisku brūču jutīguma pārbaude |
| SurgWound testa sadalījums | Satraucošs saturs | 137 attēli | 83.942% | 99.130% | Medicīnisku brūču jutīguma pārbaude |
| Lower Limb and Feet Wound Dataset | Medicīniski asiņains saturs | 5,443 attēli | 65.185% | 98.958% | Brūču domēna atsauces pārbaude |
| HOD Benchmark Dataset | Alkohols | 10,631 attēli | 97.667% | 87.095% | Pētnieciskai lietošanai paredzēts objektu etalontests |
| HOD Benchmark Dataset | Smēķēšana | 10,631 attēli | 98.222% | 93.391% | Pētnieciskai lietošanai paredzēts objektu etalontests |
| HOD Benchmark Dataset | Ieroči | 10,631 attēli | 85.053% | 68.659% | Pētnieciskai lietošanai paredzēts objektu etalontests |
| Open Images V7 atlasītā validācijas apakškopa | Ieroči | 460 rindas | 81.957% | 87.234% | Objektu etiķešu atsauces pārbaude |
Šīs rindas parāda, kā Ray Guardian darbojas ārpus etalontesta, kuram tas tika izstrādāts.
Kāpēc skaitļi atšķiras
Zemāks publiskās atsauces rezultāts nav pretruna. Tas nozīmē, ka datu kopa uzdod citu jautājumu.
13 kategoriju Ray Guardian etalontests pārbauda, vai sistēma atpazīst Ray izmantotās drošības kategorijas. Neatkarīgās atsauces datu kopas pārbauda, kas notiek, ja šajā taksonomijā tiek kartētas ārējas etiķetes, ārējas datu vākšanas metodes un ārējas kategoriju definīcijas.
Rezultāti var mainīties vienkāršu iemeslu dēļ:
- Atšķirīgas etiķešu definīcijas. Datu kopa var marķēt objektu, kamēr Ray Guardian izvērtē tā drošības nozīmi. Vīna glāze, pudele, nazis vai klīniska brūce pati par sevi ne vienmēr ir nedroša.
- Vispārīgas etiķetes. Dažas publiskās drošības etiķetes apvieno vairākus jēdzienus vienā plašā etiķetē. Ray Guardian kategorijas ir specifiskākas.
- Konteksta trūkumi. Dažas etiķetes ir atkarīgas no paraksta, audio, apkārtējās ainas vai cilvēka nolūka. Šie testi mēra redzamo saturu.
- Domēna nobīde. Ārējās datu kopās ir atšķirīgi kadrējumi, izšķirtspējas, ģenerēti attēli, novērošanas kameru materiāli, objektu tuvplāni un medicīniskie attēli.
- Atšķirīgs uzdevuma dizains. Objektu atpazīšanas etalontesti ir noderīgi slodzes testi, taču objektu atpazīšana nav tas pats, kas vizuālās drošības moderēšana.
Saskaņotais etalontests parāda veiktspēju Ray Guardian produkta taksonomijā. Atsauces datu kopas parāda, kā šī taksonomija tiek pārnesta uz nekārtīgākiem ārējiem datiem.
Kā lasīt etalontestu
Katrs skaitlis jālasa to etiķešu līmenī, uz kurām tas balstīts.
- 13 kategoriju rezultāts mēra pilnu Ray Guardian attēlu līmeņa drošības taksonomiju.
- Video rindas mēra Ray Guardian, izmantojot katrā datu kopā pieejamās publiskās video etiķetes.
- Neatkarīgo atsauces datu kopu rindas mēra pārnesi uz ārējām etiķešu sistēmām, nevis aizstāj produkta taksonomijas etalontestu.
Ray Guardian tagad ir Ray vienotais vizuālās drošības slānis: viena sistēma attēliem un klipiem, kas izstrādāta sensitīva satura noteikšanai un lēmumu stabilitātes saglabāšanai, multivides materiālam pārejot no kadra uz kadru.
Avotu datu kopas
Etalontestu komplektā ir norādīti datu kopu avoti, tostarp HMDB51, izmantojot FiftyOne, XD-Violence, UCF-Crime, UCF101, izmantojot FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound un HOD Benchmark Dataset.
