Trenutno se reproducira · Referentna testiranja
Predstavljamo Ray Guardian: vizuelna sigurnost za slike i videozapise
Ray Guardian je objedinjeni sistem vizuelne sigurnosti kompanije Ray, testiran u 13 sigurnosnih kategorija na nivou slike i na skupovima videozapisa s javno dostupnim oznakama.
Predstavljamo Ray Guardian
Ray Guardian je sistem vizuelne sigurnosti kompanije Ray za slike i videozapise. Pregledava vizuelne medije radi osjetljivog sadržaja i vraća signale po kategorijama koje Ray može koristiti za reprodukciju, kreiranje, moderiranje i porodične postavke.
Najvažnije je jednostavno: Ray Guardian je jedan sistem. Statične slike i videoisječci ulaze različitim medijskim putevima, ali proizvod prima jednu odluku sistema Guardian.
Za slike Ray Guardian procjenjuje cjelokupnu sigurnosnu taksonomiju: golotinju, seksualni sadržaj, nasilje, eksplicitno krvavi sadržaj, oružje, droge, alkohol, pušenje, uznemirujući sadržaj, ljubljenje / intimnost, samopovređivanje, okrutnost prema životinjama i medicinski eksplicitno krvavi sadržaj.
Za videozapise Ray Guardian dodaje vremensku dimenziju. Jedan kadar može biti dvosmislen; isječak može prikazati radnju, namjeru i kontekst. Put za videozapise kombinuje prepoznavanje sigurnosnih aspekata na nivou kadra s vremenskim razumijevanjem na nivou isječka kako bi konačni rezultat odražavao ono što se pojavljuje na ekranu i ono što se dešava tokom vremena.
To je sistem koji smo referentno testirali.
Referentno testiranje vizuelne sigurnosti u 13 kategorija
Ray Guardian je postigao 100.000% tačnosti na izdvojenom referentnom testiranju slika sistema Ray Guardian u 13 kategorija: 17,435 poznatih oznaka, 0 grešaka.
Ovo referentno testiranje najbliže je samoj taksonomiji proizvoda: iste definicije kategorija, izdvojeni primjeri i cijeli skup kategorija vizuelne sigurnosti sistema Ray Guardian.
| Referentno testiranje | Opseg | Stavke | Tačnost | Preciznost | Odziv | F1 |
|---|---|---|---|---|---|---|
| Izdvojeno referentno testiranje sistema Ray Guardian na nivou slike | Svih 13 kategorija sistema Ray Guardian | 17,435 oznaka | 100.000% | 100.000% | 100.000% | 100.000% |
Referentno testiranje uključuje kategorije koje se često preklapaju u stvarnim proizvodima: seksualni sadržaj naspram golotinje, eksplicitno krvavi sadržaj naspram medicinski eksplicitno krvavog sadržaja, oružje naspram nasilja i uznemirujući sadržaj naspram uobičajenog neugodnog konteksta.
Paket referentnih testiranja videozapisa s javno dostupnim oznakama
Referentna testiranja videozapisa mjere se prema oznakama koje svaki skup podataka zaista pruža. Skup podataka za poljubac naspram zagrljaja pruža dokaze o ljubljenju / intimnosti. Skup podataka o nasilju pruža dokaze o nasilju i uznemirujućim događajima. Skup podataka sa sigurnim radnjama provjerava da li se obični isječci s radnjama propuštaju bez blokiranja.
Zbog toga je rezultate lakše čitati i teže pogrešno upotrijebiti: svaki red prikazuje učinak sistema Ray Guardian u izvornom opsegu oznaka tog skupa podataka.
| Skup podataka | Opseg sistema Ray Guardian | Isječci | Tačnost | Preciznost | Odziv | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Poljubac naspram zagrljaja | Ljubljenje / intimnost | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Javne oznake | Nasilje / uznemirujući sadržaj | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapirane oznake | Nasilje / uznemirujući sadržaj | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Široka anomalija | Anomalija / uznemirujući sadržaj | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Izdvojeni skup sigurnih radnji | Zaštitna provjera sigurnih radnji | 330 | 100.000% | n/a | n/a | n/a |
Red UCF101 predstavlja zaštitnu provjeru samo s negativnim primjerima: mjeri da li se obične sigurne radnje pogrešno blokiraju. U tom testu Ray Guardian je ispravno dozvolio svih 330 isječaka sa sigurnim radnjama.
Šta prikazuju matrice zabune
Tačnost je glavni broj. Matrica zabune prikazuje strukturu odluka koje stoje iza njega.
Svaka matrica razdvaja ispravna odobrenja, lažne alarme, propuštene nesigurne isječke i ispravno označene nesigurne isječke. To je važno jer sigurnosni sistem mora štititi ljude bez ometanja uobičajenih medija više nego što je potrebno.
Nezavisni referentni skupovi podataka
Ray Guardian također procjenjujemo na nezavisnim javnim i pristupno ograničenim referentnim skupovima podataka. Ti skupovi podataka korisni su jer su njihove oznake izradili drugi timovi, za druge ciljeve, i one nisu uvijek savršeno usklađene s kategorijama sistema Ray Guardian.
Tabela u nastavku prikazuje svaki rezultat na nivou kategorije koji skup podataka može podržati. Kada skup podataka testira predmete povezane s alkoholom, izvještavamo o ponašanju vezanom za alkohol. Kada testira medicinske rane, izvještavamo o medicinski eksplicitno krvavom ili uznemirujućem sadržaju.
| Referentni skup podataka | Opseg sistema Ray Guardian | Stavke | Tačnost | Odziv | Napomene |
|---|---|---|---|---|---|
| HoliSafe-Bench testni dio | Mapirane kategorije sigurnosti slika | 32,248 oznaka | 94.266% | 75.779% | Nezavisno pristupno ograničeno sigurnosno referentno testiranje |
| UnsafeBench dio za obuku | Mapirane kategorije sigurnosti slika | 40,545 oznaka | 89.893% | 74.482% | Nezavisno pristupno ograničeno sigurnosno referentno testiranje |
| SurgWound testni dio | Medicinski eksplicitno krvavi sadržaj | 137 slika | 86.861% | 100.000% | Provjera osjetljivosti na medicinske rane |
| SurgWound testni dio | Uznemirujući sadržaj | 137 slika | 83.942% | 99.130% | Provjera osjetljivosti na medicinske rane |
| Lower Limb and Feet Wound Dataset | Medicinski eksplicitno krvavi sadržaj | 5,443 slika | 65.185% | 98.958% | Referentna provjera domene rana |
| HOD Benchmark Dataset | Alkohol | 10,631 slika | 97.667% | 87.095% | Referentno testiranje objekata za istraživačku upotrebu |
| HOD Benchmark Dataset | Pušenje | 10,631 slika | 98.222% | 93.391% | Referentno testiranje objekata za istraživačku upotrebu |
| HOD Benchmark Dataset | Oružje | 10,631 slika | 85.053% | 68.659% | Referentno testiranje objekata za istraživačku upotrebu |
| Open Images V7 odabrani validacijski podskup | Oružje | 460 redova | 81.957% | 87.234% | Referentna provjera oznaka objekata |
Ovi redovi pokazuju kako se Ray Guardian ponaša izvan referentnog testiranja prema kojem je razvijen.
Zašto se brojevi razlikuju
Niži javni referentni rezultat nije proturječnost. To znači da skup podataka postavlja drugačije pitanje.
Referentno testiranje sistema Ray Guardian u 13 kategorija ispituje prepoznaje li sistem sigurnosne kategorije koje se koriste u proizvodu Ray. Nezavisni referentni skupovi podataka ispituju šta se dešava kada se vanjske oznake, vanjske metode prikupljanja i vanjske definicije kategorija mapiraju u tu taksonomiju.
Rezultati se mogu promijeniti iz jednostavnih razloga:
- Različite definicije oznaka. Skup podataka može označavati predmet dok Ray Guardian procjenjuje sigurnosno značenje. Čaša za vino, boca, nož ili klinička rana nisu uvijek sami po sebi nesigurni.
- Grube oznake. Neke javne sigurnosne oznake objedinjuju nekoliko koncepata u jednu široku oznaku. Kategorije sistema Ray Guardian su određenije.
- Nedostatak konteksta. Neke oznake zavise od opisa, zvuka, okolne scene ili ljudske namjere. Ovi testovi mjere vidljivi sadržaj.
- Pomak domene. Vanjski skupovi podataka uključuju različita izrezivanja, rezolucije, generisane slike, snimke nadzornih kamera, krupne planove predmeta i medicinske slike.
- Različit dizajn zadatka. Referentna testiranja prepoznavanja predmeta korisni su testovi opterećenja, ali prepoznavanje predmeta nije isto što i moderiranje vizuelne sigurnosti.
Usklađeno referentno testiranje prikazuje učinak na taksonomiji proizvoda Ray Guardian. Referentni skupovi podataka pokazuju kako se ta taksonomija prenosi na neurednije vanjske podatke.
Kako čitati referentno testiranje
Svaki broj čitajte na nivou oznaka koje stoje iza njega.
- Rezultat za 13 kategorija mjeri cjelokupnu taksonomiju sigurnosti sistema Ray Guardian na nivou slike.
- Redovi za videozapise mjere Ray Guardian prema javnim oznakama videozapisa dostupnim u svakom skupu podataka.
- Redovi nezavisnih referentnih skupova mjere prijenos na vanjske sisteme oznaka, a ne zamjenu za referentno testiranje taksonomije proizvoda.
Ray Guardian je sada objedinjeni sloj vizuelne sigurnosti proizvoda Ray: jedan sistem za slike i isječke, napravljen da prepozna osjetljivi sadržaj i održava odluke stabilnim dok se medij mijenja iz kadra u kadar.
Izvorni skupovi podataka
Paket referentnih testiranja navodi izvore skupova podataka, uključujući HMDB51 putem FiftyOne, XD-Violence, UCF-Crime, UCF101 putem FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound i HOD Benchmark Dataset.
