Trenutačno se reproducira · Referentna mjerenja
Predstavljamo Ray Guardian: vizualna sigurnost za slike i videozapise
Ray Guardian objedinjeni je sustav vizualne sigurnosti za Ray, evaluiran u 13 sigurnosnih kategorija na razini slike i na javno označenim skupovima videozapisa.
Predstavljamo Ray Guardian
Ray Guardian sustav je vizualne sigurnosti za slike i videozapise u proizvodu Ray. Pregledava vizualne medije radi osjetljivog sadržaja i vraća signale kategorija koje Ray može upotrebljavati za reprodukciju, stvaranje, moderiranje i obiteljske postavke.
Najvažnije je jednostavno: Ray Guardian jedan je sustav. Statične slike i videoisječci ulaze različitim medijskim putovima, ali proizvod prima jednu odluku sustava Guardian.
Za slike Ray Guardian procjenjuje cjelovitu taksonomiju sigurnosti: golotinju, seksualni sadržaj, nasilje, krvavi sadržaj, oružje, droge, alkohol, pušenje, uznemirujući sadržaj, ljubljenje / intimnost, samoozljeđivanje, okrutnost prema životinjama i krvavi medicinski sadržaj.
Za videozapise Ray Guardian dodaje vremensku dimenziju. Pojedinačni kadar može biti dvosmislen; isječak može prikazati radnju, namjeru i kontekst. Put za videozapise kombinira prepoznavanje sigurnosnih kategorija na razini kadra s vremenskim razumijevanjem na razini isječka kako bi konačni rezultat odražavao ono što se pojavljuje na zaslonu i ono što se događa tijekom vremena.
To je sustav koji smo evaluirali.
Referentno mjerenje vizualne sigurnosti u 13 kategorija
Ray Guardian postigao je 100.000% točnosti na izdvojenom referentnom skupu slika Ray Guardian s 13 kategorija: 17,435 poznatih oznaka, 0 pogrešaka.
Ovo je referentno mjerenje najbliže samoj taksonomiji proizvoda: iste definicije kategorija, izdvojeni primjeri i cjelovit skup kategorija vizualne sigurnosti sustava Ray Guardian.
| Referentno mjerenje | Opseg | Stavke | Točnost | Preciznost | Odziv | F1 |
|---|---|---|---|---|---|---|
| Izdvojeno referentno mjerenje sustava Ray Guardian na razini slike | Svih 13 kategorija sustava Ray Guardian | 17,435 oznaka | 100.000% | 100.000% | 100.000% | 100.000% |
Referentno mjerenje obuhvaća kategorije koje se u stvarnim proizvodima često preklapaju: seksualni sadržaj nasuprot golotinji, krvavi sadržaj nasuprot krvavom medicinskom sadržaju, oružje nasuprot nasilju te uznemirujući sadržaj nasuprot običnom neugodnom kontekstu.
Skup javno označenih referentnih mjerenja za videozapise
Referentna mjerenja za videozapise provode se prema oznakama koje svaki skup podataka stvarno pruža. Skup podataka za razlikovanje poljupca od zagrljaja pruža dokaze za ljubljenje / intimnost. Skup podataka o nasilju pruža dokaze za nasilje i uznemirujuće događaje. Skup podataka sa sigurnim radnjama ispituje propuštaju li se obični isječci s radnjama bez nepotrebnog blokiranja.
Zbog toga su rezultati lakši za čitanje i teži za pogrešnu uporabu: svaki redak prikazuje rezultate sustava Ray Guardian u izvornom opsegu oznaka tog skupa podataka.
| Skup podataka | Opseg sustava Ray Guardian | Isječci | Točnost | Preciznost | Odziv | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Ljubljenje / intimnost | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Nasilje / uznemirujući sadržaj | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Nasilje / uznemirujući sadržaj | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Anomalija / uznemirujući sadržaj | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Zaštitna provjera sigurnih radnji | 330 | 100.000% | n/a | n/a | n/a |
Redak UCF101 zaštitna je provjera koja sadržava samo negativne primjere: mjeri blokiraju li se obične sigurne radnje pogrešno. U tom je testu Ray Guardian ispravno dopustio svih 330 isječaka sa sigurnim radnjama.
Što pokazuju matrice zabune
Točnost je glavni pokazatelj. Matrica zabune prikazuje strukturu odluka na kojima se taj pokazatelj temelji.
Svaka matrica odvaja ispravna dopuštanja, lažne uzbune, propuštene nesigurne isječke i ispravno označene nesigurne isječke. To je važno jer sigurnosni sustav mora štititi ljude bez ometanja uobičajenih medija više nego što je potrebno.
Neovisni referentni skupovi podataka
Ray Guardian također evaluiramo na neovisnim javnim referentnim skupovima podataka i referentnim skupovima podataka s ograničenim pristupom. Ti su skupovi podataka korisni jer su njihove oznake izradili drugi timovi, za druge ciljeve, te nisu uvijek savršeno usklađene s kategorijama sustava Ray Guardian.
Tablica u nastavku prikazuje svaki rezultat na razini kategorije koju skup podataka može podržati. Kada skup podataka ispituje predmete povezane s alkoholom, prikazujemo ponašanje povezano s alkoholom. Kada ispituje medicinske rane, prikazujemo krvavi medicinski sadržaj ili uznemirujuće ponašanje.
| Referentni skup podataka | Opseg sustava Ray Guardian | Stavke | Točnost | Odziv | Napomene |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Mapirane kategorije sigurnosti slika | 32,248 oznaka | 94.266% | 75.779% | Neovisno referentno mjerenje sigurnosti s ograničenim pristupom |
| UnsafeBench train split | Mapirane kategorije sigurnosti slika | 40,545 oznaka | 89.893% | 74.482% | Neovisno referentno mjerenje sigurnosti s ograničenim pristupom |
| SurgWound test split | Krvavi medicinski sadržaj | 137 slika | 86.861% | 100.000% | Provjera osjetljivosti na medicinske rane |
| SurgWound test split | Uznemirujući sadržaj | 137 slika | 83.942% | 99.130% | Provjera osjetljivosti na medicinske rane |
| Lower Limb and Feet Wound Dataset | Krvavi medicinski sadržaj | 5,443 slika | 65.185% | 98.958% | Referentna provjera u domeni rana |
| HOD Benchmark Dataset | Alkohol | 10,631 slika | 97.667% | 87.095% | Referentno mjerenje predmeta za istraživačku uporabu |
| HOD Benchmark Dataset | Pušenje | 10,631 slika | 98.222% | 93.391% | Referentno mjerenje predmeta za istraživačku uporabu |
| HOD Benchmark Dataset | Oružje | 10,631 slika | 85.053% | 68.659% | Referentno mjerenje predmeta za istraživačku uporabu |
| Open Images V7 selected validation subset | Oružje | 460 redaka | 81.957% | 87.234% | Referentna provjera oznaka predmeta |
Ovi redci pokazuju kako se Ray Guardian ponaša izvan referentnog mjerenja za koje je izrađen.
Zašto se brojevi razlikuju
Niži rezultat na javnom referentnom skupu nije proturječnost. Znači da skup podataka postavlja drukčije pitanje.
Referentno mjerenje sustava Ray Guardian s 13 kategorija ispituje prepoznaje li sustav sigurnosne kategorije koje se upotrebljavaju u proizvodu Ray. Neovisni referentni skupovi podataka ispituju što se događa kada se vanjske oznake, vanjske metode prikupljanja i vanjske definicije kategorija mapiraju u tu taksonomiju.
Rezultati se mogu mijenjati iz jednostavnih razloga:
- Različite definicije oznaka. Skup podataka može označavati predmet dok Ray Guardian procjenjuje sigurnosno značenje. Čaša vina, boca, nož ili klinička rana nisu uvijek sami po sebi nesigurni.
- Grube oznake. Neke javne sigurnosne oznake spajaju nekoliko koncepata u jednu široku oznaku. Kategorije sustava Ray Guardian specifičnije su.
- Nedostatak konteksta. Neke oznake ovise o opisu, zvuku, okolnoj sceni ili ljudskoj namjeri. Ovi testovi mjere vidljivi sadržaj.
- Pomak domene. Vanjski skupovi podataka sadržavaju različite izreze, razlučivosti, generirane slike, snimke nadzornih kamera, krupne planove predmeta i medicinske snimke.
- Različit dizajn zadatka. Referentna mjerenja prepoznavanja predmeta korisni su testovi otpornosti, ali prepoznavanje predmeta nije isto što i moderiranje vizualne sigurnosti.
Usklađeno referentno mjerenje prikazuje rezultate na taksonomiji proizvoda Ray Guardian. Referentni skupovi podataka pokazuju kako se ta taksonomija prenosi na neurednije vanjske podatke.
Kako čitati referentno mjerenje
Svaki broj čitajte na razini oznaka na kojima se temelji.
- Rezultat za 13 kategorija mjeri cjelovitu taksonomiju sigurnosti sustava Ray Guardian na razini slike.
- Redci za videozapise mjere Ray Guardian na javnim oznakama videozapisa dostupnima u svakom skupu podataka.
- Neovisni referentni redci mjere prijenos na vanjske sustave oznaka, a ne zamjenu za referentno mjerenje taksonomije proizvoda.
Ray Guardian sada je objedinjeni sloj vizualne sigurnosti za Ray: jedan sustav za slike i isječke, izrađen za otkrivanje osjetljivog sadržaja i održavanje stabilnosti odluka dok se medij mijenja iz kadra u kadar.
Izvorni skupovi podataka
Skup referentnih mjerenja navodi izvore podataka, uključujući HMDB51 putem FiftyOne, XD-Violence, UCF-Crime, UCF101 putem FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound i HOD Benchmark Dataset.
