Prehráva sa · Benchmarky
Predstavujeme Ray Guardian: vizuálna bezpečnosť obrázkov a videa
Ray Guardian je jednotný systém vizuálnej bezpečnosti platformy Ray, porovnávaný v 13 bezpečnostných kategóriách na úrovni obrázkov a na verejne označených video datasetoch.
Predstavujeme Ray Guardian
Ray Guardian je systém vizuálnej bezpečnosti platformy Ray pre obrázky a video. Kontroluje vizuálne médiá na prítomnosť citlivého obsahu a vracia signály kategórií, ktoré môže Ray použiť pri prehrávaní, tvorbe, moderovaní a rodinných nastaveniach.
Podstatné je jednoduché: Ray Guardian je jeden systém. Statické obrázky a videoklipy vstupujú cez odlišné mediálne cesty, produkt však dostane jedno rozhodnutie systému Guardian.
Pri obrázkoch Ray Guardian vyhodnocuje úplnú taxonómiu bezpečnosti: nahotu, sexuálny obsah, násilie, explicitný krvavý obsah, zbrane, drogy, alkohol, fajčenie, znepokojujúci obsah, bozkávanie / intimitu, sebapoškodzovanie, týranie zvierat a explicitný medicínsky obsah.
Pri videu Ray Guardian pridáva časový rozmer. Jedna snímka môže byť nejednoznačná; klip môže ukázať konanie, úmysel a kontext. Cesta spracovania videa kombinuje rozpoznávanie bezpečnosti na úrovni snímok s časovým porozumením na úrovni klipu, aby konečný výsledok odrážal to, čo sa zobrazuje na obrazovke, aj to, čo sa odohráva v čase.
Toto je systém, ktorý sme testovali v benchmarku.
Benchmark vizuálnej bezpečnosti v 13 kategóriách
Ray Guardian dosiahol 100.000% presnosť v oddelenom benchmarku obrázkov Ray Guardian s 13 kategóriami: 17,435 známych označení, 0 chýb.
Tento benchmark najviac zodpovedá samotnej taxonómii produktu: rovnaké definície kategórií, oddelené príklady a úplný súbor kategórií vizuálnej bezpečnosti Ray Guardian.
| Benchmark | Rozsah | Položky | Presnosť | Precíznosť | Úplnosť | F1 |
|---|---|---|---|---|---|---|
| Oddelený benchmark Ray Guardian na úrovni obrázkov | Všetkých 13 kategórií Ray Guardian | 17,435 označení | 100.000% | 100.000% | 100.000% | 100.000% |
Benchmark zahŕňa kategórie, ktoré sa v reálnych produktoch často prekrývajú: sexuálny obsah a nahota, explicitný krvavý obsah a explicitný medicínsky obsah, zbrane a násilie či znepokojujúci obsah a bežný nepríjemný kontext.
Sada verejne označených video benchmarkov
Video benchmarky sa merajú voči označeniam, ktoré jednotlivé datasety skutočne poskytujú. Dataset bozkov a objatí poskytuje dôkazy pre bozkávanie / intimitu. Dataset násilia poskytuje dôkazy pre násilie a znepokojujúce udalosti. Dataset bezpečných činností testuje, či systém bez problémov povolí bežné klipy s činnosťami.
Vďaka tomu sa výsledky ľahšie čítajú a ťažšie zneužívajú: každý riadok uvádza výkon Ray Guardian v rámci pôvodného rozsahu označení daného datasetu.
| Dataset | Rozsah Ray Guardian | Klipy | Presnosť | Precíznosť | Úplnosť | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Bozkávanie / intimita | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Násilie / znepokojujúci obsah | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Násilie / znepokojujúci obsah | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Anomália / znepokojujúci obsah | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Ochranný mechanizmus pre bezpečné činnosti | 330 | 100.000% | n/a | n/a | n/a |
Riadok UCF101 predstavuje ochranný test obsahujúci iba negatívne príklady: meria, či sú bežné bezpečné činnosti nesprávne blokované. V tomto teste Ray Guardian správne povolil všetkých 330 klipov s bezpečnými činnosťami.
Čo ukazujú matice zámen
Presnosť je hlavný údaj. Matica zámen ukazuje štruktúru rozhodnutí, ktoré za ním stoja.
Každá matica rozlišuje správne povolenia, falošné poplachy, nerozpoznané nebezpečné klipy a správne označené nebezpečné klipy. Je to dôležité, pretože bezpečnostný systém musí chrániť ľudí bez toho, aby bežné médiá prerušoval viac, než je nevyhnutné.
Nezávislé referenčné datasety
Ray Guardian vyhodnocujeme aj na nezávislých verejných a kontrolovane prístupných referenčných datasetoch. Tieto datasety sú užitočné, pretože ich označenia vytvorili iné tímy na iné účely a nie vždy sa dokonale zhodujú s kategóriami Ray Guardian.
Nasledujúca tabuľka uvádza každý výsledok na úrovni kategórie, ktorú daný dataset dokáže podporiť. Keď dataset testuje predmety súvisiace s alkoholom, uvádzame správanie pre alkohol. Keď testuje medicínske rany, uvádzame správanie pre explicitný medicínsky obsah alebo znepokojujúci obsah.
| Referenčný dataset | Rozsah Ray Guardian | Položky | Presnosť | Úplnosť | Poznámky |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Mapované kategórie bezpečnosti obrázkov | 32,248 označení | 94.266% | 75.779% | Nezávislý benchmark bezpečnosti s kontrolovaným prístupom |
| UnsafeBench train split | Mapované kategórie bezpečnosti obrázkov | 40,545 označení | 89.893% | 74.482% | Nezávislý benchmark bezpečnosti s kontrolovaným prístupom |
| SurgWound test split | Explicitný medicínsky obsah | 137 obrázkov | 86.861% | 100.000% | Kontrola citlivosti na medicínske rany |
| SurgWound test split | Znepokojujúci obsah | 137 obrázkov | 83.942% | 99.130% | Kontrola citlivosti na medicínske rany |
| Lower Limb and Feet Wound Dataset | Explicitný medicínsky obsah | 5,443 obrázkov | 65.185% | 98.958% | Referenčná kontrola v doméne rán |
| HOD Benchmark Dataset | Alkohol | 10,631 obrázkov | 97.667% | 87.095% | Benchmark objektov určený na výskumné použitie |
| HOD Benchmark Dataset | Fajčenie | 10,631 obrázkov | 98.222% | 93.391% | Benchmark objektov určený na výskumné použitie |
| HOD Benchmark Dataset | Zbrane | 10,631 obrázkov | 85.053% | 68.659% | Benchmark objektov určený na výskumné použitie |
| Open Images V7 selected validation subset | Zbrane | 460 riadkov | 81.957% | 87.234% | Referenčná kontrola označení objektov |
Tieto riadky ukazujú, ako sa Ray Guardian správa mimo benchmarku, pre ktorý bol vytvorený.
Prečo sa čísla líšia
Nižšie skóre vo verejnom referenčnom datasete nie je rozporom. Znamená to, že dataset kladie inú otázku.
Benchmark Ray Guardian s 13 kategóriami zisťuje, či systém rozpoznáva bezpečnostné kategórie používané v Ray. Nezávislé referenčné datasety zisťujú, čo sa stane, keď sa do tejto taxonómie namapujú externé označenia, externé metódy zberu a externé definície kategórií.
Skóre sa môžu meniť z jednoznačných dôvodov:
- Odlišné definície označení. Dataset môže označovať objekt, zatiaľ čo Ray Guardian posudzuje jeho význam z hľadiska bezpečnosti. Pohár vína, fľaša, nôž ani klinická rana nie sú samy osebe vždy nebezpečné.
- Hrubé označenia. Niektoré verejné bezpečnostné označenia spájajú viacero konceptov do jedného širokého označenia. Kategórie Ray Guardian sú konkrétnejšie.
- Chýbajúci kontext. Niektoré označenia závisia od titulku, zvuku, okolitej scény alebo ľudského úmyslu. Tieto testy merajú viditeľný obsah.
- Posun domény. Externé datasety obsahujú odlišné výrezy, rozlíšenia, generované obrázky, záznamy z dohľadových kamier, detailné zábery objektov a medicínske snímky.
- Odlišný návrh úlohy. Benchmarky rozpoznávania objektov sú užitočnými záťažovými testami, rozpoznávanie objektov však nie je totožné s moderovaním vizuálnej bezpečnosti.
Zosúladený benchmark ukazuje výkon v rámci produktovej taxonómie Ray Guardian. Referenčné datasety ukazujú, ako sa táto taxonómia prenáša na menej usporiadané externé dáta.
Ako čítať benchmark
Každé číslo čítajte na úrovni označení, z ktorých vychádza.
- Výsledok pre 13 kategórií meria úplnú taxonómiu bezpečnosti Ray Guardian na úrovni obrázkov.
- Riadky s videom merajú Ray Guardian na verejných označeniach videa dostupných v jednotlivých datasetoch.
- Riadky nezávislých referenčných datasetov merajú prenos do externých systémov označení, nie náhradu benchmarku produktovej taxonómie.
Ray Guardian je teraz jednotnou vrstvou vizuálnej bezpečnosti platformy Ray: jeden systém pre obrázky a klipy, vytvorený na zachytávanie citlivého obsahu a udržiavanie stabilných rozhodnutí pri prechode média zo snímky na snímku.
Zdrojové datasety
Sada benchmarkov uvádza zdroje datasetov vrátane HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound a HOD Benchmark Dataset.
