Most játszott · Benchmarkok
A Ray Guardian bejelentése: vizuális biztonság képekhez és videókhoz
A Ray Guardian a Ray egységes vizuális biztonsági rendszere, amelyet 13 képszintű biztonsági kategórián és nyilvánosan címkézett videó-adatkészleteken mértek fel.
A Ray Guardian bemutatása
A Ray Guardian a Ray képekhez és videókhoz készült vizuális biztonsági rendszere. Érzékeny tartalmak szempontjából vizsgálja a vizuális médiát, és olyan kategóriajelzéseket ad vissza, amelyeket a Ray felhasználhat lejátszáshoz, létrehozáshoz, moderáláshoz és családi beállításokhoz.
A lényeg egyszerű: a Ray Guardian egyetlen rendszer. Az állóképek és videóklipek különböző médiaútvonalakon érkeznek, de a termék egyetlen Ray Guardian-döntést kap.
Képeknél a Ray Guardian a teljes biztonsági taxonómiát értékeli: meztelenség, szexuális tartalom, erőszak, véres tartalom, fegyverek, kábítószerek, alkohol, dohányzás, felkavaró tartalom, csókolózás / intimitás, önkárosítás, állatkínzás és orvosi véres tartalom.
Videóknál a Ray Guardian az idő dimenzióját is hozzáadja. Egyetlen képkocka félreérthető lehet; egy klip cselekvést, szándékot és kontextust is megmutathat. A videóútvonal a képkockaszintű biztonsági felismerést klipszintű időbeli megértéssel ötvözi, így a végeredmény azt tükrözi, hogy mi jelenik meg a képernyőn, és mi történik az idő előrehaladtával.
Ezt a rendszert mértük fel.
13 kategóriás vizuális biztonsági benchmark
A Ray Guardian 100.000% pontosságot ért el a Ray Guardian 13 kategóriás, elkülönített képi benchmarkján: 17,435 ismert címke, 0 hiba.
Ez a benchmark áll a legközelebb magához a termék taxonómiájához: ugyanazok a kategóriadefiníciók, elkülönített példák és a Ray Guardian vizuális biztonsági kategóriáinak teljes készlete.
| Benchmark | Hatókör | Elemek | Pontosság | Precizitás | Visszahívás | F1 |
|---|---|---|---|---|---|---|
| A Ray Guardian elkülönített, képszintű benchmarkja | A Ray Guardian mind a 13 kategóriája | 17,435 címke | 100.000% | 100.000% | 100.000% | 100.000% |
A benchmark olyan kategóriákat is tartalmaz, amelyek a valós termékekben gyakran átfedik egymást: szexuális tartalom kontra meztelenség, véres tartalom kontra orvosi véres tartalom, fegyverek kontra erőszak, valamint felkavaró tartalom kontra hétköznapi kellemetlen kontextus.
Nyilvánosan címkézett videós benchmarkcsomag
A videós benchmarkokat az egyes adatkészletek által ténylegesen biztosított címkékhez viszonyítva mérjük. Egy csók kontra ölelés adatkészlet a csókolózás / intimitás bizonyítékait támogatja. Egy erőszak-adatkészlet az erőszakra és felkavaró eseményekre vonatkozó bizonyítékokat támogatja. Egy biztonságos cselekvéseket tartalmazó adatkészlet azt vizsgálja, hogy a hétköznapi cselekvéseket bemutató klipek akadálytalanul átjutnak-e.
Ez megkönnyíti az eredmények értelmezését, és megnehezíti a helytelen felhasználásukat: minden sor a Ray Guardian teljesítményét mutatja az adott adatkészlet saját címkéinek hatókörében.
| Adatkészlet | A Ray Guardian hatóköre | Klipek | Pontosság | Precizitás | Visszahívás | F1 |
|---|---|---|---|---|---|---|
| HMDB51 csók kontra ölelés | Csókolózás / intimitás | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence nyilvános címkék | Erőszak / felkavaró tartalom | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime leképezett címkék | Erőszak / felkavaró tartalom | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime tág anomáliakategória | Anomália / felkavaró tartalom | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 biztonságos cselekvések elkülönített készlete | Biztonságos cselekvések védőkorlátja | 330 | 100.000% | n/a | n/a | n/a |
Az UCF101 sora kizárólag negatív példákból álló védőkorlát: azt méri, hogy a rendszer helytelenül blokkolja-e a hétköznapi, biztonságos cselekvéseket. Ebben a tesztben a Ray Guardian mind a 330 biztonságos cselekvést tartalmazó klipet helyesen engedélyezte.
Mit mutatnak a konfúziós mátrixok
A fő mérőszám a pontosság. A konfúziós mátrix megmutatja a mögötte álló döntések szerkezetét.
Minden mátrix elkülöníti a helyes engedélyezéseket, a téves riasztásokat, a fel nem ismert nem biztonságos klipeket és a helyesen megjelölt nem biztonságos klipeket. Ez azért fontos, mert egy biztonsági rendszernek úgy kell védenie az embereket, hogy közben a szükségesnél ne szakítsa meg gyakrabban a hétköznapi médiatartalmakat.
Független referencia-adatkészletek
A Ray Guardian rendszert független, nyilvános és hozzáférés-korlátozott referencia-adatkészleteken is értékeljük. Ezek az adatkészletek azért hasznosak, mert címkéiket más csapatok, más célokra készítették, és azok nem mindig igazodnak tökéletesen a Ray Guardian kategóriáihoz.
Az alábbi táblázat minden eredményt azon a kategóriaszinten közöl, amelyet az adott adatkészlet támogatni képes. Ha egy adatkészlet alkoholhoz kapcsolódó tárgyakat tesztel, az alkohollal kapcsolatos viselkedést jelentjük. Ha orvosi sebeket tesztel, az orvosi véres tartalommal vagy felkavaró tartalommal kapcsolatos viselkedést jelentjük.
| Referencia-adatkészlet | A Ray Guardian hatóköre | Elemek | Pontosság | Visszahívás | Megjegyzések |
|---|---|---|---|---|---|
| HoliSafe-Bench tesztfelosztás | Leképezett képbiztonsági kategóriák | 32,248 címke | 94.266% | 75.779% | Független, hozzáférés-korlátozott biztonsági benchmark |
| UnsafeBench tanítási felosztás | Leképezett képbiztonsági kategóriák | 40,545 címke | 89.893% | 74.482% | Független, hozzáférés-korlátozott biztonsági benchmark |
| SurgWound tesztfelosztás | Orvosi véres tartalom | 137 kép | 86.861% | 100.000% | Orvosi sebekre vonatkozó érzékenységi ellenőrzés |
| SurgWound tesztfelosztás | Felkavaró tartalom | 137 kép | 83.942% | 99.130% | Orvosi sebekre vonatkozó érzékenységi ellenőrzés |
| Lower Limb and Feet Wound Dataset | Orvosi véres tartalom | 5,443 kép | 65.185% | 98.958% | Sebek tartományára vonatkozó referencia-ellenőrzés |
| HOD Benchmark Dataset | Alkohol | 10,631 kép | 97.667% | 87.095% | Kutatási célú objektum-benchmark |
| HOD Benchmark Dataset | Dohányzás | 10,631 kép | 98.222% | 93.391% | Kutatási célú objektum-benchmark |
| HOD Benchmark Dataset | Fegyverek | 10,631 kép | 85.053% | 68.659% | Kutatási célú objektum-benchmark |
| Open Images V7 kiválasztott validációs részhalmaz | Fegyverek | 460 sor | 81.957% | 87.234% | Objektumcímkékre vonatkozó referencia-ellenőrzés |
Ezek a sorok azt mutatják meg, hogyan viselkedik a Ray Guardian azon a benchmarkon túl, amelyhez kifejlesztették.
Miért térnek el a számok
Az alacsonyabb nyilvános referenciaeredmény nem ellentmondás. Azt jelenti, hogy az adatkészlet más kérdést tesz fel.
A Ray Guardian 13 kategóriás benchmarkja azt vizsgálja, hogy a rendszer felismeri-e a Ray által használt biztonsági kategóriákat. A független referencia-adatkészletek azt vizsgálják, mi történik, amikor külső címkéket, külső adatgyűjtési módszereket és külső kategóriadefiníciókat képeznek le erre a taxonómiára.
Az eredmények egyszerű okokból változhatnak:
- Eltérő címkedefiníciók. Egy adatkészlet megcímkézhet egy tárgyat, miközben a Ray Guardian annak biztonsági jelentését értékeli. Egy borospohár, palack, kés vagy klinikai seb önmagában nem mindig nem biztonságos.
- Durva felbontású címkék. Egyes nyilvános biztonsági címkék több fogalmat egyetlen tág címkében egyesítenek. A Ray Guardian kategóriái specifikusabbak.
- Kontextushiányok. Egyes címkék felirattól, hangtól, a környező jelenettől vagy az emberi szándéktól függenek. Ezek a tesztek a látható tartalmat mérik.
- Tartományeltolódás. A külső adatkészletek eltérő kivágásokat, felbontásokat, generált képeket, megfigyelőkamerás felvételeket, tárgyközelképeket és orvosi képeket tartalmaznak.
- Eltérő feladattervezés. Az objektumfelismerési benchmarkok hasznos stressztesztek, de az objektumfelismerés nem azonos a vizuális biztonsági moderálással.
Az összehangolt benchmark a Ray Guardian terméktaxonómiáján nyújtott teljesítményt mutatja. A referencia-adatkészletek azt mutatják meg, hogyan vihető át ez a taxonómia rendezetlenebb külső adatokra.
A benchmark értelmezése
Minden számot az alapjául szolgáló címkék szintjén kell értelmezni.
- A 13 kategóriás eredmény a Ray Guardian teljes, képszintű biztonsági taxonómiáját méri.
- A videósorok a Ray Guardian teljesítményét mérik az egyes adatkészletekben elérhető nyilvános videocímkéken.
- A független referenciasorok a külső címkerendszerekre történő átvitelt mérik, nem pedig a terméktaxonómia benchmarkjának helyettesítői.
A Ray Guardian mostantól a Ray egységes vizuális biztonsági rétege: egyetlen rendszer képekhez és klipekhez, amelyet az érzékeny tartalom felismerésére és a döntések stabilitásának fenntartására terveztek, miközben a média képkockáról képkockára halad.
Forrásadatkészletek
A benchmarkcsomag által hivatkozott adatforrások közé tartozik a HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound és HOD Benchmark Dataset.
