Praegu esitatakse · Võrdlustestid
Tutvustame Ray Guardiani: piltide ja videote visuaalne ohutus
Ray Guardian on Ray ühtne visuaalse ohutuse süsteem, mida on võrdlustestitud 13 pilditaseme ohutuskategooria ja avalike märgenditega videoandmestike põhjal.
Ray Guardiani tutvustus
Ray Guardian on Ray visuaalse ohutuse süsteem piltide ja videote jaoks. See kontrollib visuaalmeediat tundliku sisu suhtes ning tagastab kategooriasignaalid, mida Ray saab kasutada taasesituse, loomise, modereerimise ja pereseadete jaoks.
Oluline on lihtne: Ray Guardian on üks süsteem. Staatilised pildid ja videoklipid sisenevad eri meediakanalite kaudu, kuid toode saab ühe Guardiani otsuse.
Piltide puhul hindab Ray Guardian kogu ohutustaksonoomiat: alastus, seksuaalne sisu, vägivald, verine sisu, relvad, uimastid, alkohol, suitsetamine, häiriv sisu, suudlemine / intiimsus, enesevigastamine, loomade väärkohtlemine ja meditsiiniline verine sisu.
Video puhul lisab Ray Guardian ajamõõtme. Üks kaader võib olla mitmetähenduslik; klipp võib näidata tegevust, kavatsust ja konteksti. Videotöötlus ühendab kaadritaseme ohutustuvastuse klipitaseme ajalise mõistmisega, et lõpptulemus kajastaks nii ekraanil nähtavat kui ka aja jooksul toimuvat.
Seda süsteemi me võrdlustestisimegi.
13 kategooriaga visuaalse ohutuse võrdlustest
Ray Guardian saavutas Ray Guardiani 13 kategooriaga eraldatud pildivõrdlustestis 100.000% täpsuse: 17,435 teadaolevat märgendit, 0 viga.
See võrdlustest vastab kõige täpsemalt toote enda taksonoomiale: samad kategooriamääratlused, eraldatud näited ja Ray Guardiani visuaalse ohutuse kategooriate täielik komplekt.
| Võrdlustest | Ulatus | Üksused | Täpsus | Positiivse ennustuse täpsus | Tundlikkus | F1 |
|---|---|---|---|---|---|---|
| Ray Guardiani eraldatud pilditaseme võrdlustest | Kõik Ray Guardiani 13 kategooriat | 17,435 märgendit | 100.000% | 100.000% | 100.000% | 100.000% |
Võrdlustest hõlmab kategooriaid, mis päristoodetes sageli kattuvad: seksuaalne sisu ja alastus, verine sisu ja meditsiiniline verine sisu, relvad ja vägivald ning häiriv sisu ja tavapärane ebameeldiv kontekst.
Avalike märgenditega videovõrdlustestide komplekt
Videovõrdlusteste mõõdetakse nende märgendite põhjal, mida iga andmestik tegelikult sisaldab. Suudlust ja kallistust eristav andmestik pakub tõendusmaterjali suudlemise / intiimsuse kohta. Vägivallaandmestik pakub tõendusmaterjali vägivalla ja häirivate sündmuste kohta. Ohutute tegevuste andmestik kontrollib, kas tavapärased tegevusklipid lubatakse korrektselt läbi.
See muudab tulemused lihtsamini loetavaks ja raskemini väärkasutatavaks: iga rida kajastab Ray Guardiani toimivust vastava andmestiku algsete märgendite ulatuses.
| Andmestik | Ray Guardiani ulatus | Klipid | Täpsus | Positiivse ennustuse täpsus | Tundlikkus | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Suudlemine / intiimsus | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Vägivald / häiriv sisu | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Vägivald / häiriv sisu | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Kõrvalekalle / häiriv sisu | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Ohutute tegevuste kaitsepiire | 330 | 100.000% | ei kohaldu | ei kohaldu | ei kohaldu |
UCF101 rida on ainult negatiivsetest näidetest koosnev kaitsepiire: see mõõdab, kas tavapäraseid ohutuid tegevusi blokeeritakse ekslikult. Selles testis lubas Ray Guardian korrektselt läbi kõik 330 ohutu tegevuse klippi.
Mida segadusmaatriksid näitavad
Täpsus on peamine näitaja. Segadusmaatriks näitab selle taga olevate otsuste jaotust.
Iga maatriks eristab õigesti lubatud klippe, valehäireid, tuvastamata jäänud ohtlikke klippe ja õigesti märgistatud ohtlikke klippe. See on oluline, sest ohutussüsteem peab inimesi kaitsma, häirimata samal ajal tavapärase meedia kasutamist rohkem kui vaja.
Sõltumatud võrdlusandmestikud
Hindame Ray Guardiani ka sõltumatute avalike ja piiratud juurdepääsuga võrdlusandmestike põhjal. Need andmestikud on kasulikud, sest nende märgendid koostasid teised meeskonnad teistel eesmärkidel ning need ei vasta alati täpselt Ray Guardiani kategooriatele.
Allolevas tabelis esitatakse iga tulemus kategooriatasemel, mida vastav andmestik toetab. Kui andmestik testib alkoholiga seotud esemeid, esitame tulemuse alkoholi kohta. Kui see testib meditsiinilisi haavu, esitame tulemuse meditsiinilise verise sisu või häiriva sisu kohta.
| Võrdlusandmestik | Ray Guardiani ulatus | Üksused | Täpsus | Tundlikkus | Märkused |
|---|---|---|---|---|---|
| HoliSafe-Bench testijaotus | Vastendatud pildiohutuse kategooriad | 32,248 märgendit | 94.266% | 75.779% | Sõltumatu piiratud juurdepääsuga ohutuse võrdlustest |
| UnsafeBench treeningjaotus | Vastendatud pildiohutuse kategooriad | 40,545 märgendit | 89.893% | 74.482% | Sõltumatu piiratud juurdepääsuga ohutuse võrdlustest |
| SurgWound testijaotus | Meditsiiniline verine sisu | 137 pilti | 86.861% | 100.000% | Meditsiiniliste haavade tundlikkuse kontroll |
| SurgWound testijaotus | Häiriv sisu | 137 pilti | 83.942% | 99.130% | Meditsiiniliste haavade tundlikkuse kontroll |
| Lower Limb and Feet Wound Dataset | Meditsiiniline verine sisu | 5,443 pilti | 65.185% | 98.958% | Haavavaldkonna võrdluskontroll |
| HOD Benchmark Dataset | Alkohol | 10,631 pilti | 97.667% | 87.095% | Teaduskasutuseks mõeldud objektide võrdlustest |
| HOD Benchmark Dataset | Suitsetamine | 10,631 pilti | 98.222% | 93.391% | Teaduskasutuseks mõeldud objektide võrdlustest |
| HOD Benchmark Dataset | Relvad | 10,631 pilti | 85.053% | 68.659% | Teaduskasutuseks mõeldud objektide võrdlustest |
| Open Images V7 valitud valideerimisalamhulk | Relvad | 460 rida | 81.957% | 87.234% | Objektimärgendite võrdluskontroll |
Need read näitavad, kuidas Ray Guardian toimib väljaspool võrdlustesti, mille järgi see loodi.
Miks näitajad erinevad
Madalam avaliku võrdlusandmestiku tulemus ei ole vastuolu. See tähendab, et andmestik esitab teistsuguse küsimuse.
Ray Guardiani 13 kategooriaga võrdlustest küsib, kas süsteem tunneb ära Rays kasutatavad ohutuskategooriad. Sõltumatud võrdlusandmestikud küsivad, mis juhtub siis, kui välised märgendid, välised kogumismeetodid ja välised kategooriamääratlused sellesse taksonoomiasse vastendatakse.
Tulemused võivad muutuda lihtsatel põhjustel:
- Erinevad märgendimääratlused. Andmestik võib märgendada objekti, samal ajal kui Ray Guardian hindab selle tähendust ohutuse seisukohast. Veiniklaas, pudel, nuga või kliiniline haav ei ole iseenesest alati ohtlik.
- Üldised märgendid. Mõni avalik ohutusmärgend ühendab mitu mõistet üheks laiaks märgendiks. Ray Guardiani kategooriad on täpsemad.
- Kontekstipuudujäägid. Mõni märgend sõltub pealdisest, helist, ümbritsevast stseenist või inimese kavatsusest. Need testid mõõdavad nähtavat sisu.
- Andmevaldkonna nihe. Välised andmestikud sisaldavad teistsuguseid kärpeid, lahutusvõimeid, genereeritud pilte, valvekaamera salvestisi, objektide lähivõtteid ja meditsiinilisi kujutisi.
- Erinev ülesandepüstitus. Objektituvastuse võrdlustestid on kasulikud koormustestid, kuid objektituvastus ei ole sama mis visuaalse ohutuse modereerimine.
Joondatud võrdlustest näitab toimivust Ray Guardiani tootetaksonoomia põhjal. Võrdlusandmestikud näitavad, kuidas see taksonoomia kandub üle keerukamatele välisandmetele.
Kuidas võrdlustesti lugeda
Lugege iga näitajat selle aluseks olevate märgendite tasandil.
- 13 kategooriaga tulemus mõõdab Ray Guardiani täielikku pilditaseme ohutustaksonoomiat.
- Videoread mõõdavad Ray Guardiani toimivust igas andmestikus saadaolevate avalike videomärgendite põhjal.
- Sõltumatute võrdlusandmestike read mõõdavad ülekanduvust välistesse märgendisüsteemidesse ega asenda tootetaksonoomia võrdlustesti.
Ray Guardian on nüüd Ray ühtne visuaalse ohutuse kiht: üks süsteem piltide ja klippide jaoks, mis on loodud tundliku sisu tuvastamiseks ning otsuste stabiilsena hoidmiseks meedia liikumisel kaadrist kaadrisse.
Lähteandmestikud
Võrdlustestide komplekt viitab muu hulgas järgmistele andmestikuallikatele: HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound ja HOD Benchmark Dataset.
