Qed jindaqq issa · Parametri Referenzjarji
Inħabbru Ray Guardian: Sikurezza Viżiva għall-Immaġnijiet u l-Vidjow
Ray Guardian hija s-sistema unifikata ta’ sikurezza viżiva ta’ Ray, evalwata fuq 13-il kategorija ta’ sikurezza fil-livell tal-immaġni u settijiet ta’ data tal-vidjow b’tikketti pubbliċi.
Nintroduċu Ray Guardian
Ray Guardian hija s-sistema ta’ sikurezza viżiva ta’ Ray għall-immaġnijiet u l-vidjow. Tirrieżamina l-midja viżiva għal kontenut sensittiv u tirritorna sinjali tal-kategoriji li Ray jista’ juża għad-daqq, il-ħolqien, il-moderazzjoni u l-konfigurazzjonijiet tal-familja.
Il-parti importanti hija sempliċi: Ray Guardian hija sistema waħda. Immaġnijiet statiċi u klipps tal-vidjow jidħlu minn mogħdijiet differenti tal-midja, iżda l-prodott jirċievi deċiżjoni waħda ta’ Guardian.
Għall-immaġnijiet, Ray Guardian tevalwa t-tassonomija sħiħa tas-sikurezza: nudità, kontenut sesswali, vjolenza, kontenut makabru, armi, drogi, alkoħol, tipjip, kontenut inkwetanti, bews / intimità, awtokorriment, moħqrija tal-annimali, u kontenut mediku makabru.
Għall-vidjow, Ray Guardian iżżid id-dimensjoni taż-żmien. Frejm wieħed jista’ jkun ambigwu; klipp jista’ juri azzjoni, intenzjoni u kuntest. Il-mogħdija tal-vidjow tgħaqqad ir-rikonoxximent tas-sikurezza fil-livell tal-frejm mal-fehim temporali fil-livell tal-klipp sabiex ir-riżultat finali jirrifletti dak li jidher fuq l-iskrin u dak li jkun qed jiġri maż-żmien.
Din hija s-sistema li evalwajna.
Parametru referenzjarju tas-sikurezza viżiva bi 13-il kategorija
Ray Guardian laħqet akkuratezza ta’ 100.000% fuq il-parametru referenzjarju miżmum barra ta’ Ray Guardian għall-immaġnijiet bi 13-il kategorija: 17,435 tikketta magħrufa, 0 żbalji.
Dan il-parametru referenzjarju huwa l-eqreb għat-tassonomija tal-prodott innifsu: l-istess definizzjonijiet tal-kategoriji, eżempji miżmuma barra, u s-sett sħiħ tal-kategoriji ta’ sikurezza viżiva ta’ Ray Guardian.
| Parametru referenzjarju | Ambitu | Elementi | Akkuratezza | Preċiżjoni | Irkupru | F1 |
|---|---|---|---|---|---|---|
| Parametru referenzjarju miżmum barra ta’ Ray Guardian fil-livell tal-immaġni | It-13-il kategorija kollha ta’ Ray Guardian | 17,435 labels | 100.000% | 100.000% | 100.000% | 100.000% |
Il-parametru referenzjarju jinkludi kategoriji li spiss jirkbu fuq xulxin fi prodotti reali: kontenut sesswali kontra nudità, kontenut makabru kontra kontenut mediku makabru, armi kontra vjolenza, u kontenut inkwetanti kontra kuntest ordinarju mhux pjaċevoli.
Sett ta’ parametri referenzjarji tal-vidjow b’tikketti pubbliċi
Il-parametri referenzjarji tal-vidjow jitkejlu skont it-tikketti li kull sett ta’ data jipprovdi fil-fatt. Sett ta’ data ta’ bews kontra tgħanniq jappoġġa evidenza ta’ bews / intimità. Sett ta’ data dwar il-vjolenza jappoġġa evidenza ta’ vjolenza u avvenimenti inkwetanti. Sett ta’ data ta’ azzjonijiet sikuri jittestja jekk klipps ta’ azzjonijiet ordinarji jitħallewx jgħaddu mingħajr problemi.
Dan jagħmel ir-riżultati aktar faċli biex jinqraw u aktar diffiċli biex jintużaw ħażin: kull ringiela tirrapporta r-rendiment ta’ Ray Guardian fl-ambitu nattiv tat-tikketti ta’ dak is-sett ta’ data.
| Sett ta’ data | Ambitu ta’ Ray Guardian | Klipps | Akkuratezza | Preċiżjoni | Irkupru | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Bews kontra Tgħanniq | Bews / Intimità | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Tikketti Pubbliċi | Vjolenza / Kontenut inkwetanti | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Tikketti Mmappjati | Vjolenza / Kontenut inkwetanti | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Anomalija Wiesgħa | Anomalija / Kontenut inkwetanti | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Sett miżmum barra ta’ Azzjonijiet Sikuri | Protezzjoni għall-azzjonijiet sikuri | 330 | 100.000% | n/a | n/a | n/a |
Ir-ringiela ta’ UCF101 hija protezzjoni b’eżempji negattivi biss: tkejjel jekk azzjonijiet ordinarji u sikuri jiġux imblukkati bi żball. F’dak it-test, Ray Guardian ippermettiet b’mod korrett it-330 klipp kollha ta’ azzjonijiet sikuri.
Dak li juru l-matriċijiet tal-konfużjoni
L-akkuratezza hija n-numru ewlieni. Matriċi tal-konfużjoni turi l-għamla tad-deċiżjonijiet warajha.
Kull matriċi tissepara l-permessi korretti, l-allarmi foloz, il-klipps mhux sikuri li ma nqabdux, u l-klipps mhux sikuri mmarkati b’mod korrett. Dan huwa importanti għaliex sistema ta’ sikurezza trid tipproteġi lin-nies mingħajr ma tinterrompi l-midja ordinarja aktar milli meħtieġ.
Settijiet ta’ data ta’ referenza indipendenti
Aħna nevalwaw ukoll lil Ray Guardian fuq settijiet ta’ data ta’ referenza pubbliċi u b’aċċess ristrett. Dawn is-settijiet ta’ data huma utli għaliex it-tikketti tagħhom inkitbu minn timijiet oħra, għal għanijiet oħra, u mhux dejjem jaqblu perfettament mal-kategoriji ta’ Ray Guardian.
It-tabella ta’ hawn taħt tirrapporta kull riżultat fil-livell tal-kategorija li s-sett ta’ data jista’ jappoġġa. Meta sett ta’ data jittestja oġġetti relatati mal-alkoħol, nirrapportaw ir-rendiment għall-alkoħol. Meta jittestja feriti mediċi, nirrapportaw ir-rendiment għall-kontenut mediku makabru jew għall-kontenut inkwetanti.
| Sett ta’ data ta’ referenza | Ambitu ta’ Ray Guardian | Elementi | Akkuratezza | Irkupru | Noti |
|---|---|---|---|---|---|
| HoliSafe-Bench qasma tat-test | Kategoriji mmappjati tas-sikurezza tal-immaġnijiet | 32,248 labels | 94.266% | 75.779% | Parametru referenzjarju indipendenti tas-sikurezza b’aċċess ristrett |
| UnsafeBench qasma tat-taħriġ | Kategoriji mmappjati tas-sikurezza tal-immaġnijiet | 40,545 labels | 89.893% | 74.482% | Parametru referenzjarju indipendenti tas-sikurezza b’aċċess ristrett |
| SurgWound qasma tat-test | Kontenut mediku makabru | 137 images | 86.861% | 100.000% | Verifika tas-sensittività għal feriti mediċi |
| SurgWound qasma tat-test | Kontenut inkwetanti | 137 images | 83.942% | 99.130% | Verifika tas-sensittività għal feriti mediċi |
| Lower Limb and Feet Wound Dataset | Kontenut mediku makabru | 5,443 images | 65.185% | 98.958% | Verifika ta’ referenza fid-dominju tal-feriti |
| HOD Benchmark Dataset | Alkoħol | 10,631 images | 97.667% | 87.095% | Parametru referenzjarju tal-oġġetti għall-użu fir-riċerka |
| HOD Benchmark Dataset | Tipjip | 10,631 images | 98.222% | 93.391% | Parametru referenzjarju tal-oġġetti għall-użu fir-riċerka |
| HOD Benchmark Dataset | Armi | 10,631 images | 85.053% | 68.659% | Parametru referenzjarju tal-oġġetti għall-użu fir-riċerka |
| Open Images V7 subsett magħżul tal-validazzjoni | Armi | 460 rows | 81.957% | 87.234% | Verifika ta’ referenza tat-tikketti tal-oġġetti |
Dawn ir-ringieli juru kif Ray Guardian taħdem lil hinn mill-parametru referenzjarju li nbniet għalih.
Għaliex in-numri jvarjaw
Punteġġ aktar baxx fuq referenza pubblika mhuwiex kontradizzjoni. Ifisser li s-sett ta’ data qed jistaqsi mistoqsija differenti.
Il-parametru referenzjarju bi 13-il kategorija ta’ Ray Guardian jistaqsi jekk is-sistema tagħrafx il-kategoriji tas-sikurezza użati f’Ray. Is-settijiet ta’ data ta’ referenza indipendenti jistaqsu x’jiġri meta tikketti esterni, metodi esterni ta’ ġbir u definizzjonijiet esterni tal-kategoriji jiġu mmappjati f’dik it-tassonomija.
Il-punteġġi jistgħu jinbidlu għal raġunijiet ċari:
- Definizzjonijiet differenti tat-tikketti. Sett ta’ data jista’ jimmarka oġġett filwaqt li Ray Guardian tkun qed tiġġudika t-tifsira tiegħu għas-sikurezza. Tazza tal-inbid, flixkun, sikkina jew ferita klinika mhux dejjem ikunu mhux sikuri waħedhom.
- Tikketti ġenerali. Xi tikketti pubbliċi tas-sikurezza jgħaqqdu diversi kunċetti f’tikketta wiesgħa waħda. Il-kategoriji ta’ Ray Guardian huma aktar speċifiċi.
- Nuqqasijiet fil-kuntest. Xi tikketti jiddependu fuq test ta’ akkumpanjament, awdjo, ix-xena tal-madwar jew l-intenzjoni umana. Dawn it-testijiet ikejlu l-kontenut viżibbli.
- Bidla fid-dominju. Settijiet ta’ data esterni jinkludu qtugħ, riżoluzzjonijiet, immaġnijiet iġġenerati, filmati ta’ sorveljanza, dehriet mill-qrib ta’ oġġetti u xbihat mediċi differenti.
- Disinn differenti tal-kompitu. Il-parametri referenzjarji tar-rikonoxximent tal-oġġetti huma testijiet tal-istress utli, iżda r-rikonoxximent tal-oġġetti mhuwiex identiku għall-moderazzjoni tas-sikurezza viżiva.
Il-parametru referenzjarju allinjat juri r-rendiment fuq it-tassonomija tal-prodott ta’ Ray Guardian. Is-settijiet ta’ data ta’ referenza juru kif dik it-tassonomija tiġi ttrasferita għal data esterna aktar imħarbta.
Kif taqra l-parametru referenzjarju
Aqra kull numru fil-livell tat-tikketti warajh.
- Ir-riżultat bi 13-il kategorija jkejjel it-tassonomija sħiħa tas-sikurezza ta’ Ray Guardian fil-livell tal-immaġni.
- Ir-ringieli tal-vidjow ikejlu lil Ray Guardian fuq it-tikketti pubbliċi tal-vidjow disponibbli f’kull sett ta’ data.
- Ir-ringieli ta’ referenza indipendenti jkejlu t-trasferiment lejn sistemi esterni ta’ tikketti, mhux sostitut għall-parametru referenzjarju tat-tassonomija tal-prodott.
Ray Guardian issa hija s-saff unifikat ta’ sikurezza viżiva ta’ Ray: sistema waħda għall-immaġnijiet u l-klipps, mibnija biex taqbad kontenut sensittiv u żżomm id-deċiżjonijiet stabbli hekk kif il-midja timxi minn frejm għal frejm.
Settijiet ta’ data tas-sors
Is-sett ta’ parametri referenzjarji jiċċita sorsi ta’ settijiet ta’ data fosthom HMDB51 permezz ta’ FiftyOne, XD-Violence, UCF-Crime, UCF101 permezz ta’ FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound, u HOD Benchmark Dataset.
