Dabar leidžiama · Etaloniniai testai
Pristatome Ray Guardian: vaizdinio turinio sauga vaizdams ir vaizdo įrašams
Ray Guardian yra suvienyta „Ray“ vaizdinio turinio saugos sistema, įvertinta pagal 13 vaizdų lygmens saugos kategorijų ir viešai pažymėtų vaizdo įrašų duomenų rinkinius.
Pristatome Ray Guardian
Ray Guardian yra „Ray“ vaizdams ir vaizdo įrašams skirta vaizdinio turinio saugos sistema. Ji tikrina vaizdinę mediją dėl jautraus turinio ir pateikia kategorijų signalus, kuriuos „Ray“ gali naudoti atkūrimui, kūrimui, moderavimui ir šeimos nustatymams.
Svarbiausia yra paprasta: Ray Guardian yra viena sistema. Nejudantys vaizdai ir vaizdo įrašų klipai patenka per skirtingus medijos apdorojimo kelius, tačiau produktas gauna vieną Guardian sprendimą.
Vaizdams Ray Guardian vertina visą saugos taksonomiją: nuogumą, seksualinį turinį, smurtą, kruviną turinį, ginklus, narkotikus, alkoholį, rūkymą, trikdantį turinį, bučiavimąsi / intymumą, savęs žalojimą, žiaurų elgesį su gyvūnais ir medicininį kruviną turinį.
Vaizdo įrašams Ray Guardian prideda laiko aspektą. Atskiras kadras gali būti dviprasmiškas; klipe gali būti matomas veiksmas, ketinimas ir kontekstas. Vaizdo įrašų apdorojimo kelias sujungia kadrų lygmens saugos atpažinimą su klipo lygmens laiko tėkmės supratimu, kad galutinis rezultatas atspindėtų, kas rodoma ekrane ir kas vyksta laikui bėgant.
Būtent šią sistemą įvertinome.
13 kategorijų vaizdinio turinio saugos etaloninis testas
Ray Guardian pasiekė 100.000% tikslumą Ray Guardian 13 kategorijų atskirtame vaizdų etaloniniame teste: 17,435 žinomos žymos, 0 klaidų.
Šis etaloninis testas labiausiai atitinka paties produkto taksonomiją: tos pačios kategorijų apibrėžtys, atskirti pavyzdžiai ir visas Ray Guardian vaizdinio turinio saugos kategorijų rinkinys.
| Etaloninis testas | Apimtis | Elementai | Tikslumas | Preciziškumas | Jautrumas | F1 |
|---|---|---|---|---|---|---|
| Ray Guardian atskirtas vaizdų lygmens etaloninis testas | Visos 13 Ray Guardian kategorijų | 17,435 žymos | 100.000% | 100.000% | 100.000% | 100.000% |
Etaloninis testas apima kategorijas, kurios realiuose produktuose dažnai persidengia: seksualinis turinys ir nuogumas, kruvinas turinys ir medicininis kruvinas turinys, ginklai ir smurtas bei trikdantis turinys ir įprastas nemalonus kontekstas.
Viešai pažymėtų vaizdo įrašų etaloninių testų rinkinys
Vaizdo įrašų etaloniniai testai vertinami pagal žymas, kurias iš tiesų pateikia kiekvienas duomenų rinkinys. Bučinio ir apkabinimo duomenų rinkinys pateikia bučiavimosi / intymumo įrodymų. Smurto duomenų rinkinys pateikia smurto ir trikdančių įvykių įrodymų. Saugių veiksmų duomenų rinkinys tikrina, ar įprastų veiksmų klipai tinkamai praleidžiami.
Dėl to rezultatus lengviau suprasti ir sunkiau netinkamai interpretuoti: kiekvienoje eilutėje nurodomi Ray Guardian rezultatai pagal to duomenų rinkinio pirminę žymų apimtį.
| Duomenų rinkinys | Ray Guardian apimtis | Klipai | Tikslumas | Preciziškumas | Jautrumas | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Bučiavimasis / intymumas | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Smurtas / trikdantis turinys | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Smurtas / trikdantis turinys | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Anomalija / trikdantis turinys | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Saugių veiksmų apsaugos kriterijus | 330 | 100.000% | n/a | n/a | n/a |
UCF101 eilutė yra tik neigiamų pavyzdžių apsaugos kriterijus: ja vertinama, ar įprasti saugūs veiksmai nėra klaidingai blokuojami. Šiame teste Ray Guardian tinkamai praleido visus 330 saugių veiksmų klipus.
Ką rodo klaidų matricos
Tikslumas yra pagrindinis rodiklis. Klaidų matrica parodo jį lemiančių sprendimų struktūrą.
Kiekvienoje matricoje atskiriami teisingai praleisti klipai, klaidingi pavojaus signalai, neaptikti nesaugūs klipai ir teisingai pažymėti nesaugūs klipai. Tai svarbu, nes saugos sistema turi apsaugoti žmones nepertraukdama įprastos medijos daugiau, nei būtina.
Nepriklausomi etaloniniai duomenų rinkiniai
Ray Guardian taip pat vertiname naudodami nepriklausomus viešus ir ribotos prieigos etaloninius duomenų rinkinius. Šie duomenų rinkiniai naudingi, nes jų žymas kūrė kitos komandos, siekdamos kitų tikslų, todėl jos ne visada tiksliai atitinka Ray Guardian kategorijas.
Toliau pateiktoje lentelėje kiekvienas rezultatas nurodomas tokiu kategorijos lygmeniu, kurį gali pagrįsti duomenų rinkinys. Kai duomenų rinkinys tikrina alkoholio objektus, pateikiame elgseną alkoholio kategorijoje. Kai jis tikrina medicinines žaizdas, pateikiame elgseną medicininio kruvino turinio arba trikdančio turinio kategorijoje.
| Etaloninis duomenų rinkinys | Ray Guardian apimtis | Elementai | Tikslumas | Jautrumas | Pastabos |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Susietos vaizdų saugos kategorijos | 32,248 žymos | 94.266% | 75.779% | Nepriklausomas ribotos prieigos saugos etaloninis testas |
| UnsafeBench train split | Susietos vaizdų saugos kategorijos | 40,545 žymos | 89.893% | 74.482% | Nepriklausomas ribotos prieigos saugos etaloninis testas |
| SurgWound test split | Medicininis kruvinas turinys | 137 vaizdai | 86.861% | 100.000% | Jautrumo medicininėms žaizdoms patikra |
| SurgWound test split | Trikdantis turinys | 137 vaizdai | 83.942% | 99.130% | Jautrumo medicininėms žaizdoms patikra |
| Lower Limb and Feet Wound Dataset | Medicininis kruvinas turinys | 5,443 vaizdai | 65.185% | 98.958% | Žaizdų srities etaloninė patikra |
| HOD Benchmark Dataset | Alkoholis | 10,631 vaizdas | 97.667% | 87.095% | Moksliniams tyrimams skirtas objektų etaloninis testas |
| HOD Benchmark Dataset | Rūkymas | 10,631 vaizdas | 98.222% | 93.391% | Moksliniams tyrimams skirtas objektų etaloninis testas |
| HOD Benchmark Dataset | Ginklai | 10,631 vaizdas | 85.053% | 68.659% | Moksliniams tyrimams skirtas objektų etaloninis testas |
| Open Images V7 selected validation subset | Ginklai | 460 eilučių | 81.957% | 87.234% | Objektų žymų etaloninė patikra |
Šios eilutės parodo, kaip Ray Guardian veikia už etaloninio testo, kuriam ji buvo sukurta, ribų.
Kodėl skaičiai skiriasi
Žemesnis viešo etaloninio duomenų rinkinio rezultatas nėra prieštaravimas. Tai reiškia, kad duomenų rinkinys kelia kitą klausimą.
13 kategorijų Ray Guardian etaloninis testas tikrina, ar sistema atpažįsta „Ray“ naudojamas saugos kategorijas. Nepriklausomi etaloniniai duomenų rinkiniai tikrina, kas nutinka, kai išorinės žymos, išoriniai rinkimo metodai ir išorinės kategorijų apibrėžtys susiejamos su šia taksonomija.
Rezultatai gali keistis dėl paprastų priežasčių:
- Skirtingos žymų apibrėžtys. Duomenų rinkinys gali žymėti objektą, o Ray Guardian vertina jo reikšmę saugai. Vyno taurė, butelis, peilis ar klinikinė žaizda savaime ne visada yra nesaugūs.
- Stambios žymos. Kai kurios viešos saugos žymos sujungia kelias sąvokas į vieną plačią žymą. Ray Guardian kategorijos yra konkretesnės.
- Konteksto spragos. Kai kurios žymos priklauso nuo antraštės, garso, aplinkinės scenos ar žmogaus ketinimų. Šiuose testuose vertinamas matomas turinys.
- Domeno poslinkis. Išoriniuose duomenų rinkiniuose yra skirtingai apkarpytų vaizdų, skyrų, sugeneruotų vaizdų, stebėjimo kamerų medžiagos, objektų stambių planų ir medicininių vaizdų.
- Skirtinga užduoties struktūra. Objektų atpažinimo etaloniniai testai yra naudingi atsparumo testai, tačiau objektų atpažinimas nėra tapatus vaizdinio turinio saugos moderavimui.
Suderintas etaloninis testas parodo rezultatus pagal Ray Guardian produkto taksonomiją. Etaloniniai duomenų rinkiniai parodo, kaip ši taksonomija perkeliama į mažiau tvarkingus išorinius duomenis.
Kaip interpretuoti etaloninį testą
Kiekvieną skaičių vertinkite pagal jį pagrindžiančių žymų lygmenį.
- 13 kategorijų rezultatas apima visą Ray Guardian vaizdų lygmens saugos taksonomiją.
- Vaizdo įrašų eilutėse Ray Guardian vertinama pagal kiekviename duomenų rinkinyje prieinamas viešas vaizdo įrašų žymas.
- Nepriklausomų etaloninių duomenų rinkinių eilutėse vertinamas perkėlimas į išorines žymų sistemas, o ne produkto taksonomijos etaloninio testo pakaitalas.
Ray Guardian dabar yra suvienytas „Ray“ vaizdinio turinio saugos sluoksnis: viena vaizdams ir klipams skirta sistema, sukurta jautriam turiniui aptikti ir sprendimų stabilumui išlaikyti medijai pereinant iš vieno kadro į kitą.
Šaltinių duomenų rinkiniai
Etaloninių testų rinkinyje nurodomi duomenų rinkinių šaltiniai, įskaitant HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound ir HOD Benchmark Dataset.
