Nyt toistetaan · Vertailutestit
Ray Guardian julkistetaan: kuvien ja videoiden visuaalinen turvallisuus
Ray Guardian on Rayn yhtenäinen visuaalisen turvallisuuden järjestelmä, jota on vertailutestattu 13 kuvatasoisen turvallisuusluokan ja julkisesti merkittyjen videoaineistojen avulla.
Ray Guardianin esittely
Ray Guardian on Rayn visuaalisen turvallisuuden järjestelmä kuville ja videoille. Se tarkistaa visuaalisen median arkaluonteisen sisällön varalta ja palauttaa luokkakohtaisia signaaleja, joita Ray voi käyttää toistoon, luomiseen, moderointiin ja perheasetuksiin.
Olennainen asia on yksinkertainen: Ray Guardian on yksi järjestelmä. Still-kuvat ja videoleikkeet kulkevat eri mediapolkuja pitkin, mutta tuote saa yhden Guardian-päätöksen.
Kuvien osalta Ray Guardian arvioi koko turvallisuusluokituksen: alastomuus, seksuaalinen sisältö, väkivalta, graafinen väkivaltasisältö, aseet, huumeet, alkoholi, tupakointi, järkyttävä sisältö, suuteleminen / intiimi kanssakäyminen, itsensä vahingoittaminen, eläinrääkkäys ja graafinen lääketieteellinen sisältö.
Videoiden osalta Ray Guardian ottaa huomioon myös ajan. Yksittäinen kuva voi olla monitulkintainen, mutta leike voi näyttää toiminnan, aikomuksen ja asiayhteyden. Videopolku yhdistää kuvatason turvallisuustunnistuksen leiketason ajalliseen ymmärrykseen, jotta lopputulos kuvastaa sitä, mitä näytöllä näkyy ja mitä ajan kuluessa tapahtuu.
Tämän järjestelmän vertailutestasimme.
13 luokan visuaalisen turvallisuuden vertailutesti
Ray Guardian saavutti 100.000% oikeellisuuden Ray Guardianin 13 luokan erillään pidetyssä kuvavertailutestissä: 17,435 tunnettua merkintää, 0 virhettä.
Tämä vertailutesti vastaa lähimmin itse tuoteluokitusta: samat luokkamääritelmät, erillään pidetyt esimerkit ja Ray Guardianin visuaalisen turvallisuuden kaikkien luokkien kokonaisuus.
| Vertailutesti | Kattavuus | Kohteet | Oikeellisuus | Täsmällisyys | Saanti | F1 |
|---|---|---|---|---|---|---|
| Ray Guardianin erillään pidetty kuvatason vertailutesti | Kaikki Ray Guardianin 13 luokkaa | 17,435 labels | 100.000% | 100.000% | 100.000% | 100.000% |
Vertailutesti sisältää luokkia, jotka ovat todellisissa tuotteissa usein päällekkäisiä: seksuaalinen sisältö suhteessa alastomuuteen, graafinen väkivaltasisältö suhteessa graafiseen lääketieteelliseen sisältöön, aseet suhteessa väkivaltaan sekä järkyttävä sisältö suhteessa tavanomaiseen epämiellyttävään asiayhteyteen.
Julkisesti merkittyjen videoiden vertailutestikokonaisuus
Videovertailutestit mitataan suhteessa kunkin aineiston tosiasiallisesti tarjoamiin merkintöihin. Suutelemisen ja halaamisen erottava aineisto tarjoaa näyttöä suutelemisesta / intiimistä kanssakäymisestä. Väkivalta-aineisto tarjoaa näyttöä väkivallasta ja järkyttävistä tapahtumista. Turvallisen toiminnan aineisto testaa, päästetäänkö tavallista toimintaa sisältävät leikkeet asianmukaisesti läpi.
Tämä tekee tuloksista helpommin luettavia ja vaikeammin väärinkäytettäviä: jokainen rivi ilmoittaa Ray Guardianin suorituskyvyn kyseisen aineiston omien merkintöjen kattavuudessa.
| Aineisto | Ray Guardianin kattavuus | Leikkeet | Oikeellisuus | Täsmällisyys | Saanti | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Suuteleminen / intiimi kanssakäyminen | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Väkivalta / järkyttävä sisältö | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Väkivalta / järkyttävä sisältö | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Poikkeama / järkyttävä sisältö | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Turvallisen toiminnan suojaraja | 330 | 100.000% | n/a | n/a | n/a |
UCF101-rivi on vain negatiivisia esimerkkejä sisältävä suojaraja: se mittaa, estetäänkö tavallisia turvallisia toimintoja virheellisesti. Tässä testissä Ray Guardian salli oikein kaikki 330 turvallisen toiminnan leikettä.
Mitä sekaannusmatriisit osoittavat
Oikeellisuus on tärkein tunnusluku. Sekaannusmatriisi näyttää sen taustalla olevien päätösten rakenteen.
Kukin matriisi erottaa oikein sallitut leikkeet, väärät hälytykset, havaitsematta jääneet turvattomat leikkeet ja oikein merkityt turvattomat leikkeet. Tämä on tärkeää, koska turvallisuusjärjestelmän on suojeltava ihmisiä keskeyttämättä tavallisen median käyttöä enempää kuin on tarpeen.
Riippumattomat viiteaineistot
Arvioimme Ray Guardiania myös riippumattomilla julkisilla ja käyttöoikeudeltaan rajatuilla viiteaineistoilla. Nämä aineistot ovat hyödyllisiä, koska niiden merkinnät ovat muiden tiimien muita tavoitteita varten laatimia eivätkä ne aina vastaa täydellisesti Ray Guardianin luokkia.
Alla oleva taulukko ilmoittaa kunkin tuloksen aineiston tukemalla luokkatasolla. Kun aineisto testaa alkoholiesineitä, ilmoitamme alkoholiin liittyvän toiminnan. Kun se testaa lääketieteellisiä haavoja, ilmoitamme graafiseen lääketieteelliseen sisältöön tai järkyttävään sisältöön liittyvän toiminnan.
| Viiteaineisto | Ray Guardianin kattavuus | Kohteet | Oikeellisuus | Saanti | Huomautukset |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Kartoitetut kuvaturvallisuusluokat | 32,248 labels | 94.266% | 75.779% | Riippumaton käyttöoikeudeltaan rajattu turvallisuusvertailutesti |
| UnsafeBench train split | Kartoitetut kuvaturvallisuusluokat | 40,545 labels | 89.893% | 74.482% | Riippumaton käyttöoikeudeltaan rajattu turvallisuusvertailutesti |
| SurgWound test split | Graafinen lääketieteellinen sisältö | 137 images | 86.861% | 100.000% | Lääketieteellisten haavojen herkkyystarkistus |
| SurgWound test split | Järkyttävä sisältö | 137 images | 83.942% | 99.130% | Lääketieteellisten haavojen herkkyystarkistus |
| Lower Limb and Feet Wound Dataset | Graafinen lääketieteellinen sisältö | 5,443 images | 65.185% | 98.958% | Haava-aihealueen viitetarkistus |
| HOD Benchmark Dataset | Alkoholi | 10,631 images | 97.667% | 87.095% | Tutkimuskäyttöön tarkoitettu esinevertailutesti |
| HOD Benchmark Dataset | Tupakointi | 10,631 images | 98.222% | 93.391% | Tutkimuskäyttöön tarkoitettu esinevertailutesti |
| HOD Benchmark Dataset | Aseet | 10,631 images | 85.053% | 68.659% | Tutkimuskäyttöön tarkoitettu esinevertailutesti |
| Open Images V7 selected validation subset | Aseet | 460 rows | 81.957% | 87.234% | Esinemerkintöjen viitetarkistus |
Nämä rivit osoittavat, miten Ray Guardian toimii sen vertailutestin ulkopuolella, jota vasten se rakennettiin.
Miksi luvut eroavat toisistaan
Matalampi julkisen viiteaineiston tulos ei ole ristiriita. Se tarkoittaa, että aineisto esittää eri kysymyksen.
Ray Guardianin 13 luokan vertailutesti kysyy, tunnistaako järjestelmä Rayssa käytetyt turvallisuusluokat. Riippumattomat viiteaineistot kysyvät, mitä tapahtuu, kun ulkopuoliset merkinnät, ulkopuoliset keräysmenetelmät ja ulkopuoliset luokkamääritelmät kartoitetaan tähän luokitukseen.
Tulokset voivat muuttua yksinkertaisista syistä:
- Erilaiset merkintämääritelmät. Aineisto saattaa merkitä esineen, kun taas Ray Guardian arvioi turvallisuusmerkitystä. Viinilasi, pullo, veitsi tai kliininen haava ei aina ole itsessään turvaton.
- Karkeat merkinnät. Jotkin julkiset turvallisuusmerkinnät yhdistävät useita käsitteitä yhdeksi laajaksi merkinnäksi. Ray Guardianin luokat ovat täsmällisempiä.
- Puutteet asiayhteydessä. Jotkin merkinnät riippuvat kuvatekstistä, äänestä, ympäröivästä kohtauksesta tai ihmisen aikomuksesta. Nämä testit mittaavat näkyvää sisältöä.
- Aihealueen siirtymä. Ulkoiset aineistot sisältävät erilaisia rajauksia, resoluutioita, luotuja kuvia, valvontakameramateriaalia, esineiden lähikuvia ja lääketieteellistä kuvastoa.
- Erilainen tehtäväsuunnittelu. Esineentunnistuksen vertailutestit ovat hyödyllisiä rasitustestejä, mutta esineentunnistus ei ole sama asia kuin visuaalisen turvallisuuden moderointi.
Yhdenmukaistettu vertailutesti osoittaa suorituskyvyn Ray Guardianin tuoteluokituksessa. Viiteaineistot osoittavat, miten tämä luokitus siirtyy sotkuisempaan ulkopuoliseen dataan.
Vertailutestin lukeminen
Lue jokainen luku sen taustalla olevien merkintöjen tasolla.
- 13 luokan tulos mittaa Ray Guardianin koko kuvatason turvallisuusluokitusta.
- Videorivit mittaavat Ray Guardiania kussakin aineistossa saatavilla olevien julkisten videomerkintöjen perusteella.
- Riippumattomien viiteaineistojen rivit mittaavat siirtymistä ulkopuolisiin merkintäjärjestelmiin eivätkä korvaa tuoteluokituksen vertailutestiä.
Ray Guardian on nyt Rayn yhtenäinen visuaalisen turvallisuuden kerros: yksi järjestelmä kuville ja leikkeille, joka on rakennettu havaitsemaan arkaluonteinen sisältö ja pitämään päätökset vakaina median edetessä kuvasta toiseen.
Lähdeaineistot
Vertailutestikokonaisuus viittaa aineistolähteisiin, joihin kuuluvat HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound ja HOD Benchmark Dataset.
