Po luhet · Vlerësime krahasuese
Prezantojmë Ray Guardian: Siguri vizuale për imazhe dhe video
Ray Guardian është sistemi i unifikuar i sigurisë vizuale i Ray, i vlerësuar në 13 kategori sigurie në nivel imazhi dhe në grupe të dhënash video me etiketa publike.
Prezantimi i Ray Guardian
Ray Guardian është sistemi i sigurisë vizuale i Ray për imazhe dhe video. Ai shqyrton mediat vizuale për përmbajtje të ndjeshme dhe kthen sinjale kategorish që Ray mund t'i përdorë për luajtjen, krijimin, moderimin dhe cilësimet familjare.
Pjesa e rëndësishme është e thjeshtë: Ray Guardian është një sistem i vetëm. Imazhet statike dhe klipet video hyjnë përmes rrugëve të ndryshme të medias, por produkti merr një vendim të vetëm nga Guardian.
Për imazhet, Ray Guardian vlerëson taksonominë e plotë të sigurisë: lakuriqësinë, përmbajtjen seksuale, dhunën, përmbajtjen grafike me gjak dhe gjymtime, armët, drogat, alkoolin, pirjen e duhanit, përmbajtjen shqetësuese, puthjet / intimitetin, vetëdëmtimin, mizorinë ndaj kafshëve dhe përmbajtjen grafike mjekësore.
Për videot, Ray Guardian shton dimensionin kohor. Një kuadër i vetëm mund të jetë i paqartë; një klip mund të tregojë veprim, qëllim dhe kontekst. Rruga e videos kombinon njohjen e sigurisë në nivel kuadri me kuptimin kohor në nivel klipi, në mënyrë që rezultati përfundimtar të pasqyrojë atë që shfaqet në ekran dhe atë që ndodh me kalimin e kohës.
Ky është sistemi që vlerësuam.
Vlerësimi krahasues i sigurisë vizuale me 13 kategori
Ray Guardian arriti 100.000% saktësi në vlerësimin krahasues të rezervuar të imazheve me 13 kategori të Ray Guardian: 17,435 etiketa të njohura, 0 gabime.
Ky vlerësim krahasues është më i afërti me vetë taksonominë e produktit: të njëjtat përkufizime kategorish, shembuj të rezervuar dhe grupi i plotë i kategorive të sigurisë vizuale të Ray Guardian.
| Vlerësimi krahasues | Fusha | Elementet | Saktësia | Precizioni | Rikujtimi | F1 |
|---|---|---|---|---|---|---|
| Vlerësimi krahasues i rezervuar në nivel imazhi i Ray Guardian | Të gjitha 13 kategoritë e Ray Guardian | 17,435 etiketa | 100.000% | 100.000% | 100.000% | 100.000% |
Vlerësimi krahasues përfshin kategori që shpesh mbivendosen në produkte reale: përmbajtja seksuale kundrejt lakuriqësisë, përmbajtja grafike me gjak dhe gjymtime kundrejt përmbajtjes grafike mjekësore, armët kundrejt dhunës dhe përmbajtja shqetësuese kundrejt kontekstit të zakonshëm të pakëndshëm.
Paketa e vlerësimeve krahasuese të videove me etiketa publike
Vlerësimet krahasuese të videove maten kundrejt etiketave që secili grup të dhënash ofron realisht. Një grup të dhënash për puthje kundrejt përqafimeve mbështet prova për puthje / intimitet. Një grup të dhënash për dhunën mbështet prova për dhunë dhe ngjarje shqetësuese. Një grup të dhënash me veprime të sigurta teston nëse klipet me veprime të zakonshme lejohen të kalojnë pa pengesa.
Kjo i bën rezultatet më të lehta për t'u lexuar dhe më të vështira për t'u keqpërdorur: çdo rresht raporton performancën e Ray Guardian në fushën e etiketave vendëse të atij grupi të dhënash.
| Grupi i të dhënave | Fusha e Ray Guardian | Klipet | Saktësia | Precizioni | Rikujtimi | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Puthje / Intimitet | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Dhunë / Përmbajtje shqetësuese | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Dhunë / Përmbajtje shqetësuese | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Anomali / Përmbajtje shqetësuese | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Masë mbrojtëse për veprime të sigurta | 330 | 100.000% | n/a | n/a | n/a |
Rreshti UCF101 është një masë mbrojtëse vetëm me shembuj negativë: ai mat nëse veprimet e zakonshme të sigurta bllokohen gabimisht. Në atë test, Ray Guardian lejoi saktë të gjitha 330 klipet me veprime të sigurta.
Çfarë tregojnë matricat e konfuzionit
Saktësia është shifra kryesore. Një matricë konfuzioni tregon formën e vendimeve që qëndrojnë pas saj.
Çdo matricë ndan lejimet e sakta, alarmet e rreme, klipet e pasigurta të humbura dhe klipet e pasigurta të sinjalizuara saktë. Kjo ka rëndësi sepse një sistem sigurie duhet t'i mbrojë njerëzit pa ndërprerë mediat e zakonshme më shumë sesa është e nevojshme.
Grupet e pavarura të të dhënave të referencës
Ne gjithashtu e vlerësojmë Ray Guardian në grupe të pavarura, publike dhe me qasje të kufizuar të të dhënave të referencës. Këto grupe të dhënash janë të dobishme sepse etiketat e tyre janë shkruar nga ekipe të tjera, për qëllime të tjera, dhe jo gjithmonë përputhen në mënyrë të përsosur me kategoritë e Ray Guardian.
Tabela më poshtë raporton çdo rezultat në nivelin e kategorisë që grupi i të dhënave mund të mbështesë. Kur një grup të dhënash teston objekte që lidhen me alkoolin, ne raportojmë sjelljen për alkoolin. Kur teston plagë mjekësore, ne raportojmë sjelljen për përmbajtje grafike mjekësore ose përmbajtje shqetësuese.
| Grupi i të dhënave të referencës | Fusha e Ray Guardian | Elementet | Saktësia | Rikujtimi | Shënime |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Kategori të përcaktuara të sigurisë së imazheve | 32,248 etiketa | 94.266% | 75.779% | Vlerësim krahasues i pavarur i sigurisë me qasje të kufizuar |
| UnsafeBench train split | Kategori të përcaktuara të sigurisë së imazheve | 40,545 etiketa | 89.893% | 74.482% | Vlerësim krahasues i pavarur i sigurisë me qasje të kufizuar |
| SurgWound test split | Përmbajtje grafike mjekësore | 137 imazhe | 86.861% | 100.000% | Kontroll i ndjeshmërisë ndaj plagëve mjekësore |
| SurgWound test split | Përmbajtje shqetësuese | 137 imazhe | 83.942% | 99.130% | Kontroll i ndjeshmërisë ndaj plagëve mjekësore |
| Lower Limb and Feet Wound Dataset | Përmbajtje grafike mjekësore | 5,443 imazhe | 65.185% | 98.958% | Kontroll referencë për fushën e plagëve |
| HOD Benchmark Dataset | Alkool | 10,631 imazhe | 97.667% | 87.095% | Vlerësim krahasues objektesh për përdorim kërkimor |
| HOD Benchmark Dataset | Pirje duhani | 10,631 imazhe | 98.222% | 93.391% | Vlerësim krahasues objektesh për përdorim kërkimor |
| HOD Benchmark Dataset | Armë | 10,631 imazhe | 85.053% | 68.659% | Vlerësim krahasues objektesh për përdorim kërkimor |
| Open Images V7 selected validation subset | Armë | 460 rreshta | 81.957% | 87.234% | Kontroll referencë i etiketave të objekteve |
Këta rreshta tregojnë se si sillet Ray Guardian përtej vlerësimit krahasues për të cilin u ndërtua.
Pse shifrat ndryshojnë
Një rezultat më i ulët në një referencë publike nuk është kundërthënie. Ai do të thotë se grupi i të dhënave po shtron një pyetje tjetër.
Vlerësimi krahasues me 13 kategori i Ray Guardian pyet nëse sistemi i njeh kategoritë e sigurisë të përdorura në Ray. Grupet e pavarura të të dhënave të referencës pyesin se çfarë ndodh kur etiketat e jashtme, metodat e jashtme të mbledhjes dhe përkufizimet e jashtme të kategorive përcaktohen në atë taksonomi.
Rezultatet mund të ndryshojnë për arsye të drejtpërdrejta:
- Përkufizime të ndryshme të etiketave. Një grup të dhënash mund të etiketojë një objekt ndërsa Ray Guardian gjykon kuptimin e sigurisë. Një gotë vere, shishe, thikë ose plagë klinike nuk është gjithmonë e pasigurt në vetvete.
- Etiketa të përgjithshme. Disa etiketa publike të sigurisë bashkojnë disa koncepte në një etiketë të gjerë. Kategoritë e Ray Guardian janë më specifike.
- Mangësi konteksti. Disa etiketa varen nga përshkrimi, audioja, skena përreth ose qëllimi njerëzor. Këto teste matin përmbajtjen e dukshme.
- Zhvendosje e domenit. Grupet e jashtme të të dhënave përfshijnë prerje, rezolucione, imazhe të gjeneruara, pamje mbikëqyrjeje, pamje nga afër të objekteve dhe imazheri mjekësore të ndryshme.
- Dizajn i ndryshëm i detyrës. Vlerësimet krahasuese të njohjes së objekteve janë teste të dobishme stresi, por njohja e objekteve nuk është e njëjtë me moderimin e sigurisë vizuale.
Vlerësimi krahasues i harmonizuar tregon performancën në taksonominë e produktit të Ray Guardian. Grupet e të dhënave të referencës tregojnë se si ajo taksonomi transferohet në të dhëna të jashtme më të çrregullta.
Si të lexohet vlerësimi krahasues
Lexojeni çdo shifër në nivelin e etiketave që qëndrojnë pas saj.
- Rezultati me 13 kategori mat taksonominë e plotë të sigurisë në nivel imazhi të Ray Guardian.
- Rreshtat e videove matin Ray Guardian në etiketat publike të videove të disponueshme në secilin grup të dhënash.
- Rreshtat e pavarur të referencës matin transferimin në sisteme të jashtme etiketash, jo një zëvendësim të vlerësimit krahasues të taksonomisë së produktit.
Ray Guardian tani është shtresa e unifikuar e sigurisë vizuale e Ray: një sistem i vetëm për imazhe dhe klipe, i ndërtuar për të kapur përmbajtje të ndjeshme dhe për t'i mbajtur vendimet të qëndrueshme ndërsa media kalon nga një kuadër në tjetrin.
Grupet burimore të të dhënave
Paketa e vlerësimeve krahasuese citon burime të grupeve të të dhënave, duke përfshirë HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound dhe HOD Benchmark Dataset.
