Тренутно се репродукује · Бенчмаркови
Представљамо Ray Guardian: визуелна безбедност за слике и видео
Ray Guardian је обједињени систем визуелне безбедности производа Ray, тестиран у 13 категорија безбедности на нивоу слике и на скуповима видео-података са јавним ознакама.
Представљамо Ray Guardian
Ray Guardian је систем визуелне безбедности производа Ray за слике и видео. Он прегледа визуелне медије ради откривања осетљивог садржаја и враћа сигнале по категоријама које Ray може да користи за репродукцију, креирање, модерацију и породична подешавања.
Суштина је једноставна: Ray Guardian је један систем. Непокретне слике и видео-исечци улазе различитим медијским путањама, али производ добија једну одлуку система Ray Guardian.
За слике, Ray Guardian процењује целокупну таксономију безбедности: нагост, сексуални садржај, насиље, експлицитне приказе крви и повреда, оружје, дроге, алкохол, пушење, узнемирујући садржај, љубљење / интимност, самоповређивање, окрутност према животињама и експлицитни медицински садржај.
За видео, Ray Guardian додаје временску димензију. Један кадар може бити двосмислен; исечак може приказати радњу, намеру и контекст. Видео-путања комбинује препознавање безбедности на нивоу кадра са временским разумевањем на нивоу исечка, тако да коначни резултат одражава оно што се појављује на екрану и оно што се дешава током времена.
То је систем који смо тестирали.
Бенчмарк визуелне безбедности са 13 категорија
Ray Guardian је достигао 100.000% тачности на издвојеном бенчмарку слика система Ray Guardian са 13 категорија: 17,435 познатих ознака, 0 грешака.
Овај бенчмарк је најближи самој таксономији производа: исте дефиниције категорија, издвојени примери и комплетан скуп категорија визуелне безбедности система Ray Guardian.
| Бенчмарк | Обухват | Ставке | Тачност | Прецизност | Одзив | F1 |
|---|---|---|---|---|---|---|
| Ray Guardian held-out image-level benchmark | Свих 13 категорија система Ray Guardian | 17,435 labels | 100.000% | 100.000% | 100.000% | 100.000% |
Бенчмарк обухвата категорије које се често преклапају у стварним производима: сексуални садржај наспрам нагости, експлицитни прикази крви и повреда наспрам експлицитног медицинског садржаја, оружје наспрам насиља и узнемирујући садржај наспрам уобичајеног непријатног контекста.
Пакет видео-бенчмаркова са јавним ознакама
Видео-бенчмаркови се мере у односу на ознаке које сваки скуп података заиста пружа. Скуп података који разликује пољубац од загрљаја пружа доказе за љубљење / интимност. Скуп података о насиљу пружа доказе за насиље и узнемирујуће догађаје. Скуп података о безбедним радњама проверава да ли се уобичајени исечци са радњама несметано пропуштају.
Због тога се резултати лакше читају и теже погрешно користе: сваки ред приказује учинак система Ray Guardian у оквиру изворног обухвата ознака тог скупа података.
| Скуп података | Обухват система Ray Guardian | Исечци | Тачност | Прецизност | Одзив | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Љубљење / интимност | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Насиље / узнемирујући садржај | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Насиље / узнемирујући садржај | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Аномалија / узнемирујући садржај | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Контролни механизам за безбедне радње | 330 | 100.000% | n/a | n/a | n/a |
Ред UCF101 представља контролни механизам који садржи само негативне примере: он мери да ли се уобичајене безбедне радње погрешно блокирају. У том тесту, Ray Guardian је исправно пропустио свих 330 исечака са безбедним радњама.
Шта показују матрице конфузије
Тачност је главни показатељ. Матрица конфузије показује структуру одлука које стоје иза њега.
Свака матрица раздваја исправно пропуштање, лажне аларме, пропуштене небезбедне исечке и исправно означене небезбедне исечке. То је важно јер систем безбедности мора да штити људе без ометања уобичајених медија више него што је неопходно.
Независни референтни скупови података
Ray Guardian такође процењујемо на независним јавним и ограничено доступним референтним скуповима података. Ови скупови података су корисни зато што су њихове ознаке писали други тимови, за друге циљеве, и оне нису увек савршено усклађене са категоријама система Ray Guardian.
Табела у наставку приказује сваки резултат на нивоу категорије који скуп података може да подржи. Када скуп података тестира предмете повезане са алкохолом, приказујемо понашање за алкохол. Када тестира медицинске ране, приказујемо понашање за експлицитни медицински садржај или узнемирујући садржај.
| Референтни скуп података | Обухват система Ray Guardian | Ставке | Тачност | Одзив | Напомене |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Мапиране категорије безбедности слика | 32,248 labels | 94.266% | 75.779% | Независни ограничено доступан бенчмарк безбедности |
| UnsafeBench train split | Мапиране категорије безбедности слика | 40,545 labels | 89.893% | 74.482% | Независни ограничено доступан бенчмарк безбедности |
| SurgWound test split | Експлицитни медицински садржај | 137 images | 86.861% | 100.000% | Провера осетљивости на медицинске ране |
| SurgWound test split | Узнемирујући садржај | 137 images | 83.942% | 99.130% | Провера осетљивости на медицинске ране |
| Lower Limb and Feet Wound Dataset | Експлицитни медицински садржај | 5,443 images | 65.185% | 98.958% | Референтна провера у домену рана |
| HOD Benchmark Dataset | Алкохол | 10,631 images | 97.667% | 87.095% | Бенчмарк објеката за истраживачку употребу |
| HOD Benchmark Dataset | Пушење | 10,631 images | 98.222% | 93.391% | Бенчмарк објеката за истраживачку употребу |
| HOD Benchmark Dataset | Оружје | 10,631 images | 85.053% | 68.659% | Бенчмарк објеката за истраживачку употребу |
| Open Images V7 selected validation subset | Оружје | 460 rows | 81.957% | 87.234% | Референтна провера ознака објеката |
Ови редови показују како се Ray Guardian понаша изван бенчмарка за који је направљен.
Зашто се бројеви разликују
Нижи резултат на јавном референтном скупу није противречност. Он значи да скуп података поставља другачије питање.
Бенчмарк система Ray Guardian са 13 категорија проверава да ли систем препознаје безбедносне категорије које се користе у производу Ray. Независни референтни скупови података проверавају шта се дешава када се спољне ознаке, спољне методе прикупљања и спољне дефиниције категорија мапирају у ту таксономију.
Резултати могу да се промене из једноставних разлога:
- Различите дефиниције ознака. Скуп података може да означава предмет док Ray Guardian процењује безбедносно значење. Чаша за вино, боца, нож или клиничка рана нису увек сами по себи небезбедни.
- Грубе ознаке. Неке јавне безбедносне ознаке обједињују више појмова у једну широку ознаку. Категорије система Ray Guardian су прецизније.
- Недостаци контекста. Неке ознаке зависе од натписа, звука, околне сцене или људске намере. Ови тестови мере видљиви садржај.
- Промена домена. Спољни скупови података обухватају другачије исечке слика, резолуције, генерисане слике, снимке надзорних камера, крупне планове предмета и медицинске снимке.
- Различит дизајн задатка. Бенчмаркови препознавања објеката корисни су као тестови оптерећења, али препознавање објеката није исто што и модерација визуелне безбедности.
Усклађени бенчмарк показује учинак на таксономији производа Ray Guardian. Референтни скупови података показују како се та таксономија преноси на неуређеније спољне податке.
Како читати бенчмарк
Сваки број тумачите на нивоу ознака на којима се заснива.
- Резултат са 13 категорија мери целокупну таксономију безбедности система Ray Guardian на нивоу слике.
- Редови за видео мере Ray Guardian на јавним видео-ознакама доступним у сваком скупу података.
- Независни референтни редови мере пренос на спољне системе ознака, а не замену за бенчмарк таксономије производа.
Ray Guardian је сада обједињени слој визуелне безбедности производа Ray: један систем за слике и исечке, направљен да открива осетљиви садржај и одржава одлуке стабилним док медиј прелази из кадра у кадар.
Изворни скупови података
Пакет бенчмаркова наводи изворе скупова података, укључујући HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound и HOD Benchmark Dataset.
