Сега се репродуцира · Реперни тестови
Го претставуваме Ray Guardian: визуелна безбедност за слики и видео
Ray Guardian е обединетиот систем за визуелна безбедност на Ray, реперно тестиран во 13 категории за безбедност на ниво на слика и на видеоподаточни множества со јавни ознаки.
Ви го претставуваме Ray Guardian
Ray Guardian е системот за визуелна безбедност на Ray за слики и видео. Тој ги прегледува визуелните медиуми за чувствителна содржина и враќа сигнали по категории што Ray може да ги користи за репродукција, создавање, модерирање и семејни поставки.
Важниот дел е едноставен: Ray Guardian е еден систем. Неподвижните слики и видеоклиповите влегуваат преку различни медиумски патеки, но производот добива една одлука од Guardian.
За слики, Ray Guardian ја проценува целосната таксономија за безбедност: голотија, сексуална содржина, насилство, експлицитни крвави сцени, оружје, дроги, алкохол, пушење, вознемирувачка содржина, бакнување / интимност, самоповредување, суровост кон животни и експлицитни медицински крвави сцени.
За видео, Ray Guardian го додава времето. Една кадарска слика може да биде двосмислена; еден клип може да прикаже дејство, намера и контекст. Видеопатеката го комбинира препознавањето на безбедноста на ниво на кадар со временското разбирање на ниво на клип, така што конечниот резултат го одразува она што се појавува на екранот и она што се случува со текот на времето.
Тоа е системот што го реперно тестиравме.
Реперен тест за визуелна безбедност со 13 категории
Ray Guardian постигна 100.000% точност на издвоениот реперен тест на Ray Guardian за слики со 13 категории: 17,435 познати ознаки, 0 грешки.
Овој реперен тест е најблизок до самата таксономија на производот: истите дефиниции на категориите, издвоени примери и целосниот збир категории за визуелна безбедност на Ray Guardian.
| Реперен тест | Опфат | Ставки | Точност | Прецизност | Одзив | F1 |
|---|---|---|---|---|---|---|
| Издвоен реперен тест на Ray Guardian на ниво на слика | Сите 13 категории на Ray Guardian | 17,435 ознаки | 100.000% | 100.000% | 100.000% | 100.000% |
Реперниот тест вклучува категории што често се преклопуваат во реални производи: сексуална содржина наспроти голотија, експлицитни крвави сцени наспроти експлицитни медицински крвави сцени, оружје наспроти насилство и вознемирувачка содржина наспроти вообичаен непријатен контекст.
Збир видеореперни тестови со јавни ознаки
Видеореперните тестови се мерат според ознаките што навистина ги обезбедува секое податочно множество. Податочно множество за бакнеж наспроти прегратка обезбедува докази за бакнување / интимност. Податочно множество за насилство обезбедува докази за насилство и вознемирувачки настани. Податочно множество со безбедни дејства проверува дали обичните клипови со дејства се пропуштаат без погрешно блокирање.
Тоа ги прави резултатите полесни за читање и потешки за погрешна употреба: секој ред ги прикажува перформансите на Ray Guardian во рамките на изворниот опфат на ознаките на тоа податочно множество.
| Податочно множество | Опфат на Ray Guardian | Клипови | Точност | Прецизност | Одзив | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Бакнување / интимност | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Насилство / вознемирувачка содржина | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Насилство / вознемирувачка содржина | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Аномалија / вознемирувачка содржина | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Заштитна проверка за безбедни дејства | 330 | 100.000% | n/a | n/a | n/a |
Редот UCF101 е заштитна проверка само со негативни примери: тој мери дали обичните безбедни дејства погрешно се блокираат. Во тој тест, Ray Guardian правилно ги дозволи сите 330 клипови со безбедни дејства.
Што покажуваат матриците на забуна
Точноста е главната бројка. Матрицата на забуна го покажува обликот на одлуките што стојат зад неа.
Секоја матрица ги одделува правилните дозволувања, лажните аларми, пропуштените небезбедни клипови и правилно означените небезбедни клипови. Тоа е важно бидејќи системот за безбедност мора да ги заштитува луѓето без да ги прекинува обичните медиуми повеќе отколку што е неопходно.
Независни референтни податочни множества
Исто така, го проценуваме Ray Guardian на независни јавни и контролирано достапни референтни податочни множества. Овие податочни множества се корисни бидејќи нивните ознаки биле напишани од други тимови, за други цели, и не секогаш совршено се совпаѓаат со категориите на Ray Guardian.
Табелата подолу го прикажува секој резултат на нивото на категорија што податочното множество може да го поддржи. Кога податочно множество тестира предмети поврзани со алкохол, прикажуваме однесување за алкохол. Кога тестира медицински рани, прикажуваме однесување за експлицитни медицински крвави сцени или вознемирувачка содржина.
| Референтно податочно множество | Опфат на Ray Guardian | Ставки | Точност | Одзив | Забелешки |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Мапирани категории за безбедност на слики | 32,248 ознаки | 94.266% | 75.779% | Независен контролирано достапен реперен тест за безбедност |
| UnsafeBench train split | Мапирани категории за безбедност на слики | 40,545 ознаки | 89.893% | 74.482% | Независен контролирано достапен реперен тест за безбедност |
| SurgWound test split | Експлицитни медицински крвави сцени | 137 слики | 86.861% | 100.000% | Проверка на чувствителноста за медицински рани |
| SurgWound test split | Вознемирувачка содржина | 137 слики | 83.942% | 99.130% | Проверка на чувствителноста за медицински рани |
| Lower Limb and Feet Wound Dataset | Експлицитни медицински крвави сцени | 5,443 слики | 65.185% | 98.958% | Референтна проверка во доменот на рани |
| HOD Benchmark Dataset | Алкохол | 10,631 слики | 97.667% | 87.095% | Реперен тест за предмети наменет за истражувачка употреба |
| HOD Benchmark Dataset | Пушење | 10,631 слики | 98.222% | 93.391% | Реперен тест за предмети наменет за истражувачка употреба |
| HOD Benchmark Dataset | Оружје | 10,631 слики | 85.053% | 68.659% | Реперен тест за предмети наменет за истражувачка употреба |
| Open Images V7 selected validation subset | Оружје | 460 редови | 81.957% | 87.234% | Референтна проверка на ознаки за предмети |
Овие редови покажуваат како се однесува Ray Guardian надвор од реперниот тест за кој бил изграден.
Зошто бројките се разликуваат
Понизок резултат на јавен референтен тест не е противречност. Тоа значи дека податочното множество поставува различно прашање.
Реперниот тест на Ray Guardian со 13 категории проверува дали системот ги препознава безбедносните категории што се користат во Ray. Независните референтни податочни множества проверуваат што се случува кога надворешни ознаки, надворешни методи на собирање и надворешни дефиниции на категории се мапираат во таа таксономија.
Резултатите може да се менуваат од едноставни причини:
- Различни дефиниции на ознаките. Податочно множество може да означува предмет, додека Ray Guardian го проценува безбедносното значење. Чаша за вино, шише, нож или клиничка рана не се секогаш небезбедни сами по себе.
- Груби ознаки. Некои јавни безбедносни ознаки комбинираат неколку концепти во една широка ознака. Категориите на Ray Guardian се поконкретни.
- Недостиг на контекст. Некои ознаки зависат од натпис, звук, околна сцена или човечка намера. Овие тестови ја мерат видливата содржина.
- Промена на доменот. Надворешните податочни множества вклучуваат различни исечоци, резолуции, генерирани слики, снимки од надзор, крупни планови на предмети и медицински слики.
- Различен дизајн на задачата. Реперните тестови за препознавање предмети се корисни стрес-тестови, но препознавањето предмети не е исто што и модерирањето на визуелната безбедност.
Усогласениот реперен тест ги покажува перформансите врз таксономијата на производот Ray Guardian. Референтните податочни множества покажуваат како таа таксономија се пренесува врз понеуредни надворешни податоци.
Како да го читате реперниот тест
Читајте ја секоја бројка на нивото на ознаките што стојат зад неа.
- Резултатот со 13 категории ја мери целосната таксономија за безбедност на Ray Guardian на ниво на слика.
- Видеоредовите го мерат Ray Guardian според јавните видеоознаки достапни во секое податочно множество.
- Независните референтни редови го мерат преносот кон надворешни системи на ознаки, а не замена за реперниот тест на таксономијата на производот.
Ray Guardian сега е обединетиот слој за визуелна безбедност на Ray: еден систем за слики и клипови, изграден да открива чувствителна содржина и да ги одржува одлуките стабилни додека медиумите преминуваат од кадар во кадар.
Изворни податочни множества
Збирот реперни тестови наведува извори на податочни множества, вклучувајќи ги HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound и HOD Benchmark Dataset.
