Ara sona · Avaluacions comparatives
Presentem Ray Guardian: seguretat visual per a imatges i vídeos
Ray Guardian és el sistema unificat de seguretat visual de Ray, avaluat en 13 categories de seguretat a escala d'imatge i en conjunts de dades de vídeo amb etiquetes públiques.
Presentació de Ray Guardian
Ray Guardian és el sistema de seguretat visual de Ray per a imatges i vídeos. Revisa contingut visual per detectar-hi contingut sensible i retorna senyals de categoria que Ray pot utilitzar per a la reproducció, la creació, la moderació i la configuració familiar.
La idea principal és senzilla: Ray Guardian és un únic sistema. Les imatges estàtiques i els clips de vídeo entren per vies de processament diferents, però el producte rep una única decisió de Guardian.
Per a les imatges, Ray Guardian avalua tota la taxonomia de seguretat: nuesa, contingut sexual, violència, contingut gràfic cruent, armes, drogues, alcohol, tabaquisme, contingut pertorbador, petons / intimitat, autolesions, crueltat envers els animals i contingut mèdic gràfic cruent.
Per als vídeos, Ray Guardian afegeix la dimensió temporal. Un únic fotograma pot ser ambigu; un clip pot mostrar acció, intenció i context. La via de vídeo combina el reconeixement de seguretat a escala de fotograma amb la comprensió temporal a escala de clip perquè el resultat final reflecteixi què apareix en pantalla i què passa al llarg del temps.
Aquest és el sistema que hem avaluat.
Avaluació comparativa de seguretat visual de 13 categories
Ray Guardian va assolir una exactitud del 100.000% en l'avaluació comparativa reservada d'imatges de 13 categories de Ray Guardian: 17,435 etiquetes conegudes, 0 errors.
Aquesta avaluació comparativa és la més propera a la taxonomia del producte: les mateixes definicions de categories, exemples reservats i el conjunt complet de categories de seguretat visual de Ray Guardian.
| Avaluació comparativa | Abast | Elements | Exactitud | Precisió | Exhaustivitat | F1 |
|---|---|---|---|---|---|---|
| Avaluació comparativa reservada de Ray Guardian a escala d'imatge | Totes les 13 categories de Ray Guardian | 17,435 labels | 100.000% | 100.000% | 100.000% | 100.000% |
L'avaluació comparativa inclou categories que sovint se superposen en productes reals: contingut sexual enfront de nuesa, contingut gràfic cruent enfront de contingut mèdic gràfic cruent, armes enfront de violència i contingut pertorbador enfront de context desagradable ordinari.
Conjunt d'avaluacions comparatives de vídeo amb etiquetes públiques
Les avaluacions comparatives de vídeo es mesuren respecte de les etiquetes que proporciona realment cada conjunt de dades. Un conjunt de dades de petons enfront d'abraçades proporciona evidència sobre petons / intimitat. Un conjunt de dades de violència proporciona evidència sobre violència i esdeveniments pertorbadors. Un conjunt de dades d'accions segures comprova si els clips d'accions ordinàries es deixen passar correctament.
Això facilita la lectura dels resultats i en dificulta l'ús inadequat: cada fila informa del rendiment de Ray Guardian dins de l'abast d'etiquetes propi del conjunt de dades corresponent.
| Conjunt de dades | Abast de Ray Guardian | Clips | Exactitud | Precisió | Exhaustivitat | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Petons / Intimitat | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Violència / Contingut pertorbador | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Violència / Contingut pertorbador | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Anomalia / Contingut pertorbador | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Mesura de protecció per a accions segures | 330 | 100.000% | n/a | n/a | n/a |
La fila d'UCF101 és una mesura de protecció només amb casos negatius: mesura si les accions segures ordinàries es bloquegen incorrectament. En aquesta prova, Ray Guardian va permetre correctament els 330 clips d'accions segures.
Què mostren les matrius de confusió
L'exactitud és la xifra principal. Una matriu de confusió mostra la distribució de les decisions que hi ha al darrere.
Cada matriu separa les autoritzacions correctes, les falses alarmes, els clips no segurs no detectats i els clips no segurs marcats correctament. Això és important perquè un sistema de seguretat ha de protegir les persones sense interrompre el contingut ordinari més del necessari.
Conjunts de dades de referència independents
També avaluem Ray Guardian en conjunts de dades de referència independents, públics i d'accés restringit. Aquests conjunts de dades són útils perquè les seves etiquetes van ser creades per altres equips, amb altres objectius, i no sempre coincideixen perfectament amb les categories de Ray Guardian.
La taula següent presenta cada resultat al nivell de categoria que el conjunt de dades pot admetre. Quan un conjunt de dades prova objectes relacionats amb l'alcohol, informem del comportament relacionat amb l'alcohol. Quan prova ferides mèdiques, informem del comportament relacionat amb contingut mèdic gràfic cruent o contingut pertorbador.
| Conjunt de dades de referència | Abast de Ray Guardian | Elements | Exactitud | Exhaustivitat | Notes |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Categories mapades de seguretat d'imatges | 32,248 labels | 94.266% | 75.779% | Avaluació comparativa de seguretat independent i d'accés restringit |
| UnsafeBench train split | Categories mapades de seguretat d'imatges | 40,545 labels | 89.893% | 74.482% | Avaluació comparativa de seguretat independent i d'accés restringit |
| SurgWound test split | Contingut mèdic gràfic cruent | 137 images | 86.861% | 100.000% | Comprovació de sensibilitat a ferides mèdiques |
| SurgWound test split | Contingut pertorbador | 137 images | 83.942% | 99.130% | Comprovació de sensibilitat a ferides mèdiques |
| Lower Limb and Feet Wound Dataset | Contingut mèdic gràfic cruent | 5,443 images | 65.185% | 98.958% | Comprovació de referència en el domini de les ferides |
| HOD Benchmark Dataset | Alcohol | 10,631 images | 97.667% | 87.095% | Avaluació comparativa d'objectes per a ús en recerca |
| HOD Benchmark Dataset | Tabaquisme | 10,631 images | 98.222% | 93.391% | Avaluació comparativa d'objectes per a ús en recerca |
| HOD Benchmark Dataset | Armes | 10,631 images | 85.053% | 68.659% | Avaluació comparativa d'objectes per a ús en recerca |
| Open Images V7 selected validation subset | Armes | 460 rows | 81.957% | 87.234% | Comprovació de referència d'etiquetes d'objectes |
Aquestes files mostren com es comporta Ray Guardian més enllà de l'avaluació comparativa per a la qual es va crear.
Per què les xifres difereixen
Una puntuació més baixa en una referència pública no és una contradicció. Vol dir que el conjunt de dades planteja una pregunta diferent.
L'avaluació comparativa de 13 categories de Ray Guardian pregunta si el sistema reconeix les categories de seguretat utilitzades a Ray. Els conjunts de dades de referència independents pregunten què passa quan etiquetes externes, mètodes de recopilació externs i definicions de categories externes es mapen a aquesta taxonomia.
Les puntuacions poden variar per motius senzills:
- Definicions d'etiquetes diferents. Un conjunt de dades pot etiquetar un objecte mentre Ray Guardian n'avalua el significat en termes de seguretat. Una copa de vi, una ampolla, un ganivet o una ferida clínica no sempre són elements no segurs per si mateixos.
- Etiquetes poc específiques. Algunes etiquetes públiques de seguretat combinen diversos conceptes en una única etiqueta àmplia. Les categories de Ray Guardian són més específiques.
- Mancances de context. Algunes etiquetes depenen del peu de foto, l'àudio, l'escena circumdant o la intenció humana. Aquestes proves mesuren el contingut visible.
- Canvi de domini. Els conjunts de dades externs inclouen retalls, resolucions, imatges generades, gravacions de videovigilància, primers plans d'objectes i imatges mèdiques diferents.
- Dissenys de tasca diferents. Les avaluacions comparatives de reconeixement d'objectes són proves d'esforç útils, però el reconeixement d'objectes no és idèntic a la moderació de seguretat visual.
L'avaluació comparativa alineada mostra el rendiment en la taxonomia de producte de Ray Guardian. Els conjunts de dades de referència mostren com aquesta taxonomia es transfereix a dades externes més desordenades.
Com s'ha de llegir l'avaluació comparativa
Llegiu cada xifra al nivell de les etiquetes que hi ha al darrere.
- El resultat de 13 categories mesura tota la taxonomia de seguretat de Ray Guardian a escala d'imatge.
- Les files de vídeo mesuren Ray Guardian respecte de les etiquetes públiques de vídeo disponibles en cada conjunt de dades.
- Les files de referència independents mesuren la transferència a sistemes d'etiquetes externs, no una substitució de l'avaluació comparativa de la taxonomia del producte.
Ray Guardian és ara la capa unificada de seguretat visual de Ray: un únic sistema per a imatges i clips, creat per detectar contingut sensible i mantenir les decisions estables mentre el contingut avança fotograma a fotograma.
Conjunts de dades d'origen
El conjunt d'avaluacions comparatives cita fonts de conjunts de dades com ara HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound i HOD Benchmark Dataset.
