Aktuelle Wiedergabe · Benchmarks
Ankündigung von Ray Guardian: Visuelle Sicherheit für Bilder und Videos
Ray Guardian ist das einheitliche visuelle Sicherheitssystem von Ray, das anhand von 13 Sicherheitskategorien auf Bildebene und öffentlich gekennzeichneten Videodatensätzen evaluiert wurde.
Einführung von Ray Guardian
Ray Guardian ist das visuelle Sicherheitssystem von Ray für Bilder und Videos. Es prüft visuelle Medien auf sensible Inhalte und liefert Kategoriesignale, die Ray für Wiedergabe, Erstellung, Moderation und Familieneinstellungen verwenden kann.
Der entscheidende Punkt ist einfach: Ray Guardian ist ein einziges System. Standbilder und Videoclips durchlaufen unterschiedliche Medienpfade, aber das Produkt erhält eine einzige Guardian-Entscheidung.
Bei Bildern bewertet Ray Guardian die vollständige Sicherheitstaxonomie: Nacktheit, sexuelle Inhalte, Gewalt, drastische Gewaltdarstellungen, Waffen, Drogen, Alkohol, Rauchen, verstörende Inhalte, Küssen / Intimität, Selbstverletzung, Tierquälerei und drastische medizinische Darstellungen.
Bei Videos berücksichtigt Ray Guardian zusätzlich die Zeitdimension. Ein einzelnes Bild kann mehrdeutig sein; ein Clip kann Handlung, Absicht und Kontext zeigen. Der Videopfad kombiniert die Sicherheitserkennung auf Einzelbildebene mit einem zeitlichen Verständnis auf Clipebene, sodass das Endergebnis widerspiegelt, was auf dem Bildschirm zu sehen ist und was im zeitlichen Verlauf geschieht.
Dieses System haben wir evaluiert.
Benchmark zur visuellen Sicherheit mit 13 Kategorien
Ray Guardian erreichte eine Genauigkeit von 100.000% im zurückgehaltenen Ray Guardian-Bildbenchmark mit 13 Kategorien: 17,435 bekannte Labels, 0 Fehler.
Dieser Benchmark entspricht der Produkttaxonomie selbst am ehesten: dieselben Kategoriedefinitionen, zurückgehaltene Beispiele und der vollständige Satz visueller Sicherheitskategorien von Ray Guardian.
| Benchmark | Umfang | Elemente | Genauigkeit | Präzision | Sensitivität | F1 |
|---|---|---|---|---|---|---|
| Zurückgehaltener Ray Guardian-Benchmark auf Bildebene | Alle 13 Ray Guardian-Kategorien | 17,435 Labels | 100.000% | 100.000% | 100.000% | 100.000% |
Der Benchmark umfasst Kategorien, die sich in realen Produkten häufig überschneiden: sexuelle Inhalte gegenüber Nacktheit, drastische Gewaltdarstellungen gegenüber drastischen medizinischen Darstellungen, Waffen gegenüber Gewalt sowie verstörende Inhalte gegenüber gewöhnlichem unangenehmem Kontext.
Benchmark-Suite mit öffentlich gekennzeichneten Videos
Videobenchmarks werden anhand der Labels gemessen, die der jeweilige Datensatz tatsächlich bereitstellt. Ein Datensatz zu Küssen gegenüber Umarmen liefert Evidenz für Küssen / Intimität. Ein Gewaltdatensatz liefert Evidenz für Gewalt und verstörende Ereignisse. Ein Datensatz mit sicheren Handlungen prüft, ob gewöhnliche Handlungsszenen korrekt zugelassen werden.
Dadurch sind die Ergebnisse leichter zu lesen und schwerer missbräuchlich zu verwenden: Jede Zeile gibt die Leistung von Ray Guardian innerhalb des nativen Labelumfangs des jeweiligen Datensatzes an.
| Datensatz | Umfang von Ray Guardian | Clips | Genauigkeit | Präzision | Sensitivität | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Küssen / Intimität | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Gewalt / Verstörend | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Gewalt / Verstörend | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Anomalie / Verstörend | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Schutzmechanismus für sichere Handlungen | 330 | 100.000% | n/a | n/a | n/a |
Die UCF101-Zeile ist ein ausschließlich negativer Schutzmechanismus: Sie misst, ob gewöhnliche sichere Handlungen fälschlicherweise blockiert werden. In diesem Test ließ Ray Guardian alle 330 Clips mit sicheren Handlungen korrekt zu.
Was die Konfusionsmatrizen zeigen
Die Genauigkeit ist die zentrale Kennzahl. Eine Konfusionsmatrix zeigt die Struktur der zugrunde liegenden Entscheidungen.
Jede Matrix unterscheidet zwischen korrekten Freigaben, Fehlalarmen, übersehenen unsicheren Clips und korrekt gekennzeichneten unsicheren Clips. Das ist wichtig, weil ein Sicherheitssystem Menschen schützen muss, ohne gewöhnliche Medien häufiger als nötig zu unterbrechen.
Unabhängige Referenzdatensätze
Wir evaluieren Ray Guardian außerdem anhand unabhängiger öffentlicher und zugangsbeschränkter Referenzdatensätze. Diese Datensätze sind nützlich, weil ihre Labels von anderen Teams für andere Ziele erstellt wurden und nicht immer vollständig mit den Kategorien von Ray Guardian übereinstimmen.
Die folgende Tabelle gibt jedes Ergebnis auf der Kategorieebene an, die der jeweilige Datensatz unterstützt. Wenn ein Datensatz Alkoholobjekte testet, berichten wir das Alkoholverhalten. Wenn er medizinische Wunden testet, berichten wir das Verhalten für drastische medizinische Darstellungen oder verstörende Inhalte.
| Referenzdatensatz | Umfang von Ray Guardian | Elemente | Genauigkeit | Sensitivität | Hinweise |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Zugeordnete Bildsicherheitskategorien | 32,248 Labels | 94.266% | 75.779% | Unabhängiger zugangsbeschränkter Sicherheitsbenchmark |
| UnsafeBench train split | Zugeordnete Bildsicherheitskategorien | 40,545 Labels | 89.893% | 74.482% | Unabhängiger zugangsbeschränkter Sicherheitsbenchmark |
| SurgWound test split | Drastische medizinische Darstellungen | 137 Bilder | 86.861% | 100.000% | Sensitivitätsprüfung für medizinische Wunden |
| SurgWound test split | Verstörende Inhalte | 137 Bilder | 83.942% | 99.130% | Sensitivitätsprüfung für medizinische Wunden |
| Lower Limb and Feet Wound Dataset | Drastische medizinische Darstellungen | 5,443 Bilder | 65.185% | 98.958% | Referenzprüfung für den Wundbereich |
| HOD Benchmark Dataset | Alkohol | 10,631 Bilder | 97.667% | 87.095% | Objektbenchmark zur Forschungsnutzung |
| HOD Benchmark Dataset | Rauchen | 10,631 Bilder | 98.222% | 93.391% | Objektbenchmark zur Forschungsnutzung |
| HOD Benchmark Dataset | Waffen | 10,631 Bilder | 85.053% | 68.659% | Objektbenchmark zur Forschungsnutzung |
| Open Images V7 selected validation subset | Waffen | 460 Zeilen | 81.957% | 87.234% | Referenzprüfung für Objektlabels |
Diese Zeilen zeigen, wie sich Ray Guardian außerhalb des Benchmarks verhält, für den es entwickelt wurde.
Warum sich die Zahlen unterscheiden
Ein niedrigeres Ergebnis bei einer öffentlichen Referenz ist kein Widerspruch. Es bedeutet, dass der Datensatz eine andere Frage stellt.
Der Ray Guardian-Benchmark mit 13 Kategorien fragt, ob das System die in Ray verwendeten Sicherheitskategorien erkennt. Die unabhängigen Referenzdatensätze fragen, was geschieht, wenn externe Labels, externe Erhebungsmethoden und externe Kategoriedefinitionen dieser Taxonomie zugeordnet werden.
Die Werte können sich aus nachvollziehbaren Gründen verändern:
- Unterschiedliche Labeldefinitionen. Ein Datensatz kann ein Objekt kennzeichnen, während Ray Guardian dessen sicherheitsbezogene Bedeutung bewertet. Ein Weinglas, eine Flasche, ein Messer oder eine klinische Wunde ist nicht immer für sich genommen unsicher.
- Grobe Labels. Einige öffentliche Sicherheitslabels fassen mehrere Konzepte in einem breiten Label zusammen. Die Kategorien von Ray Guardian sind spezifischer.
- Fehlender Kontext. Manche Labels hängen von Bildunterschrift, Audio, umgebender Szene oder menschlicher Absicht ab. Diese Tests messen sichtbare Inhalte.
- Domänenverschiebung. Externe Datensätze enthalten unterschiedliche Bildausschnitte, Auflösungen, generierte Bilder, Überwachungsaufnahmen, Nahaufnahmen von Objekten und medizinische Bilder.
- Unterschiedliches Aufgabendesign. Benchmarks zur Objekterkennung sind nützliche Belastungstests, aber Objekterkennung ist nicht dasselbe wie die Moderation visueller Sicherheit.
Der abgestimmte Benchmark zeigt die Leistung in der Produkttaxonomie von Ray Guardian. Die Referenzdatensätze zeigen, wie sich diese Taxonomie auf weniger bereinigte externe Daten übertragen lässt.
So ist der Benchmark zu lesen
Lesen Sie jede Zahl auf der Ebene der zugrunde liegenden Labels.
- Das Ergebnis mit 13 Kategorien misst die vollständige Ray Guardian-Sicherheitstaxonomie auf Bildebene.
- Die Videozeilen messen Ray Guardian anhand der öffentlichen Videolabels, die im jeweiligen Datensatz verfügbar sind.
- Die unabhängigen Referenzzeilen messen die Übertragung auf externe Labelsysteme und ersetzen nicht den Benchmark der Produkttaxonomie.
Ray Guardian ist jetzt die einheitliche visuelle Sicherheitsebene von Ray: ein System für Bilder und Clips, das darauf ausgelegt ist, sensible Inhalte zu erkennen und Entscheidungen stabil zu halten, während Medien von Einzelbild zu Einzelbild fortschreiten.
Quelldatensätze
Die Benchmark-Suite nennt unter anderem folgende Datensatzquellen: HMDB51 über FiftyOne, XD-Violence, UCF-Crime, UCF101 über FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound und HOD Benchmark Dataset.
