Şimdi oynatılıyor · Kıyaslamalar
Ray Guardian Duyurusu: Görüntüler ve Videolar için Görsel Güvenlik
Ray Guardian, 13 görüntü düzeyi güvenlik kategorisi ve kamuya açık etiketli video veri kümeleri genelinde kıyaslanan, Ray'in birleşik görsel güvenlik sistemidir.
Ray Guardian ile tanışın
Ray Guardian, Ray'in görüntüler ve videolar için görsel güvenlik sistemidir. Görsel medyayı hassas içerik açısından inceler ve Ray'in oynatma, oluşturma, moderasyon ve aile ayarlarında kullanabileceği kategori sinyalleri döndürür.
Önemli nokta basit: Ray Guardian tek bir sistemdir. Hareketsiz görüntüler ve video klipler farklı medya yollarından girer, ancak ürün tek bir Guardian kararı alır.
Ray Guardian, görüntüler için güvenlik sınıflandırmasının tamamını değerlendirir: çıplaklık, cinsel içerik, şiddet, kanlı içerik, silahlar, uyuşturucu maddeler, alkol, sigara kullanımı, rahatsız edici içerik, öpüşme / yakınlık, kendine zarar verme, hayvanlara eziyet ve tıbbi kanlı içerik.
Ray Guardian, videoya zaman boyutunu ekler. Tek bir kare belirsiz olabilir; bir klip ise eylemi, niyeti ve bağlamı gösterebilir. Video yolu, kare düzeyinde güvenlik tanımayı klip düzeyinde zamansal anlayışla birleştirir; böylece nihai sonuç, ekranda görünenleri ve zaman içinde gerçekleşenleri yansıtır.
Kıyasladığımız sistem budur.
13 kategorili görsel güvenlik kıyaslaması
Ray Guardian, 13 kategorili ve değerlendirme için ayrılmış Ray Guardian görüntü kıyaslamasında 100.000% doğruluğa ulaştı: 17,435 bilinen etiket, 0 hata.
Bu kıyaslama, ürün sınıflandırmasının kendisine en yakın olanıdır: aynı kategori tanımları, değerlendirme için ayrılmış örnekler ve Ray Guardian görsel güvenlik kategorilerinin tamamı.
| Kıyaslama | Kapsam | Öğeler | Doğruluk | Kesinlik | Duyarlılık | F1 |
|---|---|---|---|---|---|---|
| Değerlendirme için ayrılmış Ray Guardian görüntü düzeyi kıyaslaması | 13 Ray Guardian kategorisinin tamamı | 17,435 etiket | 100.000% | 100.000% | 100.000% | 100.000% |
Kıyaslama, gerçek ürünlerde sıklıkla örtüşen kategorileri içerir: cinsel içerik ile çıplaklık, kanlı içerik ile tıbbi kanlı içerik, silahlar ile şiddet ve rahatsız edici içerik ile sıradan nahoş bağlam.
Kamuya açık etiketli video kıyaslama paketi
Video kıyaslamaları, her veri kümesinin fiilen sağladığı etiketlere göre ölçülür. Öpüşme ile sarılmayı karşılaştıran bir veri kümesi, öpüşme / yakınlık için kanıt sağlar. Bir şiddet veri kümesi, şiddet ve rahatsız edici olaylar için kanıt sağlar. Güvenli eylem veri kümesi ise sıradan eylem kliplerine sorunsuz biçimde izin verilip verilmediğini test eder.
Bu yaklaşım, sonuçların okunmasını kolaylaştırır ve yanlış kullanılmasını zorlaştırır: her satır, Ray Guardian'ın ilgili veri kümesinin kendi etiket kapsamındaki performansını bildirir.
| Veri kümesi | Ray Guardian kapsamı | Klipler | Doğruluk | Kesinlik | Duyarlılık | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Öpüşme ile Sarılma | Öpüşme / Yakınlık | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Kamuya Açık Etiketleri | Şiddet / Rahatsız Edici İçerik | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Eşlenmiş Etiketleri | Şiddet / Rahatsız Edici İçerik | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Geniş Anomali | Anomali / Rahatsız Edici İçerik | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Değerlendirme İçin Ayrılmış Güvenli Eylemler | Güvenli eylem koruma mekanizması | 330 | 100.000% | geçerli değil | geçerli değil | geçerli değil |
UCF101 satırı yalnızca negatif örneklerden oluşan bir koruma mekanizmasıdır: sıradan güvenli eylemlerin yanlışlıkla engellenip engellenmediğini ölçer. Ray Guardian bu testte 330 güvenli eylem klibinin tamamına doğru biçimde izin verdi.
Karışıklık matrisleri ne gösteriyor?
Doğruluk, öne çıkan sayıdır. Karışıklık matrisi ise bunun arkasındaki kararların dağılımını gösterir.
Her matris; doğru izinleri, yanlış alarmları, gözden kaçırılan güvenli olmayan klipleri ve doğru biçimde işaretlenen güvenli olmayan klipleri birbirinden ayırır. Bu önemlidir; çünkü bir güvenlik sistemi, sıradan medyayı gerekenden fazla kesintiye uğratmadan insanları korumalıdır.
Bağımsız referans veri kümeleri
Ray Guardian'ı bağımsız, kamuya açık ve erişimi kısıtlı referans veri kümelerinde de değerlendiriyoruz. Bu veri kümeleri yararlıdır; çünkü etiketleri başka ekipler tarafından, başka amaçlarla yazılmıştır ve Ray Guardian kategorileriyle her zaman kusursuz biçimde örtüşmez.
Aşağıdaki tablo, her sonucu veri kümesinin destekleyebildiği kategori düzeyinde bildirir. Bir veri kümesi alkol nesnelerini test ettiğinde alkol davranışını bildiririz. Tıbbi yaraları test ettiğinde ise tıbbi kanlı içerik veya rahatsız edici içerik davranışını bildiririz.
| Referans veri kümesi | Ray Guardian kapsamı | Öğeler | Doğruluk | Duyarlılık | Notlar |
|---|---|---|---|---|---|
| HoliSafe-Bench test bölümü | Eşlenmiş görüntü güvenliği kategorileri | 32,248 etiket | 94.266% | 75.779% | Bağımsız, erişimi kısıtlı güvenlik kıyaslaması |
| UnsafeBench eğitim bölümü | Eşlenmiş görüntü güvenliği kategorileri | 40,545 etiket | 89.893% | 74.482% | Bağımsız, erişimi kısıtlı güvenlik kıyaslaması |
| SurgWound test bölümü | Tıbbi kanlı içerik | 137 görüntü | 86.861% | 100.000% | Tıbbi yara duyarlılığı kontrolü |
| SurgWound test bölümü | Rahatsız edici içerik | 137 görüntü | 83.942% | 99.130% | Tıbbi yara duyarlılığı kontrolü |
| Lower Limb and Feet Wound Dataset | Tıbbi kanlı içerik | 5,443 görüntü | 65.185% | 98.958% | Yara alanına yönelik referans kontrolü |
| HOD Benchmark Dataset | Alkol | 10,631 görüntü | 97.667% | 87.095% | Araştırma kullanımına yönelik nesne kıyaslaması |
| HOD Benchmark Dataset | Sigara kullanımı | 10,631 görüntü | 98.222% | 93.391% | Araştırma kullanımına yönelik nesne kıyaslaması |
| HOD Benchmark Dataset | Silahlar | 10,631 görüntü | 85.053% | 68.659% | Araştırma kullanımına yönelik nesne kıyaslaması |
| Open Images V7 seçili doğrulama alt kümesi | Silahlar | 460 satır | 81.957% | 87.234% | Nesne etiketi referans kontrolü |
Bu satırlar, Ray Guardian'ın geliştirilirken temel alınan kıyaslamanın ötesinde nasıl davrandığını gösterir.
Sayılar neden farklı?
Kamuya açık bir referanstaki daha düşük puan çelişki değildir. Bu, veri kümesinin farklı bir soru sorduğu anlamına gelir.
13 kategorili Ray Guardian kıyaslaması, sistemin Ray'de kullanılan güvenlik kategorilerini tanıyıp tanımadığını sorar. Bağımsız referans veri kümeleri ise dışarıdan gelen etiketler, veri toplama yöntemleri ve kategori tanımları bu sınıflandırmaya eşlendiğinde ne olduğunu sorar.
Puanlar basit nedenlerle değişebilir:
- Farklı etiket tanımları. Ray Guardian güvenlik açısından taşıdığı anlamı değerlendirirken bir veri kümesi bir nesneyi etiketleyebilir. Bir şarap kadehi, şişe, bıçak veya klinik yara tek başına her zaman güvenli olmayan içerik değildir.
- Kaba etiketler. Kamuya açık bazı güvenlik etiketleri, birkaç kavramı tek bir geniş etikette birleştirir. Ray Guardian kategorileri daha ayrıntılıdır.
- Bağlam boşlukları. Bazı etiketler açıklama metnine, sese, çevredeki sahneye veya insan niyetine bağlıdır. Bu testler görünür içeriği ölçer.
- Alan kayması. Harici veri kümeleri farklı kırpmalar, çözünürlükler, üretilmiş görüntüler, güvenlik kamerası görüntüleri, nesne yakın çekimleri ve tıbbi görüntüler içerir.
- Farklı görev tasarımı. Nesne tanıma kıyaslamaları yararlı stres testleridir, ancak nesne tanıma görsel güvenlik moderasyonuyla aynı değildir.
Uyumlu kıyaslama, Ray Guardian'ın ürün sınıflandırmasındaki performansı gösterir. Referans veri kümeleri ise bu sınıflandırmanın daha karmaşık dış verilere nasıl aktarıldığını gösterir.
Kıyaslama nasıl okunmalı?
Her sayıyı, arkasındaki etiketlerin düzeyinde okuyun.
- 13 kategorili sonuç, Ray Guardian görüntü düzeyi güvenlik sınıflandırmasının tamamını ölçer.
- Video satırları, Ray Guardian'ı her veri kümesindeki mevcut kamuya açık video etiketleri üzerinden ölçer.
- Bağımsız referans satırları, dış etiket sistemlerine aktarımı ölçer; ürün sınıflandırması kıyaslamasının yerine geçmez.
Ray Guardian artık Ray'in birleşik görsel güvenlik katmanıdır: görüntüler ve klipler için tek bir sistem olarak hassas içeriği saptamak ve medya kareden kareye ilerlerken kararların tutarlılığını korumak üzere geliştirilmiştir.
Kaynak veri kümeleri
Kıyaslama paketi; FiftyOne üzerinden HMDB51, XD-Violence, UCF-Crime, FiftyOne üzerinden UCF101, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound ve HOD Benchmark Dataset dâhil olmak üzere veri kümesi kaynaklarına atıfta bulunur.
