Sedang dimainkan · Penanda Aras
Memperkenalkan Ray Guardian: Keselamatan Visual untuk Imej dan Video
Ray Guardian ialah sistem keselamatan visual bersepadu Ray, yang ditanda aras merentas 13 kategori keselamatan peringkat imej dan set data video berlabel awam.
Memperkenalkan Ray Guardian
Ray Guardian ialah sistem keselamatan visual Ray untuk imej dan video. Sistem ini menyemak media visual bagi mengesan kandungan sensitif dan mengembalikan isyarat kategori yang boleh digunakan oleh Ray untuk main balik, penciptaan, penyederhanaan, dan tetapan keluarga.
Perkara pentingnya mudah: Ray Guardian ialah satu sistem. Imej pegun dan klip video masuk melalui laluan media yang berbeza, tetapi produk menerima satu keputusan Guardian.
Untuk imej, Ray Guardian menilai taksonomi keselamatan penuh: kebogelan, kandungan seksual, keganasan, kandungan berdarah, senjata, dadah, alkohol, merokok, kandungan mengganggu, berciuman / keintiman, mencederakan diri, kekejaman terhadap haiwan, dan kandungan perubatan berdarah.
Untuk video, Ray Guardian menambahkan dimensi masa. Satu bingkai boleh bersifat samar; sesuatu klip boleh menunjukkan tindakan, niat, dan konteks. Laluan video menggabungkan pengecaman keselamatan peringkat bingkai dengan pemahaman temporal peringkat klip supaya hasil akhir mencerminkan perkara yang muncul pada skrin dan perkara yang berlaku dari semasa ke semasa.
Itulah sistem yang kami tanda aras.
Penanda aras keselamatan visual 13 kategori
Ray Guardian mencapai ketepatan 100.000% pada penanda aras imej diasingkan 13 kategori Ray Guardian: 17,435 label diketahui, 0 ralat.
Penanda aras ini paling hampir dengan taksonomi produk itu sendiri: definisi kategori yang sama, contoh yang diasingkan, dan set lengkap kategori keselamatan visual Ray Guardian.
| Penanda aras | Skop | Item | Ketepatan | Kejituan | Dapatan semula | F1 |
|---|---|---|---|---|---|---|
| Penanda aras peringkat imej diasingkan Ray Guardian | Semua 13 kategori Ray Guardian | 17,435 label | 100.000% | 100.000% | 100.000% | 100.000% |
Penanda aras ini merangkumi kategori yang sering bertindih dalam produk sebenar: kandungan seksual berbanding kebogelan, kandungan berdarah berbanding kandungan perubatan berdarah, senjata berbanding keganasan, dan kandungan mengganggu berbanding konteks tidak menyenangkan yang biasa.
Suit penanda aras video berlabel awam
Penanda aras video diukur berdasarkan label yang benar-benar disediakan oleh setiap set data. Set data berciuman-berbanding-berpelukan menyokong bukti berciuman / keintiman. Set data keganasan menyokong bukti keganasan dan peristiwa mengganggu. Set data tindakan selamat menguji sama ada klip tindakan biasa dibenarkan melaluinya tanpa masalah.
Hal ini menjadikan hasil lebih mudah dibaca dan lebih sukar disalahgunakan: setiap baris melaporkan prestasi Ray Guardian pada skop label asli set data tersebut.
| Set data | Skop Ray Guardian | Klip | Ketepatan | Kejituan | Dapatan semula | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Berciuman / Keintiman | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Keganasan / Mengganggu | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Keganasan / Mengganggu | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Anomali / Mengganggu | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Pagar pengadang tindakan selamat | 330 | 100.000% | n/a | n/a | n/a |
Baris UCF101 ialah pagar pengadang negatif sahaja: baris ini mengukur sama ada tindakan selamat biasa disekat secara tidak betul. Dalam ujian tersebut, Ray Guardian membenarkan kesemua 330 klip tindakan selamat dengan betul.
Perkara yang ditunjukkan oleh matriks kekeliruan
Ketepatan ialah angka utama. Matriks kekeliruan menunjukkan bentuk keputusan di sebalik angka tersebut.
Setiap matriks memisahkan kebenaran yang betul, amaran palsu, klip tidak selamat yang terlepas, dan klip tidak selamat yang ditandai dengan betul. Hal ini penting kerana sistem keselamatan perlu melindungi orang ramai tanpa mengganggu media biasa lebih daripada yang diperlukan.
Set data rujukan bebas
Kami turut menilai Ray Guardian pada set data rujukan bebas yang awam dan berakses terhad. Set data ini berguna kerana labelnya ditulis oleh pasukan lain, untuk matlamat lain, dan tidak semestinya sejajar dengan sempurna dengan kategori Ray Guardian.
Jadual di bawah melaporkan setiap hasil pada peringkat kategori yang dapat disokong oleh set data tersebut. Apabila set data menguji objek alkohol, kami melaporkan tingkah laku alkohol. Apabila set data menguji luka perubatan, kami melaporkan tingkah laku kandungan perubatan berdarah atau kandungan mengganggu.
| Set data rujukan | Skop Ray Guardian | Item | Ketepatan | Dapatan semula | Catatan |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Kategori keselamatan imej yang dipetakan | 32,248 label | 94.266% | 75.779% | Penanda aras keselamatan bebas berakses terhad |
| UnsafeBench train split | Kategori keselamatan imej yang dipetakan | 40,545 label | 89.893% | 74.482% | Penanda aras keselamatan bebas berakses terhad |
| SurgWound test split | Kandungan perubatan berdarah | 137 imej | 86.861% | 100.000% | Semakan kepekaan luka perubatan |
| SurgWound test split | Kandungan mengganggu | 137 imej | 83.942% | 99.130% | Semakan kepekaan luka perubatan |
| Lower Limb and Feet Wound Dataset | Kandungan perubatan berdarah | 5,443 imej | 65.185% | 98.958% | Semakan rujukan domain luka |
| HOD Benchmark Dataset | Alkohol | 10,631 imej | 97.667% | 87.095% | Penanda aras objek kegunaan penyelidikan |
| HOD Benchmark Dataset | Merokok | 10,631 imej | 98.222% | 93.391% | Penanda aras objek kegunaan penyelidikan |
| HOD Benchmark Dataset | Senjata | 10,631 imej | 85.053% | 68.659% | Penanda aras objek kegunaan penyelidikan |
| Open Images V7 selected validation subset | Senjata | 460 baris | 81.957% | 87.234% | Semakan rujukan label objek |
Baris-baris ini menunjukkan cara Ray Guardian berkelakuan di luar penanda aras yang digunakan untuk membangunkannya.
Sebab angka berbeza
Skor rujukan awam yang lebih rendah bukan suatu percanggahan. Hal itu bermakna set data tersebut mengemukakan soalan yang berbeza.
Penanda aras 13 kategori Ray Guardian menguji sama ada sistem mengenali kategori keselamatan yang digunakan dalam Ray. Set data rujukan bebas menguji perkara yang berlaku apabila label luaran, kaedah pengumpulan luaran, dan definisi kategori luaran dipetakan ke dalam taksonomi tersebut.
Skor boleh berubah atas sebab yang jelas:
- Definisi label yang berbeza. Sesuatu set data mungkin melabelkan objek sedangkan Ray Guardian menilai makna keselamatan. Gelas wain, botol, pisau, atau luka klinikal tidak semestinya tidak selamat dengan sendirinya.
- Label kasar. Sesetengah label keselamatan awam menggabungkan beberapa konsep menjadi satu label luas. Kategori Ray Guardian lebih khusus.
- Jurang konteks. Sesetengah label bergantung pada kapsyen, audio, adegan sekeliling, atau niat manusia. Ujian ini mengukur kandungan yang boleh dilihat.
- Anjakan domain. Set data luaran merangkumi pangkasan, resolusi, imej dijana, rakaman pengawasan, gambar dekat objek, dan imejan perubatan yang berbeza.
- Reka bentuk tugas yang berbeza. Penanda aras pengecaman objek ialah ujian tekanan yang berguna, tetapi pengecaman objek tidak sama dengan penyederhanaan keselamatan visual.
Penanda aras yang diselaraskan menunjukkan prestasi pada taksonomi produk Ray Guardian. Set data rujukan menunjukkan cara taksonomi tersebut dipindahkan kepada data luaran yang lebih tidak teratur.
Cara membaca penanda aras
Baca setiap angka pada peringkat label yang mendasarinya.
- Hasil 13 kategori mengukur taksonomi keselamatan peringkat imej Ray Guardian yang lengkap.
- Baris video mengukur Ray Guardian berdasarkan label video awam yang tersedia dalam setiap set data.
- Baris rujukan bebas mengukur pemindahan kepada sistem label luaran, bukan pengganti bagi penanda aras taksonomi produk.
Ray Guardian kini ialah lapisan keselamatan visual bersepadu Ray: satu sistem untuk imej dan klip, dibina untuk mengesan kandungan sensitif dan memastikan keputusan kekal stabil apabila media bergerak dari satu bingkai ke bingkai seterusnya.
Set data sumber
Suit penanda aras memetik sumber set data termasuk HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound, dan HOD Benchmark Dataset.
