Αναπαράγεται τώρα · Σημεία αναφοράς
Παρουσιάζουμε το Ray Guardian: Οπτική ασφάλεια για εικόνες και βίντεο
Το Ray Guardian είναι το ενοποιημένο σύστημα οπτικής ασφάλειας του Ray, αξιολογημένο σε 13 κατηγορίες ασφάλειας σε επίπεδο εικόνας και σε σύνολα δεδομένων βίντεο με δημόσια διαθέσιμες ετικέτες.
Παρουσίαση του Ray Guardian
Το Ray Guardian είναι το σύστημα οπτικής ασφάλειας του Ray για εικόνες και βίντεο. Ελέγχει οπτικά μέσα για ευαίσθητο περιεχόμενο και επιστρέφει σήματα κατηγοριών που μπορεί να χρησιμοποιεί το Ray για αναπαραγωγή, δημιουργία, εποπτεία περιεχομένου και οικογενειακές ρυθμίσεις.
Το σημαντικό είναι απλό: το Ray Guardian είναι ένα ενιαίο σύστημα. Οι στατικές εικόνες και τα αποσπάσματα βίντεο εισέρχονται μέσω διαφορετικών διαδρομών πολυμέσων, αλλά το προϊόν λαμβάνει μία ενιαία απόφαση του Guardian.
Για τις εικόνες, το Ray Guardian αξιολογεί την πλήρη ταξινομία ασφάλειας: γυμνό, σεξουαλικό περιεχόμενο, βία, αιματηρό περιεχόμενο, όπλα, ναρκωτικά, αλκοόλ, κάπνισμα, ενοχλητικό περιεχόμενο, φιλί / οικειότητα, αυτοτραυματισμός, κακοποίηση ζώων και ιατρικό αιματηρό περιεχόμενο.
Για τα βίντεο, το Ray Guardian προσθέτει τη διάσταση του χρόνου. Ένα μεμονωμένο καρέ μπορεί να είναι διφορούμενο· ένα απόσπασμα μπορεί να δείχνει δράση, πρόθεση και συγκείμενο. Η διαδρομή βίντεο συνδυάζει την αναγνώριση ασφάλειας σε επίπεδο καρέ με τη χρονική κατανόηση σε επίπεδο αποσπάσματος, ώστε το τελικό αποτέλεσμα να αντανακλά τι εμφανίζεται στην οθόνη και τι συμβαίνει με την πάροδο του χρόνου.
Αυτό είναι το σύστημα που αξιολογήσαμε.
Σημείο αναφοράς οπτικής ασφάλειας 13 κατηγοριών
Το Ray Guardian πέτυχε 100.000% ακρίβεια στο δεσμευμένο για αξιολόγηση σημείο αναφοράς εικόνων 13 κατηγοριών του Ray Guardian: 17,435 γνωστές ετικέτες, 0 σφάλματα.
Αυτό το σημείο αναφοράς είναι το πλησιέστερο στην ίδια την ταξινομία του προϊόντος: οι ίδιοι ορισμοί κατηγοριών, δεσμευμένα για αξιολόγηση παραδείγματα και το πλήρες σύνολο κατηγοριών οπτικής ασφάλειας του Ray Guardian.
| Σημείο αναφοράς | Πεδίο | Στοιχεία | Ακρίβεια | Θετική προγνωστική αξία | Ανάκληση | F1 |
|---|---|---|---|---|---|---|
| Ray Guardian held-out image-level benchmark | Και οι 13 κατηγορίες του Ray Guardian | 17,435 labels | 100.000% | 100.000% | 100.000% | 100.000% |
Το σημείο αναφοράς περιλαμβάνει κατηγορίες που συχνά αλληλεπικαλύπτονται σε πραγματικά προϊόντα: σεξουαλικό περιεχόμενο έναντι γυμνού, αιματηρό περιεχόμενο έναντι ιατρικού αιματηρού περιεχομένου, όπλα έναντι βίας και ενοχλητικό περιεχόμενο έναντι συνηθισμένου δυσάρεστου συγκειμένου.
Σουίτα σημείων αναφοράς βίντεο με δημόσια διαθέσιμες ετικέτες
Τα σημεία αναφοράς βίντεο μετρώνται έναντι των ετικετών που παρέχει πραγματικά κάθε σύνολο δεδομένων. Ένα σύνολο δεδομένων φιλιού έναντι αγκαλιάς παρέχει ενδείξεις για φιλί / οικειότητα. Ένα σύνολο δεδομένων βίας παρέχει ενδείξεις για βία και ενοχλητικά συμβάντα. Ένα σύνολο δεδομένων ασφαλών ενεργειών ελέγχει αν τα συνηθισμένα αποσπάσματα δράσης επιτρέπονται χωρίς εσφαλμένο αποκλεισμό.
Αυτό καθιστά τα αποτελέσματα ευκολότερα στην ανάγνωση και δυσκολότερα στην κατάχρηση: κάθε γραμμή αναφέρει την απόδοση του Ray Guardian στο εγγενές πεδίο ετικετών του συγκεκριμένου συνόλου δεδομένων.
| Σύνολο δεδομένων | Πεδίο του Ray Guardian | Αποσπάσματα | Ακρίβεια | Θετική προγνωστική αξία | Ανάκληση | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Φιλί / Οικειότητα | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Βία / Ενοχλητικό περιεχόμενο | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Βία / Ενοχλητικό περιεχόμενο | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Ανωμαλία / Ενοχλητικό περιεχόμενο | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Δικλίδα ασφαλών ενεργειών | 330 | 100.000% | n/a | n/a | n/a |
Η γραμμή UCF101 είναι μια δικλίδα με αποκλειστικά αρνητικά δείγματα: μετρά αν συνηθισμένες ασφαλείς ενέργειες αποκλείονται εσφαλμένα. Σε αυτή τη δοκιμή, το Ray Guardian επέτρεψε σωστά και τα 330 αποσπάσματα ασφαλών ενεργειών.
Τι δείχνουν οι πίνακες σύγχυσης
Η ακρίβεια είναι ο κύριος αριθμός. Ένας πίνακας σύγχυσης δείχνει τη μορφή των αποφάσεων που βρίσκονται πίσω από αυτόν.
Κάθε πίνακας διαχωρίζει τις σωστές επιτρεπτικές αποφάσεις, τους ψευδείς συναγερμούς, τα μη εντοπισμένα μη ασφαλή αποσπάσματα και τα μη ασφαλή αποσπάσματα που επισημάνθηκαν σωστά. Αυτό έχει σημασία επειδή ένα σύστημα ασφάλειας πρέπει να προστατεύει τους ανθρώπους χωρίς να διακόπτει τα συνηθισμένα μέσα περισσότερο από όσο είναι απαραίτητο.
Ανεξάρτητα σύνολα δεδομένων αναφοράς
Αξιολογούμε επίσης το Ray Guardian σε ανεξάρτητα δημόσια και ελεγχόμενης πρόσβασης σύνολα δεδομένων αναφοράς. Αυτά τα σύνολα δεδομένων είναι χρήσιμα επειδή οι ετικέτες τους δημιουργήθηκαν από άλλες ομάδες, για άλλους σκοπούς, και δεν ευθυγραμμίζονται πάντα απόλυτα με τις κατηγορίες του Ray Guardian.
Ο παρακάτω πίνακας αναφέρει κάθε αποτέλεσμα στο επίπεδο κατηγορίας που μπορεί να υποστηρίξει το σύνολο δεδομένων. Όταν ένα σύνολο δεδομένων ελέγχει αντικείμενα αλκοόλ, αναφέρουμε τη συμπεριφορά της κατηγορίας αλκοόλ. Όταν ελέγχει ιατρικά τραύματα, αναφέρουμε τη συμπεριφορά των κατηγοριών ιατρικού αιματηρού περιεχομένου ή ενοχλητικού περιεχομένου.
| Σύνολο δεδομένων αναφοράς | Πεδίο του Ray Guardian | Στοιχεία | Ακρίβεια | Ανάκληση | Σημειώσεις |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Αντιστοιχισμένες κατηγορίες ασφάλειας εικόνων | 32,248 labels | 94.266% | 75.779% | Ανεξάρτητο σημείο αναφοράς ασφάλειας ελεγχόμενης πρόσβασης |
| UnsafeBench train split | Αντιστοιχισμένες κατηγορίες ασφάλειας εικόνων | 40,545 labels | 89.893% | 74.482% | Ανεξάρτητο σημείο αναφοράς ασφάλειας ελεγχόμενης πρόσβασης |
| SurgWound test split | Ιατρικό αιματηρό περιεχόμενο | 137 images | 86.861% | 100.000% | Έλεγχος ευαισθησίας σε ιατρικά τραύματα |
| SurgWound test split | Ενοχλητικό περιεχόμενο | 137 images | 83.942% | 99.130% | Έλεγχος ευαισθησίας σε ιατρικά τραύματα |
| Lower Limb and Feet Wound Dataset | Ιατρικό αιματηρό περιεχόμενο | 5,443 images | 65.185% | 98.958% | Έλεγχος αναφοράς στον τομέα των τραυμάτων |
| HOD Benchmark Dataset | Αλκοόλ | 10,631 images | 97.667% | 87.095% | Σημείο αναφοράς αντικειμένων για ερευνητική χρήση |
| HOD Benchmark Dataset | Κάπνισμα | 10,631 images | 98.222% | 93.391% | Σημείο αναφοράς αντικειμένων για ερευνητική χρήση |
| HOD Benchmark Dataset | Όπλα | 10,631 images | 85.053% | 68.659% | Σημείο αναφοράς αντικειμένων για ερευνητική χρήση |
| Open Images V7 selected validation subset | Όπλα | 460 rows | 81.957% | 87.234% | Έλεγχος αναφοράς ετικετών αντικειμένων |
Αυτές οι γραμμές δείχνουν πώς συμπεριφέρεται το Ray Guardian πέρα από το σημείο αναφοράς βάσει του οποίου αναπτύχθηκε.
Γιατί διαφέρουν οι αριθμοί
Μια χαμηλότερη δημόσια βαθμολογία αναφοράς δεν αποτελεί αντίφαση. Σημαίνει ότι το σύνολο δεδομένων θέτει διαφορετικό ερώτημα.
Το σημείο αναφοράς 13 κατηγοριών του Ray Guardian εξετάζει αν το σύστημα αναγνωρίζει τις κατηγορίες ασφάλειας που χρησιμοποιούνται στο Ray. Τα ανεξάρτητα σύνολα δεδομένων αναφοράς εξετάζουν τι συμβαίνει όταν εξωτερικές ετικέτες, εξωτερικές μέθοδοι συλλογής και εξωτερικοί ορισμοί κατηγοριών αντιστοιχίζονται σε αυτή την ταξινομία.
Οι βαθμολογίες μπορούν να μεταβληθούν για απλούς λόγους:
- Διαφορετικοί ορισμοί ετικετών. Ένα σύνολο δεδομένων μπορεί να επισημαίνει ένα αντικείμενο, ενώ το Ray Guardian αξιολογεί το νόημά του ως προς την ασφάλεια. Ένα ποτήρι κρασιού, ένα μπουκάλι, ένα μαχαίρι ή ένα κλινικό τραύμα δεν είναι πάντα μη ασφαλές από μόνο του.
- Αδρές ετικέτες. Ορισμένες δημόσιες ετικέτες ασφάλειας συνδυάζουν πολλές έννοιες σε μία ευρεία ετικέτα. Οι κατηγορίες του Ray Guardian είναι πιο συγκεκριμένες.
- Κενά συγκειμένου. Ορισμένες ετικέτες εξαρτώνται από λεζάντες, ήχο, την περιβάλλουσα σκηνή ή την ανθρώπινη πρόθεση. Αυτές οι δοκιμές μετρούν το ορατό περιεχόμενο.
- Μετατόπιση πεδίου. Τα εξωτερικά σύνολα δεδομένων περιλαμβάνουν διαφορετικές περικοπές, αναλύσεις, παραγόμενες εικόνες, υλικό επιτήρησης, κοντινές λήψεις αντικειμένων και ιατρικές εικόνες.
- Διαφορετικός σχεδιασμός εργασιών. Τα σημεία αναφοράς αναγνώρισης αντικειμένων είναι χρήσιμες δοκιμές αντοχής, αλλά η αναγνώριση αντικειμένων δεν ταυτίζεται με την εποπτεία οπτικού περιεχομένου για λόγους ασφάλειας.
Το ευθυγραμμισμένο σημείο αναφοράς δείχνει την απόδοση στην ταξινομία προϊόντος του Ray Guardian. Τα σύνολα δεδομένων αναφοράς δείχνουν πώς μεταφέρεται αυτή η ταξινομία σε πιο ανομοιογενή εξωτερικά δεδομένα.
Πώς να διαβάσετε το σημείο αναφοράς
Διαβάστε κάθε αριθμό στο επίπεδο των ετικετών στις οποίες βασίζεται.
- Το αποτέλεσμα 13 κατηγοριών μετρά την πλήρη ταξινομία ασφάλειας του Ray Guardian σε επίπεδο εικόνας.
- Οι γραμμές βίντεο μετρούν το Ray Guardian βάσει των δημόσιων ετικετών βίντεο που είναι διαθέσιμες σε κάθε σύνολο δεδομένων.
- Οι ανεξάρτητες γραμμές αναφοράς μετρούν τη μεταφορά σε εξωτερικά συστήματα ετικετών και δεν αντικαθιστούν το σημείο αναφοράς της ταξινομίας του προϊόντος.
Το Ray Guardian είναι πλέον το ενοποιημένο επίπεδο οπτικής ασφάλειας του Ray: ένα σύστημα για εικόνες και αποσπάσματα, σχεδιασμένο να εντοπίζει ευαίσθητο περιεχόμενο και να διατηρεί σταθερές τις αποφάσεις καθώς τα μέσα εξελίσσονται από καρέ σε καρέ.
Σύνολα δεδομένων προέλευσης
Η σουίτα σημείων αναφοράς παραπέμπει σε πηγές συνόλων δεδομένων, μεταξύ των οποίων τα HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound και HOD Benchmark Dataset.
