מתנגן כעת · מדדי ביצועים
הכירו את Ray Guardian: בטיחות חזותית לתמונות ולווידאו
Ray Guardian היא מערכת הבטיחות החזותית המאוחדת של Ray, שנבחנה מול 13 קטגוריות בטיחות ברמת התמונה ומערכי נתוני וידאו עם תיוג ציבורי.
היכרות עם Ray Guardian
Ray Guardian היא מערכת הבטיחות החזותית של Ray לתמונות ולווידאו. היא בודקת מדיה חזותית לאיתור תוכן רגיש ומחזירה אותות לפי קטגוריות שבהם Ray יכולה להשתמש להפעלה, ליצירה, לניהול תוכן ולהגדרות משפחתיות.
הנקודה החשובה פשוטה: Ray Guardian היא מערכת אחת. תמונות סטילס וקטעי וידאו נכנסים דרך נתיבי מדיה שונים, אך המוצר מקבל החלטת Guardian אחת.
עבור תמונות, Ray Guardian בוחנת את טקסונומיית הבטיחות המלאה: עירום, תוכן מיני, אלימות, תוכן גרפי, כלי נשק, סמים, אלכוהול, עישון, תוכן מטריד, נשיקות / אינטימיות, פגיעה עצמית, התעללות בבעלי חיים ותוכן רפואי גרפי.
עבור וידאו, Ray Guardian מוסיפה את ממד הזמן. פריים יחיד עשוי להיות עמום; קטע יכול להציג פעולה, כוונה והקשר. נתיב הווידאו משלב זיהוי בטיחות ברמת הפריים עם הבנה טמפורלית ברמת הקטע, כך שהתוצאה הסופית משקפת את מה שמופיע על המסך ואת מה שמתרחש לאורך זמן.
זו המערכת שבחנו.
מדד ביצועים לבטיחות חזותית ב-13 קטגוריות
Ray Guardian השיגה דיוק של 100.000% במדד הביצועים לתמונות מוחזקות-בצד של Ray Guardian ב-13 קטגוריות: 17,435 תוויות ידועות, 0 שגיאות.
מדד ביצועים זה הוא הקרוב ביותר לטקסונומיית המוצר עצמה: אותן הגדרות קטגוריה, דוגמאות מוחזקות-בצד והמערך המלא של קטגוריות הבטיחות החזותית של Ray Guardian.
| מדד ביצועים | היקף | פריטים | דיוק | דיוק חיובי | כיסוי | F1 |
|---|---|---|---|---|---|---|
| מדד ביצועים ברמת התמונה המוחזקת-בצד של Ray Guardian | כל 13 הקטגוריות של Ray Guardian | 17,435 תוויות | 100.000% | 100.000% | 100.000% | 100.000% |
מדד הביצועים כולל קטגוריות שלעתים קרובות חופפות במוצרים אמיתיים: תוכן מיני לעומת עירום, תוכן גרפי לעומת תוכן רפואי גרפי, כלי נשק לעומת אלימות ותוכן מטריד לעומת הקשר רגיל ולא נעים.
חבילת מדדי ביצועים לווידאו עם תיוג ציבורי
מדדי הביצועים לווידאו נמדדים מול התוויות שכל מערך נתונים מספק בפועל. מערך נתונים של נשיקה לעומת חיבוק תומך בראיות לנשיקות / אינטימיות. מערך נתונים של אלימות תומך בראיות לאלימות ולאירועים מטרידים. מערך נתונים של פעולות בטוחות בודק אם קטעי פעולה רגילים מורשים לעבור באופן תקין.
כך התוצאות קלות יותר לקריאה וקשות יותר לשימוש שגוי: כל שורה מדווחת על ביצועי Ray Guardian בהיקף התוויות המקורי של אותו מערך נתונים.
| מערך נתונים | היקף Ray Guardian | קטעים | דיוק | דיוק חיובי | כיסוי | F1 |
|---|---|---|---|---|---|---|
| HMDB51 נשיקה לעומת חיבוק | נשיקות / אינטימיות | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence תוויות ציבוריות | אלימות / תוכן מטריד | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime תוויות ממופות | אלימות / תוכן מטריד | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime חריגה רחבה | חריגה / תוכן מטריד | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 קבוצת בדיקה מוחזקת-בצד של פעולות בטוחות | מנגנון הגנה לפעולות בטוחות | 330 | 100.000% | n/a | n/a | n/a |
השורה של UCF101 היא מנגנון הגנה הכולל דוגמאות שליליות בלבד: היא מודדת אם פעולות רגילות ובטוחות נחסמות בטעות. בבדיקה זו, Ray Guardian התירה כראוי את כל 330 קטעי הפעולות הבטוחות.
מה מראות מטריצות הבלבול
הדיוק הוא הנתון המרכזי. מטריצת בלבול מראה את מבנה ההחלטות שמאחוריו.
כל מטריצה מפרידה בין אישורים נכונים, התראות שווא, קטעים לא בטוחים שהוחמצו וקטעים לא בטוחים שסומנו כראוי. הדבר חשוב משום שמערכת בטיחות צריכה להגן על אנשים בלי להפריע למדיה רגילה יותר מהנדרש.
מערכי נתוני ייחוס עצמאיים
אנו בוחנים את Ray Guardian גם במערכי נתוני ייחוס ציבוריים ומוגבלי-גישה שאינם תלויים בנו. מערכי נתונים אלה שימושיים משום שהתוויות שלהם נכתבו בידי צוותים אחרים, למטרות אחרות, ולא תמיד תואמות באופן מושלם לקטגוריות של Ray Guardian.
הטבלה שלהלן מדווחת על כל תוצאה ברמת הקטגוריה שבה מערך הנתונים יכול לתמוך. כאשר מערך נתונים בודק אובייקטים הקשורים לאלכוהול, אנו מדווחים על התנהגות הקשורה לאלכוהול. כאשר הוא בודק פצעים רפואיים, אנו מדווחים על התנהגות של תוכן רפואי גרפי או תוכן מטריד.
| מערך נתוני ייחוס | היקף Ray Guardian | פריטים | דיוק | כיסוי | הערות |
|---|---|---|---|---|---|
| פיצול הבדיקה של HoliSafe-Bench | קטגוריות ממופות של בטיחות תמונות | 32,248 תוויות | 94.266% | 75.779% | מדד ביצועי בטיחות עצמאי ומוגבל-גישה |
| פיצול האימון של UnsafeBench | קטגוריות ממופות של בטיחות תמונות | 40,545 תוויות | 89.893% | 74.482% | מדד ביצועי בטיחות עצמאי ומוגבל-גישה |
| פיצול הבדיקה של SurgWound | תוכן רפואי גרפי | 137 תמונות | 86.861% | 100.000% | בדיקת רגישות לפצעים רפואיים |
| פיצול הבדיקה של SurgWound | תוכן מטריד | 137 תמונות | 83.942% | 99.130% | בדיקת רגישות לפצעים רפואיים |
| Lower Limb and Feet Wound Dataset | תוכן רפואי גרפי | 5,443 תמונות | 65.185% | 98.958% | בדיקת ייחוס בתחום הפצעים |
| HOD Benchmark Dataset | אלכוהול | 10,631 תמונות | 97.667% | 87.095% | מדד ביצועים לאובייקטים לשימוש מחקרי |
| HOD Benchmark Dataset | עישון | 10,631 תמונות | 98.222% | 93.391% | מדד ביצועים לאובייקטים לשימוש מחקרי |
| HOD Benchmark Dataset | כלי נשק | 10,631 תמונות | 85.053% | 68.659% | מדד ביצועים לאובייקטים לשימוש מחקרי |
| תת-קבוצת האימות הנבחרת של Open Images V7 | כלי נשק | 460 שורות | 81.957% | 87.234% | בדיקת ייחוס לתוויות אובייקטים |
שורות אלה מראות כיצד Ray Guardian מתנהגת מעבר למדד הביצועים שלפיו היא נבנתה.
מדוע המספרים שונים
ציון נמוך יותר בנתוני ייחוס ציבוריים אינו סתירה. משמעותו היא שמערך הנתונים שואל שאלה אחרת.
מדד הביצועים של Ray Guardian ב-13 קטגוריות בודק אם המערכת מזהה את קטגוריות הבטיחות המשמשות ב-Ray. מערכי נתוני הייחוס העצמאיים בודקים מה קורה כאשר תוויות חיצוניות, שיטות איסוף חיצוניות והגדרות קטגוריה חיצוניות ממופות לטקסונומיה זו.
ציונים עשויים להשתנות מסיבות ישירות:
- הגדרות תווית שונות. מערך נתונים עשוי לתייג אובייקט בעוד Ray Guardian מעריכה את משמעותו הבטיחותית. כוס יין, בקבוק, סכין או פצע קליני אינם תמיד לא בטוחים בפני עצמם.
- תוויות גסות. חלק מתוויות הבטיחות הציבוריות משלבות כמה מושגים בתווית רחבה אחת. הקטגוריות של Ray Guardian ממוקדות יותר.
- פערי הקשר. חלק מהתוויות תלויות בכיתוב, בשמע, בסצנה הסובבת או בכוונה אנושית. בדיקות אלה מודדות תוכן גלוי.
- היסט תחום. מערכי נתונים חיצוניים כוללים חיתוכים, רזולוציות, תמונות שנוצרו, צילומי מעקב, תקריבים של אובייקטים ודימות רפואי מסוגים שונים.
- תכנון משימה שונה. מדדי ביצועים לזיהוי אובייקטים הם מבחני מאמץ שימושיים, אך זיהוי אובייקטים אינו זהה לניהול בטיחות חזותית.
מדד הביצועים המותאם מציג ביצועים על טקסונומיית המוצר של Ray Guardian. מערכי נתוני הייחוס מראים כיצד טקסונומיה זו עוברת לנתונים חיצוניים מורכבים יותר.
כיצד לקרוא את מדד הביצועים
יש לקרוא כל מספר ברמת התוויות שמאחוריו.
- התוצאה של 13 הקטגוריות מודדת את מלוא טקסונומיית הבטיחות של Ray Guardian ברמת התמונה.
- שורות הווידאו מודדות את Ray Guardian על תוויות הווידאו הציבוריות הזמינות בכל מערך נתונים.
- שורות הייחוס העצמאיות מודדות העברה למערכות תוויות חיצוניות, ולא תחליף למדד הביצועים של טקסונומיית המוצר.
Ray Guardian היא כעת שכבת הבטיחות החזותית המאוחדת של Ray: מערכת אחת לתמונות ולקטעים, שנבנתה כדי לאתר תוכן רגיש ולשמור על יציבות ההחלטות כשהמדיה עוברת מפריים לפריים.
מערכי נתוני המקור
חבילת מדדי הביצועים מצטטת מקורות של מערכי נתונים, ובהם HMDB51 דרך FiftyOne, XD-Violence, UCF-Crime, UCF101 דרך FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound, ו-HOD Benchmark Dataset.
