กำลังเล่น · เกณฑ์มาตรฐาน
เปิดตัว Ray Guardian: ความปลอดภัยทางภาพสำหรับรูปภาพและวิดีโอ
Ray Guardian คือระบบความปลอดภัยทางภาพแบบรวมศูนย์ของ Ray ซึ่งได้รับการประเมินด้วยเกณฑ์มาตรฐานครอบคลุมหมวดหมู่ความปลอดภัยระดับรูปภาพ 13 หมวดหมู่และชุดข้อมูลวิดีโอที่มีป้ายกำกับสาธารณะ
ขอแนะนำ Ray Guardian
Ray Guardian คือระบบความปลอดภัยทางภาพของ Ray สำหรับรูปภาพและวิดีโอ ระบบจะตรวจสอบสื่อภาพเพื่อหาเนื้อหาที่ละเอียดอ่อนและส่งคืนสัญญาณตามหมวดหมู่ที่ Ray สามารถใช้สำหรับการเล่น การสร้าง การกลั่นกรอง และการตั้งค่าสำหรับครอบครัว
ส่วนสำคัญนั้นเรียบง่าย: Ray Guardian เป็นระบบเดียว ภาพนิ่งและคลิปวิดีโอเข้าสู่ระบบผ่านเส้นทางสื่อที่ต่างกัน แต่ผลิตภัณฑ์จะได้รับผลการตัดสินจาก Guardian เพียงหนึ่งรายการ
สำหรับรูปภาพ Ray Guardian จะประเมินอนุกรมวิธานความปลอดภัยทั้งหมด ได้แก่ ภาพเปลือย เนื้อหาทางเพศ ความรุนแรง เนื้อหานองเลือด อาวุธ ยาเสพติด แอลกอฮอล์ การสูบบุหรี่ เนื้อหาที่รบกวนจิตใจ การจูบ / ความใกล้ชิด การทำร้ายตนเอง การทารุณกรรมสัตว์ และเนื้อหานองเลือดทางการแพทย์
สำหรับวิดีโอ Ray Guardian จะเพิ่มมิติด้านเวลา เฟรมเดียวอาจมีความกำกวม แต่คลิปสามารถแสดงการกระทำ เจตนา และบริบทได้ เส้นทางวิดีโอจะผสานการตรวจจับความปลอดภัยระดับเฟรมเข้ากับความเข้าใจเชิงเวลาระดับคลิป เพื่อให้ผลลัพธ์สุดท้ายสะท้อนทั้งสิ่งที่ปรากฏบนหน้าจอและสิ่งที่เกิดขึ้นตามช่วงเวลา
นี่คือระบบที่เรานำมาประเมินด้วยเกณฑ์มาตรฐาน
เกณฑ์มาตรฐานความปลอดภัยทางภาพ 13 หมวดหมู่
Ray Guardian ทำได้ถึง ความแม่นยำ 100.000% ในเกณฑ์มาตรฐานรูปภาพแบบกันไว้ 13 หมวดหมู่ของ Ray Guardian: ป้ายกำกับที่ทราบค่า 17,435 รายการ ข้อผิดพลาด 0 รายการ
เกณฑ์มาตรฐานนี้ใกล้เคียงกับอนุกรมวิธานของผลิตภัณฑ์มากที่สุด โดยใช้คำจำกัดความหมวดหมู่เดียวกัน ตัวอย่างแบบกันไว้ และหมวดหมู่ความปลอดภัยทางภาพของ Ray Guardian ครบทั้งชุด
| เกณฑ์มาตรฐาน | ขอบเขต | รายการ | ความแม่นยำ | ความเที่ยงตรง | ความครอบคลุม | F1 |
|---|---|---|---|---|---|---|
| เกณฑ์มาตรฐานระดับรูปภาพแบบกันไว้ของ Ray Guardian | หมวดหมู่ทั้งหมด 13 หมวดหมู่ของ Ray Guardian | 17,435 labels | 100.000% | 100.000% | 100.000% | 100.000% |
เกณฑ์มาตรฐานนี้รวมหมวดหมู่ที่มักทับซ้อนกันในผลิตภัณฑ์จริง ได้แก่ เนื้อหาทางเพศกับภาพเปลือย เนื้อหานองเลือดกับเนื้อหานองเลือดทางการแพทย์ อาวุธกับความรุนแรง และเนื้อหาที่รบกวนจิตใจกับบริบททั่วไปที่ไม่น่าพึงประสงค์
ชุดเกณฑ์มาตรฐานวิดีโอที่มีป้ายกำกับสาธารณะ
เกณฑ์มาตรฐานวิดีโอวัดผลเทียบกับป้ายกำกับที่แต่ละชุดข้อมูลมีให้จริง ชุดข้อมูลที่แยกการจูบกับการกอดรองรับหลักฐานด้านการจูบ / ความใกล้ชิด ชุดข้อมูลความรุนแรงรองรับหลักฐานด้านความรุนแรงและเหตุการณ์ที่รบกวนจิตใจ ส่วนชุดข้อมูลการกระทำที่ปลอดภัยใช้ทดสอบว่าคลิปการกระทำทั่วไปได้รับอนุญาตให้ผ่านอย่างถูกต้องหรือไม่
วิธีนี้ทำให้ผลลัพธ์อ่านได้ง่ายขึ้นและนำไปใช้ผิดวัตถุประสงค์ได้ยากขึ้น โดยแต่ละแถวรายงานประสิทธิภาพของ Ray Guardian ตามขอบเขตป้ายกำกับดั้งเดิมของชุดข้อมูลนั้น
| ชุดข้อมูล | ขอบเขตของ Ray Guardian | คลิป | ความแม่นยำ | ความเที่ยงตรง | ความครอบคลุม | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | การจูบ / ความใกล้ชิด | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | ความรุนแรง / เนื้อหาที่รบกวนจิตใจ | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | ความรุนแรง / เนื้อหาที่รบกวนจิตใจ | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | ความผิดปกติ / เนื้อหาที่รบกวนจิตใจ | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | กลไกป้องกันสำหรับการกระทำที่ปลอดภัย | 330 | 100.000% | n/a | n/a | n/a |
แถว UCF101 เป็นกลไกป้องกันที่มีเฉพาะตัวอย่างเชิงลบ โดยวัดว่าการกระทำทั่วไปที่ปลอดภัยถูกบล็อกอย่างไม่ถูกต้องหรือไม่ ในการทดสอบนั้น Ray Guardian อนุญาตคลิปการกระทำที่ปลอดภัยทั้งหมด 330 คลิปได้อย่างถูกต้อง
สิ่งที่เมทริกซ์ความสับสนแสดงให้เห็น
ความแม่นยำคือตัวเลขหลัก เมทริกซ์ความสับสนแสดงรูปแบบของการตัดสินใจที่อยู่เบื้องหลังตัวเลขนั้น
แต่ละเมทริกซ์แยกการอนุญาตที่ถูกต้อง การแจ้งเตือนผิดพลาด คลิปที่ไม่ปลอดภัยซึ่งตรวจไม่พบ และคลิปที่ไม่ปลอดภัยซึ่งถูกทำเครื่องหมายอย่างถูกต้อง สิ่งนี้สำคัญเพราะระบบความปลอดภัยต้องปกป้องผู้คนโดยไม่ขัดจังหวะสื่อทั่วไปเกินความจำเป็น
ชุดข้อมูลอ้างอิงอิสระ
เรายังประเมิน Ray Guardian ด้วยชุดข้อมูลอ้างอิงอิสระทั้งแบบสาธารณะและแบบจำกัดการเข้าถึง ชุดข้อมูลเหล่านี้มีประโยชน์เพราะป้ายกำกับจัดทำโดยทีมอื่น เพื่อเป้าหมายอื่น และไม่ได้สอดคล้องกับหมวดหมู่ของ Ray Guardian อย่างสมบูรณ์เสมอไป
ตารางด้านล่างรายงานแต่ละผลลัพธ์ในระดับหมวดหมู่ที่ชุดข้อมูลรองรับได้ เมื่อชุดข้อมูลทดสอบวัตถุที่เกี่ยวข้องกับแอลกอฮอล์ เราจะรายงานพฤติกรรมด้านแอลกอฮอล์ เมื่อชุดข้อมูลทดสอบบาดแผลทางการแพทย์ เราจะรายงานพฤติกรรมด้านเนื้อหานองเลือดทางการแพทย์หรือเนื้อหาที่รบกวนจิตใจ
| ชุดข้อมูลอ้างอิง | ขอบเขตของ Ray Guardian | รายการ | ความแม่นยำ | ความครอบคลุม | หมายเหตุ |
|---|---|---|---|---|---|
| HoliSafe-Bench ชุดทดสอบ | หมวดหมู่ความปลอดภัยของรูปภาพที่จับคู่แล้ว | 32,248 labels | 94.266% | 75.779% | เกณฑ์มาตรฐานความปลอดภัยอิสระแบบจำกัดการเข้าถึง |
| UnsafeBench ชุดฝึก | หมวดหมู่ความปลอดภัยของรูปภาพที่จับคู่แล้ว | 40,545 labels | 89.893% | 74.482% | เกณฑ์มาตรฐานความปลอดภัยอิสระแบบจำกัดการเข้าถึง |
| SurgWound ชุดทดสอบ | เนื้อหานองเลือดทางการแพทย์ | 137 images | 86.861% | 100.000% | การตรวจสอบความไวต่อบาดแผลทางการแพทย์ |
| SurgWound ชุดทดสอบ | เนื้อหาที่รบกวนจิตใจ | 137 images | 83.942% | 99.130% | การตรวจสอบความไวต่อบาดแผลทางการแพทย์ |
| Lower Limb and Feet Wound Dataset | เนื้อหานองเลือดทางการแพทย์ | 5,443 images | 65.185% | 98.958% | การตรวจสอบอ้างอิงในโดเมนบาดแผล |
| HOD Benchmark Dataset | แอลกอฮอล์ | 10,631 images | 97.667% | 87.095% | เกณฑ์มาตรฐานวัตถุสำหรับใช้ในการวิจัย |
| HOD Benchmark Dataset | การสูบบุหรี่ | 10,631 images | 98.222% | 93.391% | เกณฑ์มาตรฐานวัตถุสำหรับใช้ในการวิจัย |
| HOD Benchmark Dataset | อาวุธ | 10,631 images | 85.053% | 68.659% | เกณฑ์มาตรฐานวัตถุสำหรับใช้ในการวิจัย |
| ชุดย่อยสำหรับการตรวจสอบที่เลือกจาก Open Images V7 | อาวุธ | 460 rows | 81.957% | 87.234% | การตรวจสอบอ้างอิงป้ายกำกับวัตถุ |
แถวเหล่านี้แสดงให้เห็นว่า Ray Guardian ทำงานอย่างไรนอกเหนือจากเกณฑ์มาตรฐานที่ใช้เป็นพื้นฐานในการพัฒนาระบบ
เหตุผลที่ตัวเลขแตกต่างกัน
คะแนนอ้างอิงสาธารณะที่ต่ำกว่าไม่ใช่ข้อขัดแย้ง แต่หมายความว่าชุดข้อมูลกำลังตั้งคำถามที่ต่างออกไป
เกณฑ์มาตรฐาน 13 หมวดหมู่ของ Ray Guardian ถามว่าระบบสามารถจำแนกหมวดหมู่ความปลอดภัยที่ใช้ใน Ray ได้หรือไม่ ส่วนชุดข้อมูลอ้างอิงอิสระถามว่าจะเกิดอะไรขึ้นเมื่อนำป้ายกำกับภายนอก วิธีการเก็บรวบรวมภายนอก และคำจำกัดความหมวดหมู่ภายนอกมาจับคู่เข้ากับอนุกรมวิธานนี้
คะแนนอาจเปลี่ยนแปลงได้ด้วยเหตุผลที่ตรงไปตรงมา:
- คำจำกัดความของป้ายกำกับต่างกัน ชุดข้อมูลอาจติดป้ายกำกับวัตถุ ขณะที่ Ray Guardian กำลังประเมินความหมายด้านความปลอดภัย แก้วไวน์ ขวด มีด หรือบาดแผลทางคลินิกไม่ได้ไม่ปลอดภัยเสมอไปเมื่อพิจารณาเฉพาะตัววัตถุ
- ป้ายกำกับแบบกว้าง ป้ายกำกับความปลอดภัยสาธารณะบางรายการรวมหลายแนวคิดไว้ในป้ายกำกับแบบกว้างรายการเดียว หมวดหมู่ของ Ray Guardian มีความเฉพาะเจาะจงมากกว่า
- ช่องว่างด้านบริบท ป้ายกำกับบางรายการขึ้นอยู่กับคำบรรยาย เสียง ฉากแวดล้อม หรือเจตนาของมนุษย์ การทดสอบเหล่านี้วัดเนื้อหาที่มองเห็นได้
- การเปลี่ยนแปลงของโดเมน ชุดข้อมูลภายนอกประกอบด้วยภาพครอบตัด ความละเอียด รูปภาพที่สร้างขึ้น ภาพจากกล้องวงจรปิด ภาพระยะใกล้ของวัตถุ และภาพทางการแพทย์ที่แตกต่างกัน
- การออกแบบงานที่ต่างกัน เกณฑ์มาตรฐานการจำแนกวัตถุเป็นการทดสอบภาวะกดดันที่มีประโยชน์ แต่การจำแนกวัตถุไม่เหมือนกับการกลั่นกรองความปลอดภัยทางภาพ
เกณฑ์มาตรฐานที่สอดคล้องกันแสดงประสิทธิภาพตามอนุกรมวิธานผลิตภัณฑ์ของ Ray Guardian ส่วนชุดข้อมูลอ้างอิงแสดงให้เห็นว่าอนุกรมวิธานนั้นถ่ายโอนไปยังข้อมูลภายนอกที่ไม่เป็นระเบียบมากขึ้นได้อย่างไร
วิธีอ่านเกณฑ์มาตรฐาน
อ่านตัวเลขแต่ละค่าตามระดับของป้ายกำกับที่อยู่เบื้องหลังตัวเลขนั้น
- ผลลัพธ์ 13 หมวดหมู่วัดอนุกรมวิธานความปลอดภัยระดับรูปภาพทั้งหมดของ Ray Guardian
- แถววิดีโอวัด Ray Guardian ตามป้ายกำกับวิดีโอสาธารณะที่มีอยู่ในแต่ละชุดข้อมูล
- แถวอ้างอิงอิสระวัดการถ่ายโอนไปยังระบบป้ายกำกับภายนอก ไม่ใช่สิ่งทดแทนเกณฑ์มาตรฐานอนุกรมวิธานของผลิตภัณฑ์
ขณะนี้ Ray Guardian คือชั้นความปลอดภัยทางภาพแบบรวมศูนย์ของ Ray ซึ่งเป็นระบบเดียวสำหรับรูปภาพและคลิป สร้างขึ้นเพื่อตรวจจับเนื้อหาที่ละเอียดอ่อนและรักษาความสม่ำเสมอของการตัดสินใจเมื่อสื่อเปลี่ยนจากเฟรมหนึ่งไปยังอีกเฟรมหนึ่ง
ชุดข้อมูลต้นทาง
ชุดเกณฑ์มาตรฐานอ้างอิงแหล่งที่มาของชุดข้อมูล ซึ่งรวมถึง HMDB51 ผ่าน FiftyOne, XD-Violence, UCF-Crime, UCF101 ผ่าน FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound, และ HOD Benchmark Dataset
