اب چل رہا ہے · بینچ مارکس
Ray Guardian کا اعلان: تصاویر اور ویڈیو کے لیے بصری تحفظ
Ray Guardian، Ray کا متحد بصری تحفظ کا نظام ہے، جس کی جانچ تصاویر کی سطح کے 13 حفاظتی زمروں اور عوامی طور پر لیبل شدہ ویڈیو ڈیٹاسیٹس پر کی گئی ہے۔
Ray Guardian کا تعارف
Ray Guardian، تصاویر اور ویڈیو کے لیے Ray کا بصری تحفظ کا نظام ہے۔ یہ حساس مواد کے لیے بصری میڈیا کا جائزہ لیتا ہے اور ایسے زمرہ جاتی اشارے واپس کرتا ہے جنہیں Ray پلے بیک، تخلیق، مواد کی نگرانی، اور خاندانی ترتیبات کے لیے استعمال کر سکتا ہے۔
اہم بات سادہ ہے: Ray Guardian ایک ہی نظام ہے۔ ساکن تصاویر اور ویڈیو کلپس مختلف میڈیا راستوں سے داخل ہوتے ہیں، لیکن پروڈکٹ کو Guardian کا ایک ہی فیصلہ موصول ہوتا ہے۔
تصاویر کے لیے، Ray Guardian مکمل حفاظتی درجہ بندی کا جائزہ لیتا ہے: عریانی، جنسی مواد، تشدد، خونیں مناظر، ہتھیار، منشیات، الکحل، تمباکو نوشی، پریشان کن مواد، بوسہ / قربت، خود کو نقصان پہنچانا، جانوروں پر ظلم، اور طبی خونیں مناظر۔
ویڈیو کے لیے، Ray Guardian وقت کی جہت شامل کرتا ہے۔ ایک فریم مبہم ہو سکتا ہے؛ ایک کلپ عمل، ارادہ، اور سیاق و سباق دکھا سکتا ہے۔ ویڈیو کا راستہ فریم کی سطح پر حفاظتی شناخت کو کلپ کی سطح کی زمانی تفہیم کے ساتھ یکجا کرتا ہے، تاکہ حتمی نتیجہ اسکرین پر نظر آنے والے مواد اور وقت کے ساتھ پیش آنے والے واقعات دونوں کی عکاسی کرے۔
ہم نے اسی نظام کی بینچ مارک جانچ کی۔
13 زمروں پر مشتمل بصری تحفظ کا بینچ مارک
Ray Guardian نے Ray Guardian کے 13 زمروں پر مشتمل، علیحدہ رکھے گئے تصویری بینچ مارک پر 100.000% درستگی حاصل کی: 17,435 معلوم لیبلز، 0 غلطیاں۔
یہ بینچ مارک خود پروڈکٹ کی درجہ بندی سے سب سے زیادہ مطابقت رکھتا ہے: وہی زمرہ جاتی تعریفیں، علیحدہ رکھی گئی مثالیں، اور Ray Guardian کے بصری تحفظ کے تمام زمرے۔
| بینچ مارک | دائرۂ کار | آئٹمز | درستگی | صحت | بازیافت | F1 |
|---|---|---|---|---|---|---|
| Ray Guardian کا علیحدہ رکھا گیا، تصویری سطح کا بینچ مارک | Ray Guardian کے تمام 13 زمرے | 17,435 لیبلز | 100.000% | 100.000% | 100.000% | 100.000% |
بینچ مارک میں ایسے زمرے شامل ہیں جو حقیقی پروڈکٹس میں اکثر ایک دوسرے سے متجاوز ہوتے ہیں: جنسی مواد بمقابلہ عریانی، خونیں مناظر بمقابلہ طبی خونیں مناظر، ہتھیار بمقابلہ تشدد، اور پریشان کن مواد بمقابلہ معمول کا ناخوشگوار سیاق و سباق۔
عوامی طور پر لیبل شدہ ویڈیو بینچ مارک مجموعہ
ویڈیو بینچ مارکس کی پیمائش ان لیبلز کے مقابلے میں کی جاتی ہے جو ہر ڈیٹاسیٹ حقیقتاً فراہم کرتا ہے۔ بوسے بمقابلہ گلے ملنے کا ڈیٹاسیٹ بوسہ / قربت کے شواہد کی تائید کرتا ہے۔ تشدد کا ڈیٹاسیٹ تشدد اور پریشان کن واقعات کے شواہد کی تائید کرتا ہے۔ محفوظ اعمال کا ڈیٹاسیٹ جانچتا ہے کہ آیا معمول کے اعمال والے کلپس کو درست طور پر گزرنے دیا جاتا ہے۔
اس سے نتائج کو پڑھنا آسان اور غلط استعمال کرنا مشکل ہو جاتا ہے: ہر قطار اس ڈیٹاسیٹ کے اصل لیبل دائرۂ کار میں Ray Guardian کی کارکردگی بیان کرتی ہے۔
| ڈیٹاسیٹ | Ray Guardian کا دائرۂ کار | کلپس | درستگی | صحت | بازیافت | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | بوسہ / قربت | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | تشدد / پریشان کن مواد | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | تشدد / پریشان کن مواد | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | غیر معمولی واقعہ / پریشان کن مواد | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | محفوظ عمل کی حفاظتی حد | 330 | 100.000% | n/a | n/a | n/a |
UCF101 کی قطار صرف منفی مثالوں پر مشتمل حفاظتی حد ہے: یہ پیمائش کرتی ہے کہ آیا معمول کے محفوظ اعمال کو غلط طور پر روکا جاتا ہے۔ اس جانچ میں، Ray Guardian نے تمام 330 محفوظ اعمال والے کلپس کو درست طور پر گزرنے دیا۔
کنفیوژن میٹرکس کیا دکھاتے ہیں
درستگی مرکزی عدد ہے۔ کنفیوژن میٹرکس اس کے پسِ پشت فیصلوں کی نوعیت دکھاتا ہے۔
ہر میٹرکس درست طور پر اجازت دیے گئے مواد، غلط انتباہات، نظر انداز ہو جانے والے غیر محفوظ کلپس، اور درست طور پر نشان زد کیے گئے غیر محفوظ کلپس کو الگ کرتا ہے۔ یہ اہم ہے کیونکہ حفاظتی نظام کو لوگوں کا تحفظ کرنا ہوتا ہے، جبکہ معمول کے میڈیا میں ضرورت سے زیادہ خلل بھی نہیں ڈالنا چاہیے۔
آزاد حوالہ جاتی ڈیٹاسیٹس
ہم آزاد عوامی اور محدود رسائی والے حوالہ جاتی ڈیٹاسیٹس پر بھی Ray Guardian کا جائزہ لیتے ہیں۔ یہ ڈیٹاسیٹس اس لیے مفید ہیں کہ ان کے لیبل دوسری ٹیموں نے مختلف مقاصد کے لیے تیار کیے ہیں، اور وہ ہمیشہ Ray Guardian کے زمروں سے مکمل طور پر مطابقت نہیں رکھتے۔
ذیل کا جدول ہر نتیجے کو اس زمرہ جاتی سطح پر بیان کرتا ہے جس کی ڈیٹاسیٹ تائید کر سکتا ہے۔ جب کوئی ڈیٹاسیٹ الکحل سے متعلق اشیا کی جانچ کرتا ہے تو ہم الکحل سے متعلق رویہ رپورٹ کرتے ہیں۔ جب وہ طبی زخموں کی جانچ کرتا ہے تو ہم طبی خونیں مناظر یا پریشان کن رویہ رپورٹ کرتے ہیں۔
| حوالہ جاتی ڈیٹاسیٹ | Ray Guardian کا دائرۂ کار | آئٹمز | درستگی | بازیافت | نوٹس |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | نقشہ بند تصویری تحفظ کے زمرے | 32,248 لیبلز | 94.266% | 75.779% | آزاد، محدود رسائی والا حفاظتی بینچ مارک |
| UnsafeBench train split | نقشہ بند تصویری تحفظ کے زمرے | 40,545 لیبلز | 89.893% | 74.482% | آزاد، محدود رسائی والا حفاظتی بینچ مارک |
| SurgWound test split | طبی خونیں مناظر | 137 تصاویر | 86.861% | 100.000% | طبی زخموں کے لیے حساسیت کی جانچ |
| SurgWound test split | پریشان کن مواد | 137 تصاویر | 83.942% | 99.130% | طبی زخموں کے لیے حساسیت کی جانچ |
| Lower Limb and Feet Wound Dataset | طبی خونیں مناظر | 5,443 تصاویر | 65.185% | 98.958% | زخموں کے شعبے کی حوالہ جاتی جانچ |
| HOD Benchmark Dataset | الکحل | 10,631 تصاویر | 97.667% | 87.095% | تحقیقی استعمال کے لیے اشیا کا بینچ مارک |
| HOD Benchmark Dataset | تمباکو نوشی | 10,631 تصاویر | 98.222% | 93.391% | تحقیقی استعمال کے لیے اشیا کا بینچ مارک |
| HOD Benchmark Dataset | ہتھیار | 10,631 تصاویر | 85.053% | 68.659% | تحقیقی استعمال کے لیے اشیا کا بینچ مارک |
| Open Images V7 selected validation subset | ہتھیار | 460 قطاریں | 81.957% | 87.234% | اشیا کے لیبلز کی حوالہ جاتی جانچ |
یہ قطاریں دکھاتی ہیں کہ Ray Guardian اس بینچ مارک سے باہر کیسا برتاؤ کرتا ہے جس کے مقابلے میں اسے تیار کیا گیا تھا۔
اعداد مختلف کیوں ہیں
عوامی حوالہ جاتی ڈیٹاسیٹ پر کم اسکور کوئی تضاد نہیں ہے۔ اس کا مطلب ہے کہ ڈیٹاسیٹ ایک مختلف سوال پوچھ رہا ہے۔
Ray Guardian کا 13 زمروں پر مشتمل بینچ مارک جانچتا ہے کہ آیا نظام Ray میں استعمال ہونے والے حفاظتی زمروں کو پہچانتا ہے۔ آزاد حوالہ جاتی ڈیٹاسیٹس جانچتے ہیں کہ جب بیرونی لیبلز، بیرونی جمع آوری کے طریقوں، اور بیرونی زمرہ جاتی تعریفوں کو اس درجہ بندی سے نقشہ بند کیا جاتا ہے تو کیا ہوتا ہے۔
اسکور سادہ وجوہات کی بنا پر تبدیل ہو سکتے ہیں:
- لیبلز کی مختلف تعریفیں۔ کوئی ڈیٹاسیٹ کسی شے کو لیبل کر سکتا ہے، جبکہ Ray Guardian حفاظتی مفہوم کا جائزہ لے رہا ہوتا ہے۔ شراب کا گلاس، بوتل، چاقو، یا طبی زخم بذاتِ خود ہمیشہ غیر محفوظ نہیں ہوتا۔
- وسیع لیبلز۔ بعض عوامی حفاظتی لیبلز کئی تصورات کو ایک وسیع لیبل میں یکجا کرتے ہیں۔ Ray Guardian کے زمرے زیادہ مخصوص ہیں۔
- سیاق و سباق میں خلا۔ بعض لیبلز کیپشن، آڈیو، اردگرد کے منظر، یا انسانی ارادے پر منحصر ہوتے ہیں۔ یہ جانچیں نظر آنے والے مواد کی پیمائش کرتی ہیں۔
- ڈومین میں تبدیلی۔ بیرونی ڈیٹاسیٹس میں مختلف کراپس، ریزولیوشنز، تخلیق کردہ تصاویر، نگرانی کی فوٹیج، اشیا کے کلوز اپس، اور طبی تصاویر شامل ہوتی ہیں۔
- مختلف ٹاسک ڈیزائن۔ اشیا کی شناخت کے بینچ مارکس مفید دباؤ کی جانچیں ہیں، لیکن اشیا کی شناخت بصری تحفظ کے لیے مواد کی نگرانی کے مماثل نہیں ہے۔
مطابقت یافتہ بینچ مارک Ray Guardian کی پروڈکٹ درجہ بندی پر کارکردگی دکھاتا ہے۔ حوالہ جاتی ڈیٹاسیٹس دکھاتے ہیں کہ یہ درجہ بندی زیادہ بے ترتیب بیرونی ڈیٹا میں کس طرح منتقل ہوتی ہے۔
بینچ مارک کو کیسے پڑھیں
ہر عدد کو اس کے پسِ پشت موجود لیبلز کی سطح پر پڑھیں۔
- 13 زمروں پر مشتمل نتیجہ Ray Guardian کی تصویری سطح کی مکمل حفاظتی درجہ بندی کی پیمائش کرتا ہے۔
- ویڈیو کی قطاریں ہر ڈیٹاسیٹ میں دستیاب عوامی ویڈیو لیبلز پر Ray Guardian کی پیمائش کرتی ہیں۔
- آزاد حوالہ جاتی قطاریں بیرونی لیبل نظاموں میں منتقلی کی پیمائش کرتی ہیں؛ یہ پروڈکٹ کی درجہ بندی کے بینچ مارک کا متبادل نہیں ہیں۔
Ray Guardian اب Ray کی متحد بصری تحفظ کی تہہ ہے: تصاویر اور کلپس کے لیے ایک نظام، جو حساس مواد کا پتہ لگانے اور میڈیا کے ایک فریم سے دوسرے فریم میں منتقل ہونے کے دوران فیصلوں کو مستحکم رکھنے کے لیے بنایا گیا ہے۔
ماخذ ڈیٹاسیٹس
بینچ مارک مجموعہ جن ڈیٹاسیٹ ذرائع کا حوالہ دیتا ہے، ان میں HMDB51 via FiftyOne، XD-Violence، UCF-Crime، UCF101 via FiftyOne، HoliSafe-Bench، UnsafeBench، Open Images V7، SurgWound، اور HOD Benchmark Dataset شامل ہیں۔
