再生中 · ベンチマーク
Ray Guardian発表：画像と動画のための視覚的安全性
Ray GuardianはRayの統合視覚安全システムであり、13の画像レベルの安全カテゴリと、公開ラベル付き動画データセットを対象にベンチマークされています。
Ray Guardianの紹介
Ray Guardianは、画像と動画に対応するRayの視覚安全システムです。視覚メディアにセンシティブなコンテンツが含まれていないかを確認し、再生、作成、モデレーション、ファミリー設定にRayが利用できるカテゴリシグナルを返します。
重要な点はシンプルです。Ray Guardianは1つのシステムです。静止画像と動画クリップは異なるメディア経路から入力されますが、製品が受け取るGuardian判定は1つです。
画像について、Ray Guardianは安全分類体系全体を評価します。ヌード、性的コンテンツ、暴力、流血・損壊表現、武器、薬物、アルコール、喫煙、不快感を与えるコンテンツ、キス／親密な行為、自傷、動物虐待、医療上の流血・損壊表現が対象です。
動画では、Ray Guardianは時間の要素を加えます。単一のフレームだけでは曖昧な場合でも、クリップでは行動、意図、文脈が示されることがあります。動画経路では、フレームレベルの安全性認識とクリップレベルの時間的理解を組み合わせ、画面に何が映っているか、また時間の経過とともに何が起きているかを最終結果に反映します。
ベンチマークしたのは、このシステムです。
13カテゴリの視覚安全ベンチマーク
Ray Guardianは、Ray Guardianの13カテゴリのホールドアウト画像ベンチマークで100.000%の正確度を達成しました。内訳は17,435件の既知ラベル、0件のエラーです。
このベンチマークは、製品の分類体系そのものに最も近いものです。同じカテゴリ定義、ホールドアウト例、およびRay Guardianの視覚安全カテゴリ一式を使用しています。
| ベンチマーク | 対象範囲 | 項目数 | 正確度 | 適合率 | 再現率 | F1 |
|---|---|---|---|---|---|---|
| Ray Guardianのホールドアウト画像レベルベンチマーク | Ray Guardianの全13カテゴリ | 17,435ラベル | 100.000% | 100.000% | 100.000% | 100.000% |
このベンチマークには、実際の製品で重複しやすいカテゴリが含まれます。たとえば、性的コンテンツとヌード、流血・損壊表現と医療上の流血・損壊表現、武器と暴力、不快感を与えるコンテンツと一般的な不快な文脈です。
公開ラベル付き動画ベンチマークスイート
動画ベンチマークは、各データセットが実際に提供するラベルに基づいて測定されます。キス対ハグのデータセットは、キス／親密な行為に関する根拠を提供します。暴力データセットは、暴力および不快感を与える出来事に関する根拠を提供します。安全な行動のデータセットでは、通常の行動クリップが問題なく許可されるかをテストします。
これにより結果が読みやすくなり、誤用もしにくくなります。各行は、そのデータセット固有のラベル範囲におけるRay Guardianの性能を示しています。
| データセット | Ray Guardianの対象範囲 | クリップ数 | 正確度 | 適合率 | 再現率 | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | キス／親密な行為 | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | 暴力／不快感を与えるコンテンツ | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | 暴力／不快感を与えるコンテンツ | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | 異常／不快感を与えるコンテンツ | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | 安全な行動のガードレール | 330 | 100.000% | n/a | n/a | n/a |
UCF101の行は、陰性例のみを使用するガードレールです。通常の安全な行動が誤ってブロックされるかどうかを測定します。このテストでは、Ray Guardianは安全な行動の全330クリップを正しく許可しました。
混同行列が示すもの
正確度は主要な数値です。混同行列は、その背後にある判定の内訳を示します。
各行列では、正しく許可されたもの、誤警報、見逃された安全でないクリップ、正しく検出された安全でないクリップを区別します。安全システムには、必要以上に通常のメディア利用を妨げずに、人々を保護することが求められるため、これは重要です。
独立した参照データセット
Ray Guardianは、独立した公開およびアクセス制限付きの参照データセットでも評価しています。これらのデータセットは、別のチームが別の目的でラベルを作成しており、Ray Guardianのカテゴリと必ずしも完全には一致しないため、有用です。
以下の表では、各データセットが対応可能なカテゴリレベルで結果を報告しています。データセットがアルコール関連物体をテストする場合は、アルコールに関する挙動を報告します。医療上の創傷をテストする場合は、医療上の流血・損壊表現または不快感を与えるコンテンツに関する挙動を報告します。
| 参照データセット | Ray Guardianの対象範囲 | 項目数 | 正確度 | 再現率 | 注記 |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | 対応付けられた画像安全カテゴリ | 32,248ラベル | 94.266% | 75.779% | 独立したアクセス制限付き安全ベンチマーク |
| UnsafeBench train split | 対応付けられた画像安全カテゴリ | 40,545ラベル | 89.893% | 74.482% | 独立したアクセス制限付き安全ベンチマーク |
| SurgWound test split | 医療上の流血・損壊表現 | 137画像 | 86.861% | 100.000% | 医療上の創傷に対する感度チェック |
| SurgWound test split | 不快感を与えるコンテンツ | 137画像 | 83.942% | 99.130% | 医療上の創傷に対する感度チェック |
| Lower Limb and Feet Wound Dataset | 医療上の流血・損壊表現 | 5,443画像 | 65.185% | 98.958% | 創傷領域の参照チェック |
| HOD Benchmark Dataset | アルコール | 10,631画像 | 97.667% | 87.095% | 研究用途の物体ベンチマーク |
| HOD Benchmark Dataset | 喫煙 | 10,631画像 | 98.222% | 93.391% | 研究用途の物体ベンチマーク |
| HOD Benchmark Dataset | 武器 | 10,631画像 | 85.053% | 68.659% | 研究用途の物体ベンチマーク |
| Open Images V7 selected validation subset | 武器 | 460行 | 81.957% | 87.234% | 物体ラベルの参照チェック |
これらの行は、Ray Guardianが、その構築時に基準としたベンチマーク以外でどのように動作するかを示しています。
数値が異なる理由
公開参照データセットでのスコアが低いことは、矛盾ではありません。そのデータセットが別の問いを提示しているということです。
Ray Guardianの13カテゴリベンチマークは、システムがRayで使用される安全カテゴリを認識できるかを問います。独立した参照データセットは、外部のラベル、外部の収集方法、外部のカテゴリ定義をその分類体系に対応付けたときに何が起きるかを問います。
スコアは、次のような明確な理由で変動する場合があります。
- ラベル定義の違い。 データセットが物体にラベルを付ける一方で、Ray Guardianは安全上の意味を判定している場合があります。ワイングラス、ボトル、ナイフ、臨床的な創傷は、それ自体が常に安全でないとは限りません。
- 粗いラベル。 一部の公開安全ラベルは、複数の概念を1つの広範なラベルにまとめています。Ray Guardianのカテゴリは、より具体的です。
- 文脈の不足。 一部のラベルは、キャプション、音声、周囲の場面、または人間の意図に依存します。これらのテストが測定するのは、視認可能なコンテンツです。
- ドメインシフト。 外部データセットには、異なる切り抜き、解像度、生成画像、監視映像、物体のクローズアップ、医療画像が含まれます。
- タスク設計の違い。 物体認識ベンチマークは有用なストレステストですが、物体認識は視覚安全モデレーションと同一ではありません。
整合したベンチマークは、Ray Guardianの製品分類体系における性能を示します。参照データセットは、その分類体系が、より整理されていない外部データにどのように転用されるかを示します。
ベンチマークの読み方
各数値は、その背後にあるラベルのレベルで解釈してください。
- 13カテゴリの結果は、Ray Guardianの画像レベルの安全分類体系全体を測定します。
- 動画の各行は、各データセットで利用可能な公開動画ラベルに基づいてRay Guardianを測定します。
- 独立した参照データセットの各行は、外部ラベルシステムへの転用を測定するものであり、製品分類体系のベンチマークに代わるものではありません。
Ray Guardianは現在、Rayの統合視覚安全レイヤーです。画像とクリップに対応する1つのシステムとして、センシティブなコンテンツを検出し、メディアがフレーム間を移動しても判定を安定させるよう設計されています。
ソースデータセット
このベンチマークスイートでは、HMDB51 via FiftyOne、XD-Violence、UCF-Crime、UCF101 via FiftyOne、HoliSafe-Bench、UnsafeBench、Open Images V7、SurgWound、HOD Benchmark Datasetなどのデータセットソースを引用しています。
