Reproduzindo agora · Benchmarks
Apresentando o Ray Guardian: segurança visual para imagens e vídeos
O Ray Guardian é o sistema unificado de segurança visual da Ray, avaliado em 13 categorias de segurança no nível da imagem e em conjuntos de dados de vídeo com rótulos públicos.
Apresentando o Ray Guardian
O Ray Guardian é o sistema de segurança visual da Ray para imagens e vídeos. Ele analisa mídias visuais em busca de conteúdo sensível e retorna sinais de categoria que a Ray pode usar para reprodução, criação, moderação e configurações familiares.
O ponto importante é simples: o Ray Guardian é um único sistema. Imagens estáticas e clipes de vídeo entram por fluxos de mídia diferentes, mas o produto recebe uma única decisão do Guardian.
Para imagens, o Ray Guardian avalia toda a taxonomia de segurança: nudez, conteúdo sexual, violência, conteúdo gráfico, armas, drogas, álcool, tabagismo, conteúdo perturbador, beijos / intimidade, autolesão, crueldade contra animais e conteúdo médico gráfico.
Para vídeos, o Ray Guardian acrescenta o tempo. Um único quadro pode ser ambíguo; um clipe pode mostrar ação, intenção e contexto. O fluxo de vídeo combina o reconhecimento de segurança no nível do quadro com a compreensão temporal no nível do clipe, para que o resultado final reflita o que aparece na tela e o que acontece ao longo do tempo.
Esse é o sistema que avaliamos.
Benchmark de segurança visual de 13 categorias
O Ray Guardian alcançou 100.000% de acurácia no benchmark de imagens reservadas de 13 categorias do Ray Guardian: 17,435 rótulos conhecidos, 0 erros.
Este benchmark é o mais próximo da própria taxonomia do produto: as mesmas definições de categoria, exemplos reservados e o conjunto completo de categorias de segurança visual do Ray Guardian.
| Benchmark | Escopo | Itens | Acurácia | Precisão | Revocação | F1 |
|---|---|---|---|---|---|---|
| Benchmark no nível da imagem com dados reservados do Ray Guardian | Todas as 13 categorias do Ray Guardian | 17,435 rótulos | 100.000% | 100.000% | 100.000% | 100.000% |
O benchmark inclui categorias que frequentemente se sobrepõem em produtos reais: conteúdo sexual versus nudez, conteúdo gráfico versus conteúdo médico gráfico, armas versus violência e conteúdo perturbador versus contexto desagradável comum.
Suíte de benchmarks de vídeo com rótulos públicos
Os benchmarks de vídeo são medidos em relação aos rótulos que cada conjunto de dados realmente fornece. Um conjunto de dados de beijo versus abraço oferece evidências sobre beijos / intimidade. Um conjunto de dados de violência oferece evidências sobre violência e eventos perturbadores. Um conjunto de dados de ações seguras testa se clipes de ações comuns são liberados corretamente.
Isso torna os resultados mais fáceis de interpretar e mais difíceis de usar incorretamente: cada linha informa o desempenho do Ray Guardian no escopo de rótulos nativo daquele conjunto de dados.
| Conjunto de dados | Escopo do Ray Guardian | Clipes | Acurácia | Precisão | Revocação | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Beijos / Intimidade | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Violência / Conteúdo perturbador | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Violência / Conteúdo perturbador | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Anomalia / Conteúdo perturbador | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Proteção para ações seguras | 330 | 100.000% | n/a | n/a | n/a |
A linha do UCF101 é uma proteção composta apenas por exemplos negativos: ela mede se ações comuns e seguras são bloqueadas incorretamente. Nesse teste, o Ray Guardian liberou corretamente todos os 330 clipes de ações seguras.
O que as matrizes de confusão mostram
A acurácia é o número de destaque. Uma matriz de confusão mostra a distribuição das decisões por trás dele.
Cada matriz separa liberações corretas, falsos alarmes, clipes inseguros não detectados e clipes inseguros corretamente sinalizados. Isso importa porque um sistema de segurança precisa proteger as pessoas sem interromper mídias comuns mais do que o necessário.
Conjuntos de dados de referência independentes
Também avaliamos o Ray Guardian em conjuntos de dados de referência independentes, públicos e com acesso controlado. Esses conjuntos de dados são úteis porque seus rótulos foram criados por outras equipes, para outros objetivos, e nem sempre correspondem perfeitamente às categorias do Ray Guardian.
A tabela abaixo apresenta cada resultado no nível de categoria que o conjunto de dados consegue sustentar. Quando um conjunto de dados testa objetos relacionados a álcool, informamos o comportamento para álcool. Quando testa feridas médicas, informamos o comportamento para conteúdo médico gráfico ou conteúdo perturbador.
| Conjunto de dados de referência | Escopo do Ray Guardian | Itens | Acurácia | Revocação | Observações |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Categorias mapeadas de segurança de imagens | 32,248 rótulos | 94.266% | 75.779% | Benchmark de segurança independente com acesso controlado |
| UnsafeBench train split | Categorias mapeadas de segurança de imagens | 40,545 rótulos | 89.893% | 74.482% | Benchmark de segurança independente com acesso controlado |
| SurgWound test split | Conteúdo médico gráfico | 137 imagens | 86.861% | 100.000% | Verificação de sensibilidade a feridas médicas |
| SurgWound test split | Conteúdo perturbador | 137 imagens | 83.942% | 99.130% | Verificação de sensibilidade a feridas médicas |
| Lower Limb and Feet Wound Dataset | Conteúdo médico gráfico | 5,443 imagens | 65.185% | 98.958% | Verificação de referência no domínio de feridas |
| HOD Benchmark Dataset | Álcool | 10,631 imagens | 97.667% | 87.095% | Benchmark de objetos para uso em pesquisa |
| HOD Benchmark Dataset | Tabagismo | 10,631 imagens | 98.222% | 93.391% | Benchmark de objetos para uso em pesquisa |
| HOD Benchmark Dataset | Armas | 10,631 imagens | 85.053% | 68.659% | Benchmark de objetos para uso em pesquisa |
| Open Images V7 selected validation subset | Armas | 460 linhas | 81.957% | 87.234% | Verificação de referência de rótulos de objetos |
Essas linhas mostram como o Ray Guardian se comporta além do benchmark para o qual foi desenvolvido.
Por que os números diferem
Uma pontuação mais baixa em uma referência pública não é uma contradição. Isso significa que o conjunto de dados está fazendo uma pergunta diferente.
O benchmark de 13 categorias do Ray Guardian pergunta se o sistema reconhece as categorias de segurança usadas na Ray. Os conjuntos de dados de referência independentes perguntam o que acontece quando rótulos externos, métodos de coleta externos e definições de categoria externas são mapeados para essa taxonomia.
As pontuações podem variar por motivos simples:
- Definições de rótulo diferentes. Um conjunto de dados pode rotular um objeto enquanto o Ray Guardian avalia seu significado para a segurança. Uma taça de vinho, garrafa, faca ou ferida clínica nem sempre é insegura por si só.
- Rótulos abrangentes. Alguns rótulos públicos de segurança combinam vários conceitos em um único rótulo amplo. As categorias do Ray Guardian são mais específicas.
- Lacunas de contexto. Alguns rótulos dependem de legenda, áudio, cena ao redor ou intenção humana. Estes testes medem o conteúdo visível.
- Mudança de domínio. Conjuntos de dados externos incluem diferentes recortes, resoluções, imagens geradas, gravações de vigilância, closes de objetos e imagens médicas.
- Diferenças no desenho da tarefa. Benchmarks de reconhecimento de objetos são testes de estresse úteis, mas o reconhecimento de objetos não é idêntico à moderação de segurança visual.
O benchmark alinhado mostra o desempenho na taxonomia de produto do Ray Guardian. Os conjuntos de dados de referência mostram como essa taxonomia é transferida para dados externos mais complexos.
Como interpretar o benchmark
Interprete cada número no nível dos rótulos que o fundamentam.
- O resultado de 13 categorias mede toda a taxonomia de segurança no nível da imagem do Ray Guardian.
- As linhas de vídeo medem o Ray Guardian usando os rótulos públicos de vídeo disponíveis em cada conjunto de dados.
- As linhas de referência independentes medem a transferência para sistemas de rótulos externos, não uma substituição do benchmark da taxonomia do produto.
O Ray Guardian agora é a camada unificada de segurança visual da Ray: um único sistema para imagens e clipes, desenvolvido para detectar conteúdo sensível e manter as decisões estáveis à medida que a mídia avança de quadro a quadro.
Conjuntos de dados de origem
A suíte de benchmarks cita fontes de conjuntos de dados, incluindo HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound e HOD Benchmark Dataset.
