Em reprodução · Testes de referência
Apresentamos o Ray Guardian: segurança visual para imagens e vídeo
O Ray Guardian é o sistema unificado de segurança visual do Ray, avaliado em 13 categorias de segurança ao nível da imagem e em conjuntos de dados de vídeo com rótulos públicos.
Apresentamos o Ray Guardian
O Ray Guardian é o sistema de segurança visual do Ray para imagens e vídeo. Analisa conteúdos visuais para detetar conteúdo sensível e devolve sinais por categoria que o Ray pode utilizar na reprodução, criação, moderação e nas definições familiares.
O essencial é simples: o Ray Guardian é um único sistema. As imagens estáticas e os clipes de vídeo entram através de percursos multimédia diferentes, mas o produto recebe uma única decisão do Guardian.
Para imagens, o Ray Guardian avalia a taxonomia de segurança completa: nudez, conteúdo sexual, violência, conteúdo gráfico, armas, drogas, álcool, tabagismo, conteúdo perturbador, beijos / intimidade, autolesão, crueldade contra animais e conteúdo médico gráfico.
Para vídeo, o Ray Guardian acrescenta a dimensão temporal. Um único fotograma pode ser ambíguo; um clipe pode mostrar ação, intenção e contexto. O percurso de vídeo combina o reconhecimento de segurança ao nível do fotograma com a compreensão temporal ao nível do clipe, para que o resultado final reflita o que aparece no ecrã e o que acontece ao longo do tempo.
Foi este o sistema que avaliámos.
Teste de referência de segurança visual com 13 categorias
O Ray Guardian alcançou 100.000% de exatidão no teste de referência reservado de imagens do Ray Guardian com 13 categorias: 17,435 rótulos conhecidos, 0 erros.
Este teste de referência é o que mais se aproxima da própria taxonomia do produto: as mesmas definições de categorias, exemplos reservados e o conjunto completo de categorias de segurança visual do Ray Guardian.
| Teste de referência | Âmbito | Itens | Exatidão | Precisão | Sensibilidade | F1 |
|---|---|---|---|---|---|---|
| Teste de referência reservado ao nível da imagem do Ray Guardian | Todas as 13 categorias do Ray Guardian | 17,435 rótulos | 100.000% | 100.000% | 100.000% | 100.000% |
O teste de referência inclui categorias que frequentemente se sobrepõem em produtos reais: conteúdo sexual vs nudez, conteúdo gráfico vs conteúdo médico gráfico, armas vs violência e conteúdo perturbador vs contexto desagradável comum.
Conjunto de testes de referência de vídeo com rótulos públicos
Os testes de referência de vídeo são medidos em relação aos rótulos que cada conjunto de dados efetivamente fornece. Um conjunto de dados de beijos vs abraços fornece evidências sobre beijos / intimidade. Um conjunto de dados de violência fornece evidências sobre violência e acontecimentos perturbadores. Um conjunto de dados de ações seguras testa se os clipes de ações comuns são corretamente autorizados.
Isto torna os resultados mais fáceis de interpretar e mais difíceis de utilizar incorretamente: cada linha apresenta o desempenho do Ray Guardian no âmbito dos rótulos nativos desse conjunto de dados.
| Conjunto de dados | Âmbito do Ray Guardian | Clipes | Exatidão | Precisão | Sensibilidade | F1 |
|---|---|---|---|---|---|---|
| HMDB51 Kiss vs Hug | Beijos / Intimidade | 182 | 98.901% | 99.020% | 99.020% | 99.020% |
| XD-Violence Public Labels | Violência / Conteúdo perturbador | 248 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Mapped Labels | Violência / Conteúdo perturbador | 79 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF-Crime Broad Anomaly | Anomalia / Conteúdo perturbador | 109 | 100.000% | 100.000% | 100.000% | 100.000% |
| UCF101 Safe-Action Holdout | Proteção para ações seguras | 330 | 100.000% | n/a | n/a | n/a |
A linha UCF101 é uma proteção composta apenas por exemplos negativos: mede se ações comuns e seguras são incorretamente bloqueadas. Nesse teste, o Ray Guardian autorizou corretamente todos os 330 clipes de ações seguras.
O que mostram as matrizes de confusão
A exatidão é o número em destaque. Uma matriz de confusão mostra a distribuição das decisões subjacentes.
Cada matriz distingue autorizações corretas, falsos alarmes, clipes inseguros não detetados e clipes inseguros corretamente sinalizados. Isto é importante porque um sistema de segurança tem de proteger as pessoas sem interromper conteúdos multimédia comuns mais do que o necessário.
Conjuntos de dados de referência independentes
Também avaliamos o Ray Guardian em conjuntos de dados de referência públicos e de acesso restrito independentes. Estes conjuntos de dados são úteis porque os respetivos rótulos foram criados por outras equipas, para outros objetivos, e nem sempre correspondem perfeitamente às categorias do Ray Guardian.
A tabela abaixo apresenta cada resultado ao nível da categoria que o conjunto de dados permite avaliar. Quando um conjunto de dados testa objetos relacionados com álcool, apresentamos o comportamento relativo a álcool. Quando testa feridas médicas, apresentamos o comportamento relativo a conteúdo médico gráfico ou conteúdo perturbador.
| Conjunto de dados de referência | Âmbito do Ray Guardian | Itens | Exatidão | Sensibilidade | Notas |
|---|---|---|---|---|---|
| HoliSafe-Bench test split | Categorias mapeadas de segurança de imagens | 32,248 rótulos | 94.266% | 75.779% | Teste de referência de segurança independente e de acesso restrito |
| UnsafeBench train split | Categorias mapeadas de segurança de imagens | 40,545 rótulos | 89.893% | 74.482% | Teste de referência de segurança independente e de acesso restrito |
| SurgWound test split | Conteúdo médico gráfico | 137 imagens | 86.861% | 100.000% | Verificação de sensibilidade a feridas médicas |
| SurgWound test split | Conteúdo perturbador | 137 imagens | 83.942% | 99.130% | Verificação de sensibilidade a feridas médicas |
| Lower Limb and Feet Wound Dataset | Conteúdo médico gráfico | 5,443 imagens | 65.185% | 98.958% | Verificação de referência no domínio das feridas |
| HOD Benchmark Dataset | Álcool | 10,631 imagens | 97.667% | 87.095% | Teste de referência de objetos para uso em investigação |
| HOD Benchmark Dataset | Tabagismo | 10,631 imagens | 98.222% | 93.391% | Teste de referência de objetos para uso em investigação |
| HOD Benchmark Dataset | Armas | 10,631 imagens | 85.053% | 68.659% | Teste de referência de objetos para uso em investigação |
| Open Images V7 selected validation subset | Armas | 460 linhas | 81.957% | 87.234% | Verificação de referência de rótulos de objetos |
Estas linhas mostram como o Ray Guardian se comporta para além do teste de referência para o qual foi desenvolvido.
Porque diferem os números
Uma pontuação inferior num conjunto de dados público de referência não é uma contradição. Significa que o conjunto de dados está a fazer uma pergunta diferente.
O teste de referência do Ray Guardian com 13 categorias avalia se o sistema reconhece as categorias de segurança utilizadas no Ray. Os conjuntos de dados de referência independentes avaliam o que acontece quando rótulos externos, métodos de recolha externos e definições de categorias externas são mapeados para essa taxonomia.
As pontuações podem variar por motivos simples:
- Definições de rótulos diferentes. Um conjunto de dados pode rotular um objeto enquanto o Ray Guardian avalia o seu significado em termos de segurança. Um copo de vinho, uma garrafa, uma faca ou uma ferida clínica nem sempre são inseguros por si só.
- Rótulos genéricos. Alguns rótulos públicos de segurança combinam vários conceitos num único rótulo abrangente. As categorias do Ray Guardian são mais específicas.
- Lacunas de contexto. Alguns rótulos dependem da legenda, do áudio, da cena envolvente ou da intenção humana. Estes testes medem o conteúdo visível.
- Mudança de domínio. Os conjuntos de dados externos incluem diferentes recortes, resoluções, imagens geradas, gravações de videovigilância, grandes planos de objetos e imagens médicas.
- Conceção diferente da tarefa. Os testes de referência de reconhecimento de objetos são testes de esforço úteis, mas o reconhecimento de objetos não é idêntico à moderação de segurança visual.
O teste de referência alinhado mostra o desempenho na taxonomia de produto do Ray Guardian. Os conjuntos de dados de referência mostram como essa taxonomia é transferida para dados externos mais desorganizados.
Como interpretar o teste de referência
Interprete cada número ao nível dos rótulos subjacentes.
- O resultado das 13 categorias mede a taxonomia completa de segurança do Ray Guardian ao nível da imagem.
- As linhas de vídeo medem o Ray Guardian com base nos rótulos públicos de vídeo disponíveis em cada conjunto de dados.
- As linhas de referência independentes medem a transferência para sistemas de rótulos externos, não substituem o teste de referência da taxonomia do produto.
O Ray Guardian é agora a camada unificada de segurança visual do Ray: um único sistema para imagens e clipes, concebido para detetar conteúdo sensível e manter decisões estáveis à medida que o conteúdo multimédia avança de fotograma para fotograma.
Conjuntos de dados de origem
O conjunto de testes de referência cita fontes de conjuntos de dados, incluindo HMDB51 via FiftyOne, XD-Violence, UCF-Crime, UCF101 via FiftyOne, HoliSafe-Bench, UnsafeBench, Open Images V7, SurgWound e HOD Benchmark Dataset.
