Suscríbete

Portada · Tecnología · Inteligencia artificial

OpenAI lanza un detector gratuito de material de abuso infantil y pausas en ChatGPT

Por Equipo growclub

Escudo azul y blanco en pixel art frente a una cuadrícula de marcos vacíos, con una lupa y algunos triángulos de alerta coral
Ilustración: growclub

OpenAI presentó el lunes 16 de noviembre un conjunto de herramientas contra el material de abuso sexual infantil (CSAM, por sus siglas en inglés). La pieza central es un clasificador de imágenes que detecta ese material, incluido el generado con inteligencia artificial, y que la empresa ofrece sin costo, a través de su API, a organizaciones que pasen una evaluación previa.

El anuncio suma advertencias nuevas en ChatGPT para quienes intenten buscar ese contenido, una guía para desarrolladores y herramientas para policías especializadas en protección infantil. Según OpenAI, es el primer clasificador de CSAM de amplia disponibilidad que indica si una imagen pudo haber sido generada con IA.

Un detector para imágenes que nadie había visto

El clasificador busca señales visuales de abuso en imágenes nuevas y devuelve un puntaje que ayuda a los revisores a decidir cuáles mirar primero. La empresa lo entrenó y evaluó con apoyo del Centro Nacional para Niños Desaparecidos y Explotados de Estados Unidos (NCMEC), la organización sin fines de lucro que opera CyberTipline, la línea central de denuncias de explotación infantil en línea.

En una prueba con imágenes subidas por usuarios, OpenAI estimó que el clasificador marcaría un 48% menos de imágenes que su herramienta actual y encontraría aproximadamente la misma cantidad de material abusivo. Las imágenes que marcó tenían cerca del doble de probabilidad de contener abuso. Son cifras de la propia empresa.

Algunos socios que lo probaron antes publicaron sus resultados. En fal, los revisores confirmaron como CSAM nuevo el 72% de las alertas de alta confianza. En invideo AI, uno de cada cuatro casos marcados terminó en una expulsión. En las pruebas de SafetyKit con dibujos y animaciones, detectó el 90% de los casos.

Para distribuirlo, OpenAI trabaja con Tech Coalition, que reúne a equipos de seguridad de la industria, y con ROOST, que desarrolla herramientas de revisión de contenido. “Este nuevo clasificador da a más organizaciones acceso a herramientas que pueden ayudar a detectar CSAM no identificado antes”, dijo John Shehan, vicepresidente sénior del NCMEC.

Advertencias y pausas de 24 horas en ChatGPT

ChatGPT ya bloqueaba ese material y las solicitudes relacionadas. Ahora, ante un intento de encontrarlo, mostrará una advertencia que explica que sexualizar a niños causa daño, también cuando el material es generado con IA. Además, borrará la conversación, pausará el acceso por 24 horas y ofrecerá apoyo especializado para frenar la conducta. Si se repite, puede haber restricciones más largas, el cierre de la cuenta o un reporte a las autoridades.

OpenAI diseñó los mensajes con organizaciones de prevención como Protect Children y la Lucy Faithfull Foundation, y con investigadores como Joel Scanlan, de la Universidad de Tasmania. La meta es derivar a servicios de apoyo locales en tantos países como sea posible.

El anuncio llega en un momento delicado para la empresa. TechCrunch recuerda que OpenAI enfrenta varias demandas que culpan a su tecnología de dañar a usuarios, sobre todo a menores, y que otros chatbots, en especial Grok, se usaron para crear imágenes sexualizadas sin consentimiento, incluso de niños.

Una guía para quien construye con IA

La empresa también publicó una guía para desarrolladores, hecha con Tech Coalition, Thorn, el NCMEC y la Internet Watch Foundation. Incluye reglas de uso, canales de denuncia, herramientas de detección, procesos de revisión y reporte, y consejos para cuidar a quienes revisan contenido sensible.

Qué significa para las empresas de la región

  • ¿Tu producto genera o recibe imágenes? Si integras un modelo de imágenes en una app, una tienda o una plataforma de contenido, revisa qué filtros tienes hoy y quién responde cuando algo pasa.
  • Pide acceso al clasificador. Es gratuito para organizaciones evaluadas y se solicita con un formulario; vale la pena para plataformas con mucho contenido subido por usuarios.
  • Usa la guía como lista de control. Reglas de uso, botón de denuncia, revisión humana y un protocolo de reporte a las autoridades locales.
  • Cuida a tus moderadores. Si tercerizas la moderación, pregunta a tu proveedor cómo protege a quienes revisan ese contenido.

Qué mirar

OpenAI promete mejorar el clasificador con lo que reporten quienes lo usen. Para las policías especializadas, la primera herramienta ordenará registros largos de chats y armará líneas de tiempo. Habrá que ver si otros desarrolladores de modelos de imágenes adoptan medidas parecidas.

A partir de información de OpenAI.

Para seguir leyendo

En tu correo

Ver el newsletter

growclub al día

Reportajes, historias y la perspectiva de growclub sobre las noticias más importantes del día.

Herramientas y apps · Guía

Alternativas a ChatGPT para empresas: 5 opciones

Cinco alternativas a ChatGPT para una empresa: Claude, Gemini, Microsoft 365 Copilot, Grok y Perplexity. Cuál encaja según la tarea, el plan de equipo y los datos.

Por Equipo growclub

  • Herramientas y apps · Guía

    ChatGPT vs Claude para empresas: cuál elegir

    Para una empresa, ChatGPT Business encaja con el análisis de planillas y Codex; Claude Team, con documentos largos, proyectos y Claude Code. Los dos dicen que no entrenan con los datos del trabajo.

    Por Equipo growclub

  • Herramientas y apps · Guía

    ChatGPT vs Gemini para empresas: cuál elegir

    Para una empresa que ya trabaja en Google, Gemini vive dentro de Gmail, Docs y Meet. ChatGPT Business se conecta a Google y a Microsoft. Los dos dicen que, por defecto, no entrenan con los datos del plan.

    Por Equipo growclub

  • Herramientas y apps · Guía

    Claude Meetings vs Fireflies vs Otter: cuál conviene

    Tres formas de dejar el acta: Claude Meetings entra a Google Meet; Fireflies y Otter entran también a Zoom y a Teams. El español, el CRM y el entrenamiento no se resuelven igual.

    Por Equipo growclub