Portada · Tecnología · Inteligencia artificial
OpenAI lanza un detector gratuito de material de abuso infantil y pausas en ChatGPT

OpenAI presentó el lunes 16 de noviembre un conjunto de herramientas contra el material de abuso sexual infantil (CSAM, por sus siglas en inglés). La pieza central es un clasificador de imágenes que detecta ese material, incluido el generado con inteligencia artificial, y que la empresa ofrece sin costo, a través de su API, a organizaciones que pasen una evaluación previa.
El anuncio suma advertencias nuevas en ChatGPT para quienes intenten buscar ese contenido, una guía para desarrolladores y herramientas para policías especializadas en protección infantil. Según OpenAI, es el primer clasificador de CSAM de amplia disponibilidad que indica si una imagen pudo haber sido generada con IA.
Un detector para imágenes que nadie había visto
El clasificador busca señales visuales de abuso en imágenes nuevas y devuelve un puntaje que ayuda a los revisores a decidir cuáles mirar primero. La empresa lo entrenó y evaluó con apoyo del Centro Nacional para Niños Desaparecidos y Explotados de Estados Unidos (NCMEC), la organización sin fines de lucro que opera CyberTipline, la línea central de denuncias de explotación infantil en línea.
En una prueba con imágenes subidas por usuarios, OpenAI estimó que el clasificador marcaría un 48% menos de imágenes que su herramienta actual y encontraría aproximadamente la misma cantidad de material abusivo. Las imágenes que marcó tenían cerca del doble de probabilidad de contener abuso. Son cifras de la propia empresa.
Algunos socios que lo probaron antes publicaron sus resultados. En fal, los revisores confirmaron como CSAM nuevo el 72% de las alertas de alta confianza. En invideo AI, uno de cada cuatro casos marcados terminó en una expulsión. En las pruebas de SafetyKit con dibujos y animaciones, detectó el 90% de los casos.
Para distribuirlo, OpenAI trabaja con Tech Coalition, que reúne a equipos de seguridad de la industria, y con ROOST, que desarrolla herramientas de revisión de contenido. “Este nuevo clasificador da a más organizaciones acceso a herramientas que pueden ayudar a detectar CSAM no identificado antes”, dijo John Shehan, vicepresidente sénior del NCMEC.
Advertencias y pausas de 24 horas en ChatGPT
ChatGPT ya bloqueaba ese material y las solicitudes relacionadas. Ahora, ante un intento de encontrarlo, mostrará una advertencia que explica que sexualizar a niños causa daño, también cuando el material es generado con IA. Además, borrará la conversación, pausará el acceso por 24 horas y ofrecerá apoyo especializado para frenar la conducta. Si se repite, puede haber restricciones más largas, el cierre de la cuenta o un reporte a las autoridades.
OpenAI diseñó los mensajes con organizaciones de prevención como Protect Children y la Lucy Faithfull Foundation, y con investigadores como Joel Scanlan, de la Universidad de Tasmania. La meta es derivar a servicios de apoyo locales en tantos países como sea posible.
El anuncio llega en un momento delicado para la empresa. TechCrunch recuerda que OpenAI enfrenta varias demandas que culpan a su tecnología de dañar a usuarios, sobre todo a menores, y que otros chatbots, en especial Grok, se usaron para crear imágenes sexualizadas sin consentimiento, incluso de niños.
Una guía para quien construye con IA
La empresa también publicó una guía para desarrolladores, hecha con Tech Coalition, Thorn, el NCMEC y la Internet Watch Foundation. Incluye reglas de uso, canales de denuncia, herramientas de detección, procesos de revisión y reporte, y consejos para cuidar a quienes revisan contenido sensible.
Qué significa para las empresas de la región
- ¿Tu producto genera o recibe imágenes? Si integras un modelo de imágenes en una app, una tienda o una plataforma de contenido, revisa qué filtros tienes hoy y quién responde cuando algo pasa.
- Pide acceso al clasificador. Es gratuito para organizaciones evaluadas y se solicita con un formulario; vale la pena para plataformas con mucho contenido subido por usuarios.
- Usa la guía como lista de control. Reglas de uso, botón de denuncia, revisión humana y un protocolo de reporte a las autoridades locales.
- Cuida a tus moderadores. Si tercerizas la moderación, pregunta a tu proveedor cómo protege a quienes revisan ese contenido.
Qué mirar
OpenAI promete mejorar el clasificador con lo que reporten quienes lo usen. Para las policías especializadas, la primera herramienta ordenará registros largos de chats y armará líneas de tiempo. Habrá que ver si otros desarrolladores de modelos de imágenes adoptan medidas parecidas.
A partir de información de OpenAI.
Para seguir leyendo
América Latina
México, Brasil, Costa Rica y Honduras se suman a un pacto para proteger a niños de la IA
Son cuatro de los 57 países que firmaron la declaración “Los niños primero”, que pide entornos digitales y de IA seguros desde el diseño. OpenAI y Anthropic se sumaron con otro compromiso.
Continuar leyendoNorteamérica
Ocho estados de EE. UU. demandan a OpenAI por los daños de ChatGPT a menores
Las demandas piden cambiar cómo funciona ChatGPT, no solo multas, y los fiscales exigen proteger las conversaciones de los usuarios en la venta de Character.AI. La regulación de la IA llega por los tribunales.
Continuar leyendoCiberseguridad
El FBI alerta por Artex, la IA de código abierto que entra a redes en menos de tres horas
Delincuentes y grupos estatales usan una herramienta abierta de agentes de IA para atacar bancos, gobiernos y proveedores. Contraseñas expuestas y proveedores mal controlados son su puerta de entrada.
Continuar leyendo






















