Amazon informa de más de 1 millón de casos de abuso infantil relacionados con la inteligencia artificial en 2025
El Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) ha recibido más de 1 millón de informes de material de abuso sexual infantil (CSAM) relacionado con la inteligencia artificial en 2025. La mayoría de ese contenido fue reportado por Amazon, que lo encontró en sus datos de entrenamiento, según una investigación de Bloomberg.
Amazon ha declarado que obtuvo el contenido inapropiado de fuentes externas utilizadas para entrenar sus servicios de inteligencia artificial y ha afirmado que no puede proporcionar más detalles sobre el origen del CSAM.
La respuesta de Amazon
Amazon ha proporcionado una declaración a Engadget para explicar por qué no tiene datos que puedan proporcionar más acción sobre lo que ha encontrado.
“Cuando creamos este canal de informes en 2024, informamos a NCMEC que no tendríamos suficiente información para crear informes accionables, debido a la naturaleza de terceros de los datos escaneados. El canal separado asegura que estos informes no diluyan la eficacia de nuestros otros canales de informes. Debido a cómo se obtienen estos datos, no tenemos los datos que componen un informe accionable.”
La preocupación por la seguridad de los menores
“Esto es realmente un caso excepcional”, declaró Fallon McNulty, directora ejecutiva de la línea de ayuda en línea de NCMEC. La línea de ayuda es donde muchas empresas con sede en Estados Unidos están legalmente obligadas a informar sobre sospechas de CSAM. “Tener un volumen tan alto de informes a lo largo del año plantea muchas preguntas sobre el origen de los datos y las medidas de seguridad que se han implementado”.
McNulty agregó que, aparte de Amazon, los informes relacionados con la inteligencia artificial que la organización recibió de otras empresas el año pasado incluían datos accionables que se podrían pasar a las autoridades para seguir adelante. Dado que Amazon no está divulgando las fuentes, McNulty dijo que sus informes han resultado “inaccionables”.
Amazon ha proporcionado más detalles, que se informaron por primera vez en Bloomberg:
“Amazon se compromete a prevenir el CSAM en todos sus negocios y no somos conscientes de ninguna instancia de que nuestros modelos generen CSAM. De acuerdo con nuestros compromisos con la inteligencia artificial responsable y los Principios de Inteligencia Artificial Generativa para Prevenir el Abuso Infantil, adoptamos un enfoque deliberadamente cauteloso para escanear los datos de entrenamiento de los modelos de base, incluidos los datos de la web pública, para identificar y eliminar el CSAM conocido y proteger a nuestros clientes. Aunque nuestras salvaguardas proactivas no pueden proporcionar el mismo nivel de detalle en los informes de NCMEC que las herramientas orientadas al consumidor, nos comprometemos con la inteligencia artificial responsable y seguiremos trabajando para prevenir el CSAM”.
La empresa también repitió que “intencionalmente utilizamos un umbral de escaneo sobre-inclusivo, lo que produce un alto porcentaje de falsos positivos” para explicar el gran volumen de contenido que la empresa ha informado.
La industria de la inteligencia artificial y la seguridad de los menores
Las preguntas de seguridad para los menores han surgido como una preocupación crítica para la industria de la inteligencia artificial en los últimos meses. El CSAM ha aumentado drásticamente en los registros de NCMEC; en comparación con los más de 1 millón de informes relacionados con la inteligencia artificial que la organización recibió el año pasado, el total de 2024 fue de 67.000 informes, mientras que en 2023 solo se registraron 4.700 informes.
Además de problemas como el uso de contenido abusivo para entrenar modelos, los chatbots de inteligencia artificial también han sido implicados en varios casos peligrosos o trágicos que involucran a usuarios jóvenes. OpenAI y Character.AI han sido demandadas después de que adolescentes planearan sus suicidios con las plataformas de estas empresas. Meta también está siendo demandada por presuntas fallas para proteger a los usuarios adolescentes de conversaciones sexualmente explícitas con chatbots.
Actualización, 30 de enero de 2026, 11:05 a. m. ET: Esta historia se ha actualizado con varias declaraciones de Amazon.