Amazon informa de más de 1 millón de casos de abuso sexual infantil relacionados con la IA en 2025
El Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) ha recibido más de 1 millón de informes de contenido relacionado con la abusos sexuales infantiles (CSAM) relacionados con la inteligencia artificial (IA) en 2025. La mayoría de ese contenido fue informado por Amazon, que lo encontró en sus datos de entrenamiento, según una investigación de Bloomberg. Además, Amazon dijo que solo obtuvo el contenido inapropiado de fuentes externas utilizadas para entrenar sus servicios de IA y afirmó que no podía proporcionar más detalles sobre el origen del CSAM.
Amazon proporcionó la siguiente declaración para explicar por qué no tiene datos que puedan proporcionar más acción sobre el tema: “Cuando configuramos este canal de informes en 2024, informamos a NCMEC que no tendríamos suficiente información para crear informes accionables, debido a la naturaleza de terceros de los datos escaneados. El canal separado garantiza que estos informes no diluyan la eficacia de nuestros otros canales de informes. Debido a cómo se obtiene esta información, no tenemos los datos que componen un informe accionable”.
“Esto es realmente un caso excepcional”, dijo Fallon McNulty, directora ejecutiva de la línea de ayuda contra la cibercriminalidad de NCMEC. La línea de ayuda es donde muchas empresas con sede en EE. UU. están obligadas por ley a informar sobre sospechas de CSAM. “Tener un volumen tan alto de informes a lo largo del año plantea muchas preguntas sobre el origen de los datos y las salvaguardas que se han implementado”. Agregó que, aparte de Amazon, los informes relacionados con la IA que la organización recibió de otras empresas el año pasado incluían datos accionables que se podían pasar a las fuerzas del orden para seguir adelante. Dado que Amazon no está divulgando fuentes, McNulty dijo que sus informes han demostrado ser “inaccionables”.
Amazon proporcionó estos detalles adicionales, que se informaron por primera vez en Bloomberg: “Amazon se compromete a prevenir el CSAM en todas sus empresas, y no somos conscientes de ninguna instancia de que nuestros modelos generen CSAM. De acuerdo con nuestros compromisos con la IA responsable y los Principios de IA Generativa para Prevenir el Abuso Infantil, adoptamos un enfoque deliberadamente cauteloso para escanear los datos de entrenamiento de los modelos de base, incluidos los datos de la web pública, para identificar y eliminar el CSAM conocido y proteger a nuestros clientes. Si bien nuestras salvaguardas proactivas no pueden proporcionar el mismo nivel de detalle en los informes de NCMEC que las herramientas orientadas al consumidor, nos comprometemos con la IA responsable y seguiremos trabajando para prevenir el CSAM”.
La empresa también reiteró que “intencionalmente utilizamos un umbral de inclusión excesivo para la escaneado, lo que produce un alto porcentaje de falsos positivos” para explicar el alto volumen de contenido que la empresa informó.
Las preguntas de seguridad para menores han surgido como una preocupación crítica para la industria de la inteligencia artificial en los últimos meses. El CSAM ha aumentado drásticamente en los registros de NCMEC; en comparación con los más de 1 millón de informes relacionados con la IA que la organización recibió el año pasado, el total de 2024 fue de 67.000 informes, mientras que en 2023 solo se registraron 4.700 informes.
Además de problemas como el contenido abusivo utilizado para entrenar modelos, los chatbots de IA también han sido implicados en varios casos peligrosos o trágicos que involucran a usuarios jóvenes. OpenAI y Character.AI han sido demandadas después de que adolescentes planearan sus suicidios con las plataformas de estas empresas. Meta también está siendo demandada por presuntas fallas para proteger a los usuarios adolescentes de conversaciones sexualmente explícitas con chatbots.
Actualización, 30 de enero de 2026, 11:05 a. m. ET: Esta historia se ha actualizado con varias declaraciones de Amazon.