La empresa Anthropic relaja sus salvaguardias de IA en medio de la presión del Pentágono
El martes, se conocieron dos historias sobre Anthropic, la empresa detrás de Claude, que juntas pintan un panorama inquietante. En primer lugar, el secretario de Defensa de EE. UU., Pete Hegseth, está presionando a Anthropic para que renuncie a sus salvaguardias de IA y dé al ejército acceso ilimitado a su chatbot de IA Claude. La empresa eligió el mismo día para anunciar que estaba modificando su Política de escalado responsable (RSP), que hasta ahora había sido su principal compromiso para garantizar la seguridad.
Un cambio en la política de seguridad
Anthropic ha estado trabajando en su Política de escalado responsable desde hace dos años y medio, y ha sido un elemento clave en su estrategia de marketing hacia empresas y consumidores. Sin embargo, la empresa ha decidido cambiar su enfoque y adoptar un enfoque más relativo en lugar de establecer líneas rojas estrictas.
“Honestamente, creemos que algunas partes de nuestra teoría del cambio han funcionado como esperábamos, pero otras no”, escribió Anthropic. Ahora, su política actualizada se enfoca en la seguridad de manera relativa, en lugar de establecer líneas rojas estrictas.
La presión del Pentágono
La noticia de la presión del Pentágono sobre Anthropic para que renuncie a sus salvaguardias de IA coincide con el anuncio de la empresa sobre el cambio en su política de seguridad. El secretario de Defensa, Pete Hegseth, ha estado presionando a la empresa para que dé al ejército acceso ilimitado a su chatbot de IA Claude, lo que ha generado preocupaciones sobre la seguridad y la ética.
Anthropic ha ofrecido adoptar sus políticas de uso para el Pentágono, pero no está dispuesta a permitir que su modelo se utilice para la vigilancia masiva de estadounidenses o para armas que disparen sin la intervención humana. La empresa ha sido clara en su posición, y ha expresado su compromiso con la seguridad y la ética en el desarrollo de la IA.
Un enfoque más flexible
En lugar de establecer líneas rojas estrictas, Anthropic ha decidido adoptar un enfoque más flexible y relativo en su política de seguridad. La empresa ha introducido nuevos informes de riesgo y mapas de seguridad de frontera, que están diseñados para proporcionar transparencia al público en lugar de líneas rojas estrictas.
Anthropic argumenta que este cambio se debe a un problema de acción colectiva, ya que la competencia en el panorama de la IA y la falta de regulación en EE. UU. han creado un entorno en el que las empresas deben tomar decisiones difíciles sobre la seguridad y la ética. La empresa ha expresado su compromiso con la seguridad y la ética, pero también ha reconocido que la competencia y la falta de regulación pueden crear desafíos para las empresas que buscan priorizar la seguridad.
Reacciones y preocupaciones
La noticia del cambio en la política de seguridad de Anthropic ha generado reacciones y preocupaciones en la comunidad de la IA y la tecnología. Algunos expertos han expresado su preocupación de que el enfoque más flexible de la empresa pueda llevar a un efecto de “hervir la rana”, en el que la seguridad se convierte en un área gris y las empresas pueden tomar decisiones que comprometan la seguridad y la ética.
Chris Painter, director de METR, ha expresado su preocupación de que el nuevo enfoque de Anthropic pueda llevar a una situación en la que la seguridad se convierta en un área gris y las empresas puedan tomar decisiones que comprometan la seguridad y la ética. Painter ha argumentado que la sociedad no está preparada para los riesgos potenciales de la IA y que las empresas deben priorizar la seguridad y la ética en el desarrollo de la IA.