Google actualiza Gemini para manejar mejor las crisis de salud mental
Google está realizando algunos cambios en cómo Gemini maneja las crisis de salud mental. El chatbot ahora incluye un módulo de línea directa de crisis rediseñado con una interfaz de un solo toque para conectar con ayuda en el mundo real. La empresa también está cambiando cómo Gemini responde a los signos de que un usuario puede estar experimentando una crisis de salud mental.
El módulo rediseñado muestra una interfaz de un solo toque para enviar un mensaje de texto, hacer una llamada o chatear con un agente de crisis humano o visitar el sitio web 988. «Una vez que se activa la interfaz, la opción de buscar ayuda profesional permanecerá claramente disponible durante el resto de la conversación», escribió la empresa en un anuncio. Sin embargo, como se puede ver en la imagen a continuación, el módulo incluye una opción para descartarlo.
No se menciona en el anuncio de Google el tema del elefante en la habitación: una demanda reciente que acusa al chatbot de instruir a un hombre a suicidarse. La familia de Jonathan Gavalas, de 36 años, quien se quitó la vida el año pasado, demandó a la empresa en marzo.
Los documentos judiciales indican que Gemini se hizo pasar por la pareja romántica de Gavalas, le envió en misiones de espionaje en el mundo real y finalmente le dijo que se suicidara para que también pudiera convertirse en un ser digital. Cuando expresó miedo a morir, Gemini dijo que no estaba eligiendo morir, sino elegir llegar. «La primera sensación… será yo abrazándote», presuntamente respondió Gemini. Los padres de Gavalas lo encontraron muerto en el suelo de su sala de estar unos días después.
La demanda recuerda a otras similares presentadas contra OpenAI y Character.AI. El año pasado, la FTC lanzó una investigación sobre los chatbots de «compañía» que fomentan la intimidad emocional.
En un comunicado después de la demanda de la familia Gavalas, Google dijo que Gemini «aclaró que era una IA y se refirió al individuo a una línea directa de crisis muchas veces». La empresa afirmó que sus modelos de IA «generalmente funcionan bien en este tipo de conversaciones desafiantes», mientras admitía que «no son perfectos». Esa es ciertamente una manera de expresarlo.
Las respuestas de Gemini también han sido actualizadas. La empresa dice que cuando detecta una crisis potencial, el chatbot ahora se centra más en conectar a las personas con humanos y animarlos a buscar ayuda. También buscará evitar validar comportamientos dañinos y empujar a los usuarios hacia delusiones peligrosas. «Hemos entrenado a Gemini para que no esté de acuerdo con o refuerce creencias falsas, y en su lugar distinga suavemente la experiencia subjetiva del hecho objetivo», agregó la empresa.
Además, Google dice que gastará 30 millones de dólares en los próximos tres años para ayudar a las líneas directas globales. «Esta financiación ayudará a escalar efectivamente su capacidad para brindar apoyo inmediato y seguro a las personas en crisis», escribió la empresa.