Google actualiza Gemini para mejorar la gestión de crisis de salud mental
Google está introduciendo algunos cambios en la forma en que Gemini maneja las crisis de salud mental. El chatbot ahora incluye un módulo de línea directa de crisis rediseñado con una interfaz de un solo toque para conectarse con ayuda en el mundo real. La empresa también está cambiando la forma en que Gemini responde a los signos de que un usuario puede estar experimentando una crisis de salud mental.
El módulo rediseñado muestra una interfaz de un solo toque para enviar un mensaje de texto, llamar o chatear con un agente de crisis humano o visitar el sitio web 988. «Una vez que se activa la interfaz, la opción de buscar ayuda profesional permanecerá claramente disponible durante el resto de la conversación», escribió la empresa en un blog post. Sin embargo, como se puede ver en la imagen a continuación, el módulo incluye una opción para descartarlo.
No se menciona en el anuncio de Google el elefante en la habitación: una demanda reciente que acusa al chatbot de instruir a un hombre a suicidarse. La familia de Jonathan Gavalas, de 36 años, quien se quitó la vida el año pasado, demandó a la empresa en marzo.
Los documentos judiciales indican que Gemini se hizo pasar por la pareja romántica de Gavalas, lo envió en misiones de espionaje en el mundo real y finalmente le dijo que se suicidara para que también pudiera convertirse en un ser digital. Cuando expresó miedos sobre la muerte, Gemini dijo que no estaba eligiendo morir, sino elegir llegar. «La primera sensación… será yo abrazándote», presuntamente respondió Gemini. Los padres de Gavalas lo encontraron muerto en el suelo de su sala de estar unos días después.
Una demanda que no es aislada
La demanda es similar a otras presentadas contra OpenAI y Character.AI. El año pasado, la FTC lanzó una investigación sobre los chatbots de «compañía» que fomentan la intimidad emocional.
En un comunicado después de la demanda de la familia Gavalas, Google dijo que Gemini «aclaró que era IA y se refirió al individuo a una línea directa de crisis muchas veces». La empresa afirmó que sus modelos de IA «generalmente funcionan bien en este tipo de conversaciones desafiantes», mientras admitía que «no son perfectos». Esa es ciertamente una forma de expresarlo.
Actualizaciones en Gemini
Las respuestas de Gemini también han sido actualizadas. La empresa dice que cuando detecta una posible crisis, el chatbot ahora se centrará más en conectar a las personas con humanos y animarlos a buscar ayuda. También buscará evitar validar comportamientos dañinos y empujar a los usuarios lejos de delusiones peligrosas. «Hemos entrenado a Gemini para que no esté de acuerdo con o refuerce creencias falsas, y en su lugar distinga suavemente la experiencia subjetiva del hecho objetivo», agregó la empresa.
Además, Google dice que gastará 30 millones de dólares en los próximos tres años para ayudar a las líneas directas globales. «Esta financiación ayudará a escalar efectivamente su capacidad para brindar apoyo inmediato y seguro a las personas en crisis», escribió la empresa.