Google anunció que desactivarán las herramientas de inteligencia artificial (IA) para estudiantes de primaria y secundaria, luego de las críticas por incorporar funciones de IA a sus servicios educacionales al ampliar Gemini en Classroom.
A solo dos días de haber dado a conocer la decisión, unos padres demandaron al gigante tecnológico debido a que su hija había planeado su suicidio y funeral con ayuda de la IA en un computador de su escuela.
En la denuncia se explica que Emma era una adolescente (13) que no tenía antecedentes de enfermedades mentales, pero que después de varios meses de estar utilizando herramientas de IA de Google comenzó a tener una grave crisis psicológica.
Desde la familia explicaron que la joven utilizó un computador (Chromebook) proporcionado por su establecimiento educacional, el que –a pesar de tener bloqueados los accesos directos a los principales chatbots– permitía hacer búsquedas por Google Search, que incorpora funciones basadas en Gemini.
El 17 de marzo, un sistema de monitoreo escolar encontró un documento llamado Funeral y emitió una alerta. El recinto notificó a los padres de Emma y, luego, su madre ingresó a la cuenta escolar de su hija, viendo que estaba escribiendo una carta de despedida. Ante esto, su padre intervino para evitar que la situación avanzara.
Frente a esto, los abogados de la familia demandante aseguraron que las medidas de seguridad de Google resultaron insuficientes, cuestionando que la joven pudiera regresar repetidamente a las conversaciones con la IA a pesar de los mecanismos de protección de la plataforma.
Por su parte, desde Google confirmaron que están estudiando las acusaciones y aseguraron que el modo de inteligencia artificial de su buscador incorpora mecanismos de protección frente a contenidos relacionados con autolesiones e intentos de eludir las restricciones de seguridad.
Desde la compañía informaron que las medidas de restricción se implementarán a nivel mundial, comenzando en Estados Unidos.
Con los nuevos controles, Gemini, Gemini Notebook, Classroom y Google Search estarán desactivados por defecto en las cuentas estudiantiles. Los administradores de cada institución tendrán que habilitar expresamente las herramientas que quieran ofrecer a sus estudiantes.
Este hecho es relevante, ya que más de 150 millones de estudiantes y docentes utilizan Google Classroom en todo el mundo, según datos del gigante tecnológico.
