Meta anunció nuevas funciones de seguridad para las conversaciones entre adolescentes y Meta AI que permitirán notificar a los padres cuando el asistente detecte posibles señales de riesgo de suicidio o autolesión. El objetivo es ofrecer experiencias de inteligencia artificial acordes con la edad de los usuarios.
De acuerdo con Meta, cuando un adolescente manifieste indicios de estar considerando el suicidio o la autolesión durante una conversación con Meta AI, se enviarán notificaciones a los padres de los usuarios que tengan activadas las herramientas de supervisión parental de Instagram.
Mientras tanto, el sistema recomendará a los adolescentes líneas de ayuda y sugerirá acudir a un padre u otro adulto de confianza, como un consejero.
Junto con la alerta, los padres recibirán recursos desarrollados por especialistas para ayudarles a abordar este tipo de conversaciones con los adolescentes.
Las conversaciones identificadas como sensibles serán revisadas manualmente antes de enviar una notificación. Si la intención del adolescente resulta ambigua, la empresa optará por alertar a los padres, aunque ello implique enviar algunas notificaciones cuando no exista un riesgo real. La empresa justificó su decisión al considerar que es preferible priorizar la seguridad.
Respecto al funcionamiento del sistema, Meta detalló que fue entrenado específicamente para identificar conversaciones relacionadas con suicidio o autolesión, incluso cuando las referencias a hacerse daño son sutiles.
Para ello, desarrolló un modelo de inteligencia artificial basado en señales definidas de la mano de expertos en salud mental.
Actualmente, esta función está disponible para usuarios de Estados Unidos, Reino Unido, Australia y Canadá, y prevé extenderla a nivel global antes de finalizar el año.
El mecanismo se suma a las alertas que Instagram ya envía cuando detecta que un adolescente busca repetidamente términos relacionados con suicidio o autolesión.
Meta AI también podrá alertar a servicios de emergencia
La compañía también desarrolla una herramienta para alertar a los servicios de emergencia cuando una conversación con Meta AI sugiera que una persona —adolescente o adulta— enfrenta un riesgo inminente de suicidio.
La iniciativa retoma un sistema similar implementado en Facebook e Instagram para publicaciones sin restricciones de público. Meta reveló que durante el último año realizó más de 19.000 notificaciones a servicios de emergencia en distintos países relacionadas con posibles riesgos de suicidio.
Como parte de estas medidas, la empresa señaló que incorporó recomendaciones de más de 75 profesionales clínicos especializados en salud mental adolescente, quienes evaluaron las respuestas de Meta AI ante cientos de consultas relacionadas con suicidio y autolesión.
Con base en esa retroalimentación, la empresa busca que el asistente reconozca las emociones expresadas por los adolescentes, mantenga una conversación de apoyo y los dirija hacia recursos especializados o adultos de confianza, evitando respuestas abruptas.
Además de este grupo de especialistas, la compañía indicó que mantiene consultas con su Consejo de Expertos en Bienestar de IA, su Grupo Asesor sobre Suicidio y Autolesión y asesores juveniles para continuar ajustando el comportamiento del modelo.
Contenido limitado llegará también a Meta AI
La compañía también anunció que la configuración Contenido limitado, disponible para las Cuentas de Adolescentes en Instagram, se extenderá a las conversaciones con Meta AI.
Las cuentas para adolescentes cuentan de forma predeterminada con una configuración diseñada para ofrecer respuestas acordes con la edad del usuario.
Esto quiere decir que Meta AI está entrenado para no participar en conversaciones de carácter sexual o romántico con adolescentes ni proporcionar recetas de bebidas alcohólicas, redirigiendo esas consultas hacia temas considerados más seguros.
Con la extensión de Contenido limitado, los padres que opten por una experiencia más restrictiva podrán aplicar controles adicionales sobre las conversaciones que sus hijos mantengan con Meta AI.
En esta modalidad, el asistente rechazará una gama más amplia de solicitudes consideradas sensibles o inapropiadas para menores de edad, con el objetivo de reforzar las protecciones ya existentes.
