El ChatGPT español, hecho en Jaén, que rebate el discurso de odio en redes: "Ningún humano lo haría mejor"

La Universidad de Jaén ha creado un sistema generativo del lenguaje -al estilo ChatGPT- entrenado para responder los discursos de odio en redes sociales con el fin de desmontarlos, un modelo que será presentado en unos meses ante la Comisión Europea como parte de un proyecto europeo liderado por el Gobierno español. "Ningún humano sería capaz de hacerlo mejor", asegura en una entrevista con la Agencia EFE la catedrática de Informática María Teresa Martín, una de las impulsoras de este sistema, el primero de estas características en español.

Este modelo es una de las ramas del proyecto Real-Up, dirigido por el Observatorio Español del Racismo y la Xenofobia (Oberaxe) del Ministerio de Inclusión, Seguridad Social y Migraciones y con la Oficina Nacional de Lucha Contra los Delitos de Odio (Ondod) y las universidades de Barcelona (UB) y de Valencia (UV) entre sus socios. Su objetivo general es mejorar la capacidad de las autoridades para identificar discursos de odio en línea y fortalecer las contranarrativas hacia estos mensajes motivados por el racismo, la xenofobia, la islamofobia, el antisemitismo y el antigitanismo.

La aportación del grupo de investigación Sistemas Inteligentes de Acceso a la Información (SINAI) de la Universidad de Jaén consiste en una herramientas de inteligencia artificial basada en sistemas de procesamiento del lenguaje natural.

Responder mejor que "censurar"

Surgió desde la observación, desde el punto de vista sociológico, de que la práctica habitual de las plataformas de eliminar los mensajes de odio o colocar una etiqueta de 'contenido inapropiado' no resulta la más adecuada. "Muchas veces las personas que están leyendo el hilo de Twitter (ahora denominado X), cuando ven que al 'hater' se le censura automáticamente, aunque ni siquiera esté de acuerdo con él, se pone de su parte", explica Martín. Ofrece mejores resultados crear otro mensaje de respuesta, en este caso "positivo, informativo y veraz", que "contrarreste" ese discurso de odio.

Por ejemplo, ante la afirmación "los inmigrantes vienen a quitarnos el trabajo", esta herramienta responde destacando el valor de la población extranjera en el mercado de trabajo del país, en muchas ocasiones asumiendo puestos que los ciudadanos locales rechazan, y resalta los aspectos positivos de la diversidad. "Limitar a las mujeres a tareas domésticas y cuidado infantil es injusto y no refleja la diversidad y el potencial de las mujeres en la sociedad actual" o "todos merecen igualdad de oportunidades y derechos, independientemente de su raza o etnia" son otras de las respuestas que ofrece esta herramienta.

"Hemos comparado lo que hace un humano con esto y en el 80 % de las ocasiones la contranarrativa generada por nuestro sistema tiene mejor calidad: son más informativas, más descriptivas y más específicas", asegura Martín.

Para desarrollar esta herramienta, su equipo ha implementado sus propios sistemas generativos del lenguaje en base a modelos abiertos como LLaMA o Mistral, cuyas respuestas han corregido y entrenado a base de "premios y castigos" en una revisión manual de 5.000 ejemplos por parte de expertos lingüistas.

Este instrumento lo podrían incorporar las propias redes sociales, algo que Martín duda que pueda interesar a las empresas que las dirigen, y (más probablemente) autoridades o entidades sociales que buscan combatir el odio en redes, algo que hoy en día hacen de forma manual.

"Muchos voluntarios acaban con unos problemas mentales horrorosos de estar leyendo barbaridades y contestar una y otra vez las mismas cosas", explica Martín, para quien esta herramienta resolvería parte del problema.

Un detector de 'haters' para el 'ciberpatrullaje'

Otra de las investigaciones que forman parte de Real-Up están centradas en la detección y perfilado de 'haters' en la red social X y han llevado a la creación de una aplicación que será utilizada por las fuerzas y cuerpos de seguridad del Estado en su lucha contra los discursos de odio, que pueden ser constitutivos de delito. Este sistema, liderado por la doctora en Matemáticas Rosa Elvira Lillo, utiliza un algoritmo que detecta los perfiles generadores de odio con una precisión del 75,6% sin necesidad de analizar lo que publican, solo a través de una serie de características comunes.

Se trata de usuarios con un bajo número de seguidores y que siguen a mucha gente, pasan poco tiempo en la red social, pertenecen a un número muy reducido de listas y ofrecen poca información en su descripción, según los resultados obtenidos tras analizar tres millones de mensajes. Además, la mayoría de ellos son perfiles que se expresan de forma violenta "independientemente del tema que hablen", ya sea "de deporte o del tiempo", pero normalmente se centran en discriminar a un único colectivo, explica en una entrevista la autora del estudio.

Y tienden a relacionarse con aquellos que comparten sus mismas opiniones y actitudes, lo que da lugar a "comunidades virtuales basadas en el odio". El objetivo es que esta aplicación sea implementada por las fuerzas de seguridad para apoyar sus labores de "ciberpatrullaje", según explica a EFE el jefe de servicio de la Ondod del Ministerio del Interior, Tomás Fernández. Según este comandante de la Guardia Civil, los agentes ya realizan este tipo de rastreos en la red, pero de una forma más "manual" y no estandarizada, como sí se espera conseguir con este sistema.

Por su parte, la responsable del Sistema Estadístico y Atención a Víctimas de la Ondod, la teniente coronel Pilar Muniesa, enmarca la participación del órgano en este proyecto en la preocupación por la tendencia "alcista" en los delitos de odio en España, aunque lo atribuye, en parte, a que estos cada vez tienen más visibilidad. Pero el índice de infradenuncia sigue siendo "elevada", de un 84 % según los últimos datos: "Muchas veces, las víctimas no detectan que están siendo víctimas, pero estamos trabajando mucho para que esta tasa baje", asegura.