Publicado 12/05/2026 14:01

Analizan si la IA podría ser un mejor árbitro para los discursos de odio en redes sociales

Archivo - FILED - 05 March 2026, Berlin: The letters "AI" for Artificial Intelligence are displayed on a wall during the opening of the Google AI Center Berlin. Photo: Soeren Stache/dpa
Archivo - FILED - 05 March 2026, Berlin: The letters "AI" for Artificial Intelligence are displayed on a wall during the opening of the Google AI Center Berlin. Photo: Soeren Stache/dpa - Soeren Stache/dpa - Archivo

MADRID, 12 May. (EUROPA PRESS) -

Los modelos de lenguaje a gran escala (LLM, por sus siglas en inglés) podrían solucionar el problema de los discursos de odio que tienden a proliferar en las redes sociales y en las comunidades en línea, según expertos del Instituto Tecnológico de Nueva Jersey (Estados Unidos).

En concreto, Yuan Zhao, del Instituto Tecnológico de Nueva Jersey, presenta su investigación sobre la creación de un método interpretable y de bajo costo para evaluar la clasificación de discursos de odio de los en la 190a Reunión de la Sociedad Acústica de América, que se celebra del 11 al 15 de mayo en Philadelphia, Estados Unidos.

Actualmente, incluso en sitios con normas comunitarias estrictas, el volumen de contenido hace que la moderación efectiva sea prácticamente imposible. Por ello, los expertos plantean que los algoritmos de IA pueden analizar rápidamente tanto el contenido como el contexto de grandes volúmenes de texto, filtrar automáticamente el discurso de odio y proporcionar retroalimentación a los revisores humanos. Sin embargo, los LLM son costosos de implementar a gran escala, especialmente cuando se les pide que expliquen cada fragmento de contenido que identifican.

En este contexto, el marco teórico de Zhao se basa en el modelo de Inatención Racional (IR), una idea económica desarrollada para explicar el comportamiento humano. El modelo describe cómo actúan las personas cuando su atención es limitada y le asigna un costo. Según el modelo, las personas tienden a reservar su atención para decisiones que ofrecen una alta recompensa, dedicándola a aquellas donde tendría el mayor impacto.

"Los LLM son diferentes de las personas, pero los concebimos como tomadores de decisiones que deben encontrar un equilibrio entre el rendimiento y el coste computacional", explica Zhao. "Nuestro enfoque utiliza el modelo IR como una herramienta sencilla pero interpretable para comprender cómo toman decisiones los LLM".

Zhao puso a prueba los modelos LLM en diversas condiciones para determinar si se comportan como tomadores de decisiones racionales. Posteriormente, utilizó el modelo IR para simular el comportamiento de dichos modelos, y descubrió que predice con precisión cómo cambia su rendimiento en diferentes condiciones.

Este análisis puede utilizarse para orientar a las comunidades digitales que emplean herramientas de gestión de la privacidad como parte de sus esfuerzos de moderación de contenido.

"Los modelos de lógica difusa ya se utilizan ampliamente, pero aún existen dudas sobre su fiabilidad. Modelos como la Inatención Racional pueden contribuir a que sean más fiables al mostrar cómo cambia su rendimiento cuando el texto se vuelve ambiguo o se disfraza intencionadamente", subraya Zhao. "Esto ayuda a las plataformas en línea a identificar cuándo se necesita la revisión humana y dónde el sistema necesita mejoras".

Contador

Contenido patrocinado