¿Se puede medir el odio?

Por Andrés Montoro, Adán Nieto y Jose Angel Olivas

La semana pasada el Presidente del gobierno presentó en una Cumbre contra el odio una propuesta que hace solo algunos años nos hubiera parecido un capítulo de Black Mirror: una máquina capaz de medir el odio en las redes sociales basada en la inteligencia artificial. Por la misma regla de tres otros gobernantes, en hipotéticas cumbres de sobre el amor o la fraternidad podrían proponer máquinas inteligentes capaces de medir estos u otros sentimientos, que, sin duda, al igual que el odio, resultan imprescindibles para la convivencia.

Aunque todo está aún en fase inicial, se ha indicado que la función de la herramienta será generar un ranking público que permita medir la exposición al odio que tienen los usuarios de redes sociales y cómo todo ello puede incidir en la polarización. Ello presupone medir los mensajes de odio y clasificarlos según su gravedad. La finalidad última obedece a responsabilizar a las redes sociales de estos contenidos. No se trata, al parecer, de establecer sanciones stricto sensu.  La estrategia sería generar costos reputacionales en las redes sociales. Habría “redes blancas” que no propagan odio y “redes negras” que si lo hacen.

Aunque el gobierno no pretende legislar, sí que persigue regular a través de una estrategia basada en el naming and shaming y en la autorregulación. Los consumidores responsables e informados dejarían de utilizar las redes sociales negras. Las redes sociales intentarían mejorar su imagen apareciendo como buenas ciudadanas. Para ello aprobarían códigos éticos y políticas internas que determinaran cuánto odio están dispuestas a admitir y establecerían mecanismos para eliminar los mensajes que contribuyen a aumentar los niveles de odio.   Esta forma de regulación es bien conocida. Por ejemplo, en algunos países se utiliza para que las empresas controlen sus cadenas de proveedores y eviten en ella el trabajo infantil o la explotación laboral. En el Reino Unido, California, Canadá o Australia, a las empresas se les exige que publiquen en su página web qué medidas adoptan para acabar con este tipo de práctica.

Aunque esta forma de regulación no es novedosa, no está desde luego exenta, al menos en este caso, de problemas.

El primero afecta a su factibilidad. Las redes sociales son personas jurídicas situadas en otras jurisdicciones, ¿cómo podrían someterse a la regulación española?. Incluso, y llegado el caso, ¿podrían ser sancionadas si no implementan políticas internas eficaces para eliminar el odio? El problema no es irresoluble. Cada vez son más las normativas que fijan su jurisdicción sobre una persona jurídica, con independencia de cuál sea su sede social. Basta, por ejemplo, con que realicen una parte significativa de sus negocios en el territorio de otro estado. Volviendo a la regulación sobre empresas y derechos humanos, la Directiva sobre diligencia debida en materia de sostenibilidad utiliza este criterio para obligar a personas jurídicas extranjeras. Conocemos también normativas donde la vinculación de la persona jurídica con el territorio es aún menor. A la Bribery Act le basta con que una organización que realiza alguna actividad comercial en el Reino Unido haya pagado un soborno en cualquier parte del mundo para reclamar su jurisdicción.

La segunda dificultad, mucho más decisiva, es su constitucionalidad. La estrategia regulatoria propuesta por el gobierno, aunque esbozada con trazo aún muy grueso, vulnera la libertad de expresión. Algunos podrían alegar que la decisión de los empresarios de redes sociales de autorregularse, poniendo freno a los mensajes que les parecen incorrectos, es fruto de la libertad de empresa. Imaginemos, por un momento, que una confesión religiosa decide crear una red social. Nadie podría negarle el derecho a que en esta red social elimine los contenidos que son contrarios a su forma de ver el mundo. El que hayamos utilizado como ejemplo un “empresario ideológico” no impide que podamos trasladar este argumento a cualquier otra red social, sobre todo en un momento en que las empresas, a través de sus códigos, declaran tener principios éticos que determinan su forma de hacer negocios.

En sentido opuesto, otros podrían traer a colación la denominada eficacia horizontal de los derechos fundamentales o su efecto frente a terceros. Los derechos fundamentales, en este caso la libertad de expresión, son algo más que un derecho subjetivo de los ciudadanos frente a los poderes públicos, forman parte de las reglas esenciales de  convivencia y por tanto puede entenderse que un particular —la empresa titular de una red social— vulnera el derecho a la libertad de expresión de otro ciudadano cuando le impide o le obstaculiza canalizar sus ideas a través de ellas.

No es necesario, sin embargo, entrar en estos complejos asuntos. El plan de acción del gobierno contra el odio es, como se ha señalado, una regulación pública cuyo objetivo último es utilizar a las empresas de redes sociales como mano larga del propio estado para eliminar del debate público aquellos mensajes que consideran incitadores del odio. No es extraño, por ello, que algunos hayan hablado de mecanismo de censura.

Incitar a la autorregulación implica utilizar para alcanzar un objetivo público la capacidad de cualquier organización para controlar los comportamientos de quienes están en contacto con ella.  El gobierno no es quien va a eliminar directamente el mensaje “odioso” de la red social, pero lo van a hacer en su nombre las empresas propietarias de redes sociales, inducidas a realizar esta tarea a través del ranking elaborado por el gobierno, cuya finalidad última es como se ha indicado ocasionarle un coste reputacional. A la postre, los criterios que utilice el ranking para clasificar los mensajes en buenos, malos o regulares según su grado de odio, constituirán de facto estándares materiales destinados a dirigir su comportamiento. La regulación hoy, como puede verse, es una alternativa a la legislación. Menos costosa pero, bien llevada a cabo, puede ser tan eficaz como lesiva de derechos.

La conclusión es clara: esta herramienta centrada genéricamente en eliminar mensajes odiosos vulneraría derechos fundamentales con la ayuda de las empresas implicadas. También, a partir de aquí, se desprende cuál puede ser el marco en el que este tipo de iniciativas puede adoptarse sin vulnerar derechos fundamentales. La jurisprudencia del TEDH muestra desde hace tiempo que el único límite real que hoy tiene la libertad de expresión es el denominado discurso del odio.

Esta noción tiene un contenido aceptablemente preciso. El discurso del odio no consiste en lanzar cualquier mensaje racista o que menosprecie o vilipendie a un determinado grupo social. Exige algo más: el mensaje debe ser idóneo para provocar en otros actos de violencia hacia los miembros de ese grupo. El término “actos de violencia” comprende no solo supuestos de violencia física, sino también actos de intimidación, de discriminación o de intimidación (hostigamiento) a los miembros de ese colectivo.

El Derecho internacional de los derechos humanos ha desarrollado además en los últimos tiempos criterios —normas de soft law— para medir lo que a priori resulta de gran complejidad: ¿cuándo un mensaje es idóneo ex ante para provocar actos de violencia? El Plan de Rabat elaborado por la Oficina de Derechos humanos de Naciones Unidas propone atender a una serie de variables que tienen que ver básicamente con estos elementos: el contexto o el clima en el que se lanza el mensaje, el emisor y su capacidad de influencia, el propio mensaje, sus características lingüísticas y comunicativas, y el medio por el que se lanza, por ejemplo, el tipo de red social.

El concepto de discurso de odio, elaborado por el TEDH, y los criterios que establece el Plan de Rabat son imprescindibles a la hora de interpretar el artículo 510 del Código Penal español, donde se tipifica el discurso del odio. Detectar posibles comportamientos que encajen en esta figura legal habría de ser el objetivo del programa que propone el gobierno. Es labor legítima de todo gobierno prevenir hechos delictivos, por ejemplo, el blanqueo de capitales, y para ello, como de nuevo ocurre con esta normativa, imponer obligaciones a terceros a privados para que actúen como policías. Llegados a este punto la música y la letra nos es a todos familiar.

Ahora bien, y aquí viene la tercera de las dificultades. Para que la herramienta funcione resulta esencial que el sistema de IA sea diseñado de tal forma que sea capaz de entender y parametrizar criterios tan difusos como los que propone el Plan de Rabat. ¿Qué valor se asigna a que el mensaje tenga como emisor a un ciudadano desconocido o una persona con cierta capacidad de influencia en grupos radicales? ¿Qué importancia tiene para evaluar el contexto que el mensaje se haya hecho al mes de producirse un delito atribuido a un inmigrante ilegal o que se haya hecho dos días después?, ¿Cómo valorar el que emplee insultos, el que hable directamente de acciones (“vamos a dar un buen escarmiento…”) o el grado de precisión con el que señala personas u objetivos (“a esos moros de mierda que nos están invadiendo” … o “a la familia de moros que vive en tal casa del Raval”)?

Los programas usuales de inteligencia artificial basados en amasar una cantidad ingente de datos con el fin de suministrárselo a un mecanismo computacional que los triturará y engullirá utilizando modelos basados en la estadística profunda y la probabilidad resultan inservibles. Las reglas estadísticas, en las que se basan la inmensa mayoría de los programas de IA, son incapaces de valorar si alguien es o no suficientemente conocido, si tiene mucha o poca capacidad de influencia, si pasados treinta días de un suceso puede seguir hablándose de inmediatamente, etc. Solo el razonamiento humano es capaz de utilizar con solvencia conceptos imprecisos y vagos, por lo que solo una IA que imite esta forma de razonar sería idónea para la tarea.

Esta forma de construir IA existe aunque, desgraciadamente, ha sido eclipsada por un modelo de IA probabilístico basado en la capacidad que actualmente existe para almacenar millones de datos y procesarlos de acuerdo con criterios estadísticos. Sus fundamentos se encuentran en la lógica de los conjuntos borrosos que desarrolló en Berkeley el profesor Lotfi A. Zadeh hace ya más de medio siglo y en la ingeniería del conocimiento, en el origen de la IA.

Esta forma de hacer inteligencia artificial, que emula el razonamiento humano, no desprecia los datos pero prefiere alimentarse con el conocimiento de los expertos. En este caso, por ejemplo, los penalistas, constitucionalistas o jueces que desde hace años se afanan en precisar qué es un discurso de odio. Esta información formada de datos, pero sobre todo de “saber”, debe ordenarse después a través de una taxonomía que permita que el sistema la entienda, pueda digerirla, utilizando en esta tarea una lógica no binaría, ni estadística, que no dependa de datos precisos, sino que sea la lógica que caracteriza el razonamiento humano.

Lo asombroso de la inteligencia humana es que entiende y se maneja con conceptos como “Juan no es demasiado alto” o este “guiso necesita un toque de pimienta”. Es la lógica que utilizamos cuando nos ponemos el abrigo una mañana de enero porque vemos que la luz del sol ilumina de manera diversa al de la mañana de julio. Es también la lógica que permite al niño de dos años distinguir un gato de un perro, sin necesidad de que su cerebro sea entrenado por los miles de usuarios que consultan una página web.

La inteligencia artificial que trata de emular la forma del razonamiento de los humanos es la que se ha afanado por entender matemáticamente la complejidad y la vaguedad y, por ello, es la única que puede ser capaz de analizar los sentimientos de un texto y ofrecer una respuesta de utilidad a la hora de calibrar cuál es el grado de amor, de odio o fraternidad de un mensaje, y de decidir acerca de criterios tan porosos como el de idoneidad.

Desde luego, por mucho que se utilice una inteligencia artificial verdaderamente humana o cognoscitiva, no se habrán solucionado todos los problemas legales que plantea la “máquina de medir el odio” que propone el gobierno. Tendrá que cumplir además con el Reglamento IA de la Unión Europea. Un sistema de inteligencia artificial como el que se propone tiene una gran capacidad para afectar Derechos fundamentales y por ello debe ser considerado de alto riesgo conforme el Reglamento. Ello comporta que, tanto la entidad que lo desarrolle (proveedor), como la entidad que lo utilice (responsable del despliegue), deben elaborar un sistema de gestión de riesgos que evalúe de manera constante, tanto ex ante, como ex post, una vez puesto en funcionamiento, los riesgos de funcionamiento, y adopte con rapidez medidas correctoras. Solo así, a través de la implantación de un cumplimiento normativo en IA, la herramienta estaría libre de no estar bajo sospecha de afectar a la libertad de expresión.

En resumen: la pregunta que nos hacíamos al comienzo —¿se puede medir el odio?— no es sólo de carácter legal, sino de carácter técnico.  Y ambas cuestiones están entrelazadas. La legalidad del sistema está condicionada fundamentalmente a que, de un lado, la herramienta se limite conforme a la jurisprudencia del TEDH y al Código penal español a los mensajes de odio de carácter delictivo pero, también, de otro, a que se construya a partir de una metodología lo suficientemente precisa como para enfrentarse con la difícil y humana tarea de medir sentimientos.