Por Alejandro Huergo Lora

Agradezco a mi colega Juli Ponce su respuesta a mi entrada anterior “Por qué aciertan las sentencias sobre el bono social”. Los debates enriquecen y en esa línea va a ir mi respuesta, que creo necesaria para aclarar algunas cuestiones.

He dicho expresamente en mi entrada anterior:

  • Que no me pronuncio sobre los dos argumentos que utilizan esas sentencias para denegar el acceso al código fuente (es decir, la protección de la propiedad intelectual y los supuestos riesgos para la ciberseguridad).
  • Que (y esto es lo más importante) es necesario distinguir entre los “algoritmos” que sirven para aplicar normas en contextos de administración reglada (algoritmos que simplemente ayudan a aplicar la norma, pero que no añaden nada ni llevan a un resultado distinto del que arrojaría la aplicación “manual” de la misma norma) y algoritmos que sirven para orientar las decisiones administrativas en contextos en los que la Administración sí dispone de un margen de decisión (administración discrecional). Por poner ejemplos: un algoritmo que hace la liquidación del IRPF a partir de los datos personales y económicos del contribuyente, frente a un algoritmo que sugiere qué empresas deberían ser inspeccionadas para ver si están cometiendo una infracción laboral.
  • Que, en el primer caso, y a diferencia del segundo, no es necesario conocer el código fuente del algoritmo para demostrar que una decisión administrativa que lo utiliza es errónea (ilegal) y para pedir y obtener, en vía de recurso, su corrección. En el segundo caso sí es imprescindible conocer cómo funciona el algoritmo y revisarlo si se quiere controlar la legalidad de una decisión administrativa que ha sido producida con su ayuda.
  • Que, más allá de ello, incluso en los “algoritmos” del primer tipo “[s]ería deseable, en un ejercicio de transparencia total (y para prevenir errores y evitar tener que recurrir), conocer todo el funcionamiento interno de la Administración, es decir, utilizando un símil que le oí hace muchos años al recientemente fallecido profesor Ramón Parada, que ésta fuera como esas cocinas de restaurantes que son totalmente visibles para los clientes”, si bien en esos supuestos (y a diferencia, repito, de lo que sucede con la “auténtica” inteligencia artificial), ese acceso no es necesario para demostrar que se ha cometido un error en una decisión concreta, porque es fácil y posible aplicar la ley “manualmente” y comparar su resultado con el que arroja el sistema informático utilizado.

Estas afirmaciones me parecen claras y difícilmente objetables. Creo que el debate jurídico avanza distinguiendo, no unificando objetos diferentes para darles el mismo tratamiento. Por ello añado las siguientes precisiones.

Creo que no es correcto que, como se hace con cierta frecuencia, en cualquier exposición sobre “algoritmos” se mezclen todos ellos en el mismo saco y se hable de big data, aviones que pueden caerse, inteligencia artificial… Es como si para discutir cualquier asunto de Derecho administrativo sancionador invocáramos la pena de muerte, la prohibición de la tortura, etc. Esta generalización, este discurso distópico, no me parece adecuado a la realidad (porque existen diferencias claras que he tratado de subrayar) y tiene unos costes a los que me referiré más adelante.

Si rascamos mínimamente debajo de los ejemplos que se ponen y que se agrupan en este tipo de discursos, vemos enormes diferencias que se pasan por alto. Por ejemplo, poco tiene que ver un “algoritmo” que un banco utilice o pueda utilizar para conceder o denegar préstamos (acción “discrecional” donde las haya, y llevada a cabo además por una empresa privada) con un sistema informático que sirve para aplicar una norma, ordenando las solicitudes según cumplan o no requisitos reglados (por ejemplo, calcular prestaciones de seguridad social o determinar el número de horas de clase que debe impartir un profesor en función de los sexenios de investigación que tiene reconocidos, por ejemplo). En el primer caso el algoritmo contribuye a determinar el contenido de la decisión (indicando, de su propia cosecha, quién parece mejor deudor o mejor cliente), mientras que, en el segundo, no. Sobre ese tipo de algoritmos de selección de deudores es muy importante, por cierto, la reciente sentencia del TJUE de 7 de diciembre de 2023 en el asunto SCHUFA (C-634/21). Además, en muchos de esos casos que han dado lugar a una grave preocupación reflejada incluso en series, el error algorítmico es sólo el principio de una cadena de graves errores humanos, administrativos e incluso judiciales, que, lejos de corregir el error, lo exacerban.

Por otro lado, no es correcto hablar de sanciones impuestas automáticamente en función de una fotografía (no, al menos, en Derecho español). La fotografía sirve para que se genere automáticamente una denuncia que, a su vez, se utiliza para iniciar un procedimiento sancionador, concediendo al presunto infractor un plazo para presentar alegaciones. A lo sumo, la denuncia se puede convertir en resolución si el presunto infractor no presenta alegaciones (artículo 95.4 del Texto Refundido de la Ley sobre Tráfico, Circulación de Vehículos a Motor y Seguridad Vial; en otros procedimientos la denuncia se convierte, si no se presentan alegaciones, en propuesta de resolución). Por lo tanto, no se imponen sanciones automáticamente a partir de fotografías que pueden ser erróneas.

El hecho de que en una foto aparezca un vehículo remolcado por una grúa y un sistema informático lo confunda con un vehículo que está circulando, y lance una denuncia que obligue al interesado a presentar unas alegaciones, no me parece un problema extraordinariamente grave, sino algo más bien anecdótico. ¿Es preferible la alternativa analógica, consistente en fiarnos de la palabra de los agentes de tráfico, cuyas afirmaciones tienen fuerza probatoria (artículo 88 del mismo Texto Refundido), y frente a las que en muchos casos es casi imposible aportar una prueba en contrario? Es claramente peor, porque las posibilidades de demostrar el error son, en ese caso, casi nulas. La tecnología es precisamente la que permite demostrar fácilmente esa clase de errores. Por lo demás, es difícil imaginar cómo se podría asegurar, sin cámaras y sin identificación automatizada de los vehículos, el cumplimiento de prohibiciones de entrar en determinadas zonas de las ciudades.

Esta clase de errores, con independencia de que los categoricemos doctrinalmente de una u otra forma, sí pueden ser rectificados como “errores materiales” (artículo 109.2 de la Ley 39/2015; una aplicación práctica en una sentencia de 27 de febrero de 2001 de la Sala de lo Contencioso-Administrativo de Valladolid del TSJ de Castilla y León, sentencia 393/2001), además de, por supuesto, a través de recursos presentados por los interesados. De hecho, al tratarse de actos administrativos desfavorables, también se pueden revocar de oficio por la Administración (artículo 109.1 de la Ley 39/2015), como ha pasado, por ejemplo, en el caso de radares mal colocados que denunciaban a conductores que en realidad ya habían salido de la zona en la que había una limitación de velocidad.

El Reglamento de Inteligencia Artificial sí distingue, tanto en la definición (al exigir la nota de “autonomía”, que los algoritmos “tipo Bosco” no tienen) como en el preámbulo (párrafo 12), entre sistemas de inteligencia artificial y otros puramente reglados que sólo aplican criterios que se les han suministrado o programado previamente. Por ello, los sistemas del tipo Bosco no constituyen sistemas de IA y no están sujetos al Reglamento.

Aunque, como ya he dicho, en mi entrada de blog dejé deliberadamente fuera -y así lo dije- la cuestión de si era de aplicación la excepción de “propiedad intelectual” (prevista en la Ley de Transparencia), no creo que se pueda excluir ese argumento diciendo que el algoritmo “Bosco” “lo que hace (…) es codificar en lenguaje informático una regulación previa”, “es ley” y, por tanto, no puede recaer sobre él propiedad intelectual de acuerdo con el artículo 13 de la Ley de Propiedad Intelectual. Es como decir que un libro editado por Civitas en el que se recoge el Código Civil “es ley” y, por tanto, no está protegido por la Ley de Propiedad Intelectual. Se puede y se debe distinguir entre el texto de la norma y la obra editada en forma de libro que lo recoge (obra que sí está protegida por derechos de autor). Mucho más en este caso, en el que la transformación necesaria para convertir la norma (es decir, los artículos que regulan el bono social) en programa informático es mucho mayor que en el caso de un libro. Es como decir que las bases de datos de legislación tienen que ser gratuitas y estar a disposición de todos porque, al recoger normas jurídicas, “son ley”.

A mi juicio, esta generalización y tratamiento conjunto de dos realidades diferentes no es gratuita ni intrascendente. Al aplicar a cualquier algoritmo unas exigencias que sólo serían adecuadas para los que sí toman decisiones (es decir, los que eligen de entre distintas opciones consentidas por el marco normativo), imponiendo a todos ellos requisitos que van desde el acceso al código fuente en todo caso, a la exigencia de un procedimiento de “participación pública” previa, nos podemos acercar a la lamentable situación que se vive, por ejemplo, en el Derecho urbanístico actual, en el que la acumulación, durante años, a través de distintas reformas legislativas, de sucesivos informes preceptivos, trámites obligatorios, etc., todos ellos muy loables y justificables, al menos en teoría, si se toman por separado, ha conseguido inutilizar completamente el planeamiento urbanístico y convertir su aprobación en una carrera de obstáculos y en un campo de minas por el peligro de anulaciones posteriores. Sospecho que eso es lo que nos espera si cada utilización de un algoritmo puede ser paralizada o anulada en función de exigencias sucesivas (primero el acceso al código fuente, después la participación previa), incluso si ese algoritmo sólo sirve para aplicar normas puramente regladas.

Calificar estos argumentos, o las sentencias que van en la misma dirección, de “formalistas” (en la doctrina o en la jurisprudencia) o debidos al “sesgo cognitivo judicial de grupo” me parecen las clásicas descalificaciones genéricas que nada aportan. ¿Por qué es formalista lo que no gusta? Sospecho que es como cuando una idea se calificaba de poco progresista o similar (al gusto de cada uno). No me reconozco en los rasgos del brillante artículo de Atienza “Cómo desenmascarar a un formalista” (que conocí precisamente gracias al profesor Ponce en un seminario). Más bien pienso que no se puede forzar la argumentación jurídica en función de consideraciones extrajurídicas ni confundir la crítica social o política con el Derecho.

Tampoco mantengo una visión ingenua u optimista de nuestro sistema de control jurídico-administrativo, todo lo contrario (así lo decía en mi entrada y en publicaciones anteriores ya antiguas). Sólo que los problemas más graves se encuentran, a mi juicio, en otros lugares, no en este tipo de algoritmos.

Por otro lado, el argumento de que los tribunales españoles se apartan del criterio de los de otros países europeos, mencionando expresamente el Consejo de Estado italiano, de nuevo peca, a mi juicio, de generalización. Los casos que han dado lugar a estas sentencias italianas se refieren, sobre todo, a procedimientos complejos (concursos de traslados de funcionarios, por ejemplo, o en España la adjudicación de plazas MIR), en los que, aunque las decisiones que se enjuician se basan en criterios reglados de adjudicación, sin ningún margen de decisión, hay muchos casos individuales entrelazados, de modo que un participante individual no puede saber si la plaza que le han asignado es la que le corresponde (o no), sin revisar el funcionamiento del algoritmo. Es una diferencia fundamental con los algoritmos tipo Bosco, en los que sí se puede detectar individualmente la legalidad o ilegalidad (corrección o incorrección) del resultado que arroja el sistema informático. Es algo que vengo diciendo desde 2020 en distintas publicaciones. Es como los algoritmos que sirven para realizar sorteos, es decir, producir resultados aleatorios: aunque son puramente reglados, para saber si el resultado es realmente aleatorio (es decir, si todos los resultados que entraban en el bombo tenían las mismas probabilidades de salir), sí es necesario conocer el funcionamiento del algoritmo.

Me sigue pareciendo totalmente pertinente la comparación entre las decisiones tomadas por seres humanos y las decisiones tomadas con la ayuda de un sistema informático. Que las decisiones humanas están sujetas a la influencia de múltiples factores o sesgos (ideológicos, de amistad, de clase social, de simpatía personal, etc.) ajenos al contenido de las normas que se aplican es algo evidente. Esos factores subsisten a pesar de la aplicación de las causas de abstención y recusación y técnicas similares, que sólo eliminan los abusos más graves. La obligación de motivar las decisiones y de tener en cuenta todos los factores jurídicamente relevantes y sólo ellos no elimina esos sesgos, puesto que, como es perfectamente conocido desde una mínima experiencia, se pueden motivar, normalmente, distintas decisiones (un fallo favorable al demandante, pero también otro favorable al demandado, por ejemplo), de modo que una cosa es la razón (muchas veces oculta) que ha llevado al decisor a decantarse por una de las opciones en presencia, y otra es la motivación jurídica que sirve para justificar la decisión previamente tomada. Naturalmente que hay formas de ir corrigiendo o mitigando esos sesgos, pero no se puede pecar de ingenuo y pensar que sólo aparecen con la utilización de algoritmos. Si antes mencionaba a Ramón Parada, ahora es obligada la cita de Alejandro Nieto.

El Derecho (y el Derecho administrativo) no se basan precisamente en la confianza en el “factor humano”, sino más bien en lo contrario, en la necesidad de someter el arbitrio humano a normas. La desigualdad ‘automatizada’ es un problema, pero la principal fuente de desigualdad es precisamente el arbitrio humano, es decir, que se trate de forma diferente a los iguales en función de la simpatía política, de tener o no tener un padrino poderoso, de ser una persona débil o socialmente conectada, etc. Se avanza cuando, por ejemplo, las prestaciones de seguridad social pasan de ser ayudas graciables (sometidas a todas esas consideraciones) a derechos subjetivos. Es decir, cuando dejan de depender del arbitrio humano. El debate entre operador humano o inteligencia artificial es un falso debate: la clave es el debate entre norma y arbitrio subjetivo. Y, en la aplicación de las normas, es necesaria tanto la ayuda de los sistemas informáticos como la posibilidad de obtener la revisión de sus resultados por operadores humanos. Por otro lado, es verdad que los errores informáticos (que nadie defiende) tienen un efecto múltiple porque se repiten con la aplicación del programa, pero, por la misma, razón, también son más fáciles de identificar y corregir.

Las Administraciones están infradotadas de personal. No tiene sentido que rechacemos la utilización de ayudas informáticas básicas, atemorizando con escenarios distópicos, cuando la alternativa es tener a miles de empleados públicos realizando operaciones simples que en cualquier empresa estarían ya automatizadas y cometiendo errores (humanos, eso sí), y condenar a los ciudadanos a sufrir demoras en la obtención de prestaciones básicas.

Museo de Nueva Zelanda en Unsplash