Por Juli Ponce Solé

Quiero dar las gracias a mi colega Alejandro Huergo tanto por su entrada de 10 de mayo pasado, “Por qué aciertan las sentencias sobre el bono social”, como por su respuesta a la mía, vinculada a aquella, “Por qué se equivocan las sentencias sobre el bono social”, respuesta que se incluye en su última entrada “Distopía y algoritmos».

Como señala el profesor Huergo, los debates enriquecen, más si entre los participantes se encuentra un académico de su talla. Por ello, esta entrada mía, sólo pretende clarificar algún aspecto de la conversación, que espero pueda proseguir en el futuro por otras vías. Creo que el tema lo merece y que la conversación deberá abrirse a otras voces y perspectivas.

En primer lugar, una aclaración y unas disculpas. En ningún momento pretendí acusar al profesor Huergo de formalista. Mi indicación de que “sólo desde una perspectiva formalista puede sostenerse que programas como Bosco son equivalentes a mecanismos puramente de apoyo, como calculadoras, por ejemplo, y que los mismos no inciden en la decisión final” no lo era al ámbito de la dogmática jurídica, sino a su sentido vulgar de formalista como relativo a la forma, esto es, a una perspectiva que da preeminencia a la configuración externa de algo frente a su esencia.

Aquí, la esencia, como indicaba, es que, en mi opinión, el programa sí incide en la decisión final. No era por tanto una descalificación de la opinión del profesor Huergo, que me gusta, pese a que no esté de acuerdo con ella, por el momento, ya que no descarto que nuestra conversación pueda continuar en el futuro y me llegue a convencer. Vayan, pues, por delante, mis disculpas si se pudo entender otra cosa de mi entrada.

Tampoco era una descalificación genérica mi referencia al “sesgo cognitivo judicial de grupo”. Me refería a la existencia de un error al valorar de forma homogénea, sea positiva o negativa, las actitudes, actos y opiniones de las personas de un mismo grupo. En el ámbito de la prueba pericial, un sesgo estudiado de grupo se ha dado históricamente en el sentido de que los jueces de lo contencioso tienden a dar más peso a los informes periciales elaborados por funcionarios públicos que los que provienen de particulares. Afortunadamente, recientes pronunciamientos del Tribunal Supremo van en el sentido correcto de negar ese mayor peso a pericias aportadas por la Administración controlada. Por ejemplo, la STS de 17 de febrero de 2022 (rec. 5631/2019) incluye un pequeño y acertado manual sobre el peso de la prueba pericial, señalando como erróneo el mencionado sesgo de grupo, que, en mi opinión, es el que ha concurrido en la sentencia de la Audiencia Nacional de 30 de abril pasado que he comentado.

En lo que estamos de acuerdo

Por un lado, en que sería deseable para prevenir errores y tener que recurrir conocer el funcionamiento interno del programa BOSCO. Por otro, que nadie defiende errores que tienen un efecto múltiple porque se repiten con la aplicación del programa. Finalmente, en que existe una transformación necesaria y no menor para convertir la norma (es decir los artículos que regulan el bono social) en programa informático.

En lo que discrepamos

Es evidente que los algoritmos cumplen funciones distintas y que existen diversos tipos de IA. La definición del art. 3 del Reglamento Europeo de 2024, cuya claridad es discutible, por cierto, lo es a los efectos de aplicación de este reglamento, como señalé, pero no implica la definición de lo que sea la IA. El informe de 2022 del Consejo de Estado francés sobre IA y Administraciones Públicas realizó una interesante aproximación al concepto, en el que, como señalan especialistas no jurídicos, se incluye tanto la basada en reglas (o simbólica, o determinista o GOFAI, Good Old-Fashioned AI) en desarrollo desde los años 50 del pasado siglo hasta los 90 (por ejemplo, un programa básico del juego de ajedrez), basado en razonamientos lógicos del tipo de inferencia  deductiva, basada en premisas que llevan a una conclusión (si a y b, entonces c), como la IA que con uso de la estadística para inferencias inductivas conduce a la AI de aprendizaje automático o profundo (machine learning o deep learning por ejemplo), un tipo de IA entrenada para absorber una gran cantidad de datos, encontrar patrones entre ellos y arrojar ciertas conclusiones basadas en el análisis.

No debería permitirse a la IA estadística adoptar decisiones discrecionales totalmente automatizadas sin intervención humana debido a sus limitaciones actuales respecto a su ausencia de empatía y su incapacidad para desarrollar inducciones abductivas.Como prevén legislaciones como la alemana o la catalana debería limitarse a cumplir funciones de asistencia al humano en la toma de su decisión discrecional.

El acceso al código fuente

Errores en programas como BOSCO pueden generar una mala administración sistémica, repetida cientos, miles de veces. Mi opinión es que el hecho de que se pueda saber sin acceder al código fuente la corrección o incorrección de cada resultado por tratarse de una potestad reglada, no es una razón de peso para impedir que organizaciones como CIVIO pueda tener acceso al código fuente, detectar la existencia de errores y contribuir a poner fin a la mala administración sistémica y a cientos o miles de posibles recursos futuros con la posible responsabilidad patrimonial asociada. ¿Realmente va a suponer una paralización de la actividad administrativa la participación pública en la elaboración de los algoritmos (que actúan como reglas de aplicación futuras)? ¿El acceso al código va en detrimento de la eficacia administrativa? ¿Se pueden contraponer eficacia administrativa y participación y transparencia? ¿Es posible aceptar que la Administración pública decida qué es la ley conforme a un código informático que no es objeto de publicidad? En espera de una posible regulación futura específica, ¿debemos exceptuar estos códigos de las reglas sobre participación y publicidad de las normas reglamentarias?

Por otro lado, en el planeamiento urbanístico, que mi colega emplea como ejemplo comparable, a nadie se le ha ocurrido cuestionar la necesidad de trámites participativos ni el derecho de acceso a la información, sino que la cuestión gira sobre la trascendencia que hayan de tener los vicios procedimentales o formales. E incluso en este aspecto, habrá que tener cuidado con la solución normativa final que se adopte, dada la tendencia, puesta de relieve por el profesor García de Enterría, de menospreciar el procedimiento de adopción de decisiones (también algorítmicas, añadimos nosotros), en el que el Derecho administrativo, en sus palabras, “viene a ser, como se decía en nuestra época clásica, el pecador arrepentido que había fundado un hospicio para acoger a los pobres que él mismo había despojado previamente, parece preferible que ese despojo previo no se produzca, aunque la generosidad posterior tenga luego menos ocasión de lucirse”.

En relación con la propiedad intelectual

No me parece acertado, por muy gráfico que pueda parecer, comparar la propiedad intelectual de una editorial de libros o de una base de datos, ambas de propiedad privada y con ánimo de lucro, que recogen normas jurídicas éstas sí ya previamente publicadas en diarios oficiales, publicidad conquistada desde la ilustración y requisito actual de su eficacia, con la codificación en lenguaje informático realizado por un poder público, que, sin publicidad de ningún tipo, pasa a ser regla futura de aplicación para todos.

Por eso, sigue pareciéndome de aplicación el art. 13 LPI que excepciona de ésta

“las disposiciones legales o reglamentarias y sus correspondientes proyectos, las resoluciones de los órganos jurisdiccionales y los actos, acuerdos, deliberaciones y dictámenes de los organismos públicos, así como las traducciones oficiales de todos los textos anteriores”.

En fin,  hoy sabemos mucho sobre los sesgos cognitivos de los humanos, esos errores sistemáticos predecibles que afectan también a gestores públicos y los programadores. Entre ellos, por cierto, el sesgo de automatización, esto es, la confianza excesiva en las decisiones de las máquinas que arrastra al decisor humano a dar por bueno lo decidido por éstas, cada vez mejor estudiado en relación a sistemas empleados por las Administraciones Públicas. En ese sentido, es evidente que no es correcto hablar de sanciones impuestas automáticamente sin más prueba de la infracción que una fotografía y que el presunto infractor siempre puede alegar, pero no lo es menos que frente al pretendido dilema entre sistemas algorítmicos y analógicos es posible una tercera vía: sistemas algorítmicos que hayan seguido un procedimiento de aprobación y de control de errores adecuado, con la debida participación y transparencia y con una adecuada supervisión humana (art. 14 del nuevo reglamento europeo) que evite a los ciudadanos tener que alegar y recurrir frente a errores.

Ttambién sabemos cada vez más sobre los sesgos de los algoritmos que pueden proceder de los propios programadores humanos o de los datos manejados por el sistema, cuestión que preocupa al nuevo Reglamento europeo sobre IA (art. 10 por ejemplo).

En consecuencia, contraponer algoritmos eficaces, objetivos e imparciales y humanos limitados y sesgados es una caricatura: los primeros pueden sufrir errores, alucinaciones y sesgos; los segundos aportan una capacidad típica y únicamente humana de decisión basada en el uso de la empatía, la realización de abducciones y el sentido común sobre cómo funciona el mundo, fuera del alcance de la IA estrecha actual. La clave está en cuanto de máquina y cuánto de humano se unen en cada caso para garantizar la buena administración.

El programa BOSCO es un problema grave para personas vulnerables que no recurrirán las denegaciones del bono social basadas en un sistema (posiblemente) erróneo. De nuevo, la alternativa a la infradotación existente de personal administrativo, no es aceptar un mundo mecanizado, ni negar distópicamente su utilidad, sino establecer procedimientos administrativos adecuados con la transparencia, participación y justificación suficientes para evitar la arbitrariedad, tanto la humana como la no humana.

La regulación existente es insuficiente y dispersa (así, por ejemplo, art. 41 Ley 40/2015, de 1 de octubre, LRJSP) y podemos y debemos mejorarla, en beneficio de todos. Pero, mientras tanto, ¿por qué impedir a CIVIO el acceso al código fuente de BOSCO? ¿Qué perjuicio puede causarse a los intereses generales? ¿Por qué insistir en la opacidad? ¿Por qué no abrir el código fuente y rectificar lo que sea preciso? ¿Por qué obligar a CIVIO y a personas sin recursos a recurrir para solucionar caso a caso lo que podría resolverse conjuntamente?

Como es sabido, el Dr. Pangloss de la novela Cándido de Voltaire creía que vivía en el mejor de los mundos posibles. En cambio, Unamuno avanzó en 1913 cómo podría ser una sociedad distópica de máquinas en su obra Mecanópolis… La regulación de la IA debería aunar lo mejor de lo humano con lo mejor de la IA y evitar que acabemos con lo peor de ambos.

Seguro que en esa tarea nos encontraremos todos los humanos, incluidos, claro, los profesores de Derecho administrativo.

Imagen: Europeana en Unsplash