Por Alejandro Huergo Lora

 

Después de una consulta previa, un Libro Blanco y peticiones de otras instituciones como el Parlamento o el Consejo, la Comisión acaba de ejercer su competencia de iniciativa legislativa y se ha filtrado un proyecto de Reglamento sobre “un enfoque europeo de la inteligencia artificial” (en adelante, IA)

El proyecto define la IA como un software que, a partir del uso de técnicas matemáticas y de programación que se enumeran en el Anexo I (y que son lo que vulgarmente se entiende por “algoritmos”, aunque esta palabra tenga un significado más amplio, como he estudiado aquí), produce resultados que sirven para realizar predicciones, recomendaciones de decisiones futuras, etc.

El punto de partida de este futuro Reglamento es ya conocido: la IA es una oportunidad a la que no se puede renunciar porque permite ganar en eficiencia y porque si no lo hacemos nosotros, lo harán otros, y a la vez supone riesgos importantes, que van desde la posibilidad de que un sistema “inteligente” que controle una central energética o una máquina de tratamiento médico comience a funcionar mal y cause daños graves, a que se discrimine a personas en función de los “informes” que produzca un sistema de análisis inteligente de datos, o que se establezcan sistemas de vigilancia omnipresente de tipo “Gran Hermano”. El riesgo consiste, en definitiva, en la posibilidad de que se causen daños que pueden afectar a la integridad o vida de las personas, daños materiales, impactos graves para la sociedad en su conjunto, o para actividades económicas de gran importancia, o distorsión en la prestación de servicios esenciales, o impactos negativos en los derechos fundamentales (incluido el derecho a no ser discriminado o el derecho a la intimidad). La utilización de IA supone un riesgo de que se vulneren derechos o bienes jurídicos que ya están protegidos a nivel legal y, en algunos casos, constitucional.

Este punto de partida (necesidad de minimizar los riesgos que produce una actividad a la que no se puede o quiere renunciar) es el mismo de casi cualquier otra regulación de actividades de riesgo, por ejemplo, las industriales.

A partir de aquí, se pueden utilizar varios instrumentos o técnicas de intervención: la prohibición total o parcial de ciertas actividades para evitar los riesgos (siguiendo el principio de precaución), un régimen autorizatorio (control preventivo), otras formas de control preventivo (declaraciones responsables, por ejemplo), un control exclusivamente posterior (responsabilidad civil y, en su caso, penal de quien causa daños utilizando esa técnica creadora de riesgos), todo ello acompañado de un aparato inspector, que actúa, normalmente, a instancia de los perjudicados, y que ayuda a éstos y a los tribunales a descubrir y acreditar las conductas infractoras.

En este proyecto de Reglamento se combinan esos enfoques, que además se adaptan a la especialidad y complejidad del objeto de regulación.

 

Aplicaciones de la IA prohibidas

De entrada, se prohíben algunos usos de la IA (artículo 4): los que “manipulen” a los ciudadanos (llevándoles a realizar conductas en su perjuicio), los que utilicen información personal para detectar las vulnerabilidades de los sujetos y llevarles a actuar en su perjuicio, los que utilicen información personal obtenida de fuentes muy diversas para establecer perfiles que clasifiquen a las personas con el resultado de darles un trato discriminatorio en contextos diferentes de aquellos en que se ha obtenido la información, y los sistemas de vigilancia indiscriminada y general (“gran hermano”)

La verdad es que los tres primeros son supuestos representan versiones extremas de algunos usos habituales de la IA y, precisamente por estar descritos en términos tan extremos y con tal acumulación de adjetivos, es muy difícil que se apliquen, por lo que la prohibición tiene una utilidad pequeña.

Decir que una aplicación de IA “manipula el comportamiento humano”, “provocando que una persona se comporte, asuma una opinión o tome una decisión en su propio perjuicio” (artículo 4), es decir todo y nada. Gran parte de la publicidad podría entrar en esa definición, pero a la vez el comportamiento humano sigue siendo voluntario (esa es al menos la creencia que sustenta todo el ordenamiento jurídico), por lo que difícilmente podemos decir que una aplicación tiene esa fuerza “obligatoria” que “fuerce” a los ciudadanos a comportarse de una determinada manera. Por lo demás, no hace falta usar la IA para manipular ni para intentar llevar a las personas a tomar decisiones que son más favorables al interés de quienes les mueven en esa dirección que al interés de quienes las toman.

Lo mismo podemos decir de las aplicaciones que “explotan información o predicciones sobre una persona o grupo de personas para atacar sus debilidades o circunstancias especiales, llevando a una persona a comportarse, formar una opinión o tomar una decisión en su propio perjuicio”.

En cuanto a las aplicaciones que “clasifican” a las personas en función de datos obtenidos a partir de su comportamiento o de sus características personales (o de predicciones acerca de ellas), y que llevan a tratar de forma discriminatoria a determinadas personas o grupos, en contextos que nada tienen que ver con los datos en los que se basa la clasificación, o de forma desproporcionada, es uno de los escenarios de mal uso de la IA más frecuentemente descritos. Por ejemplo, un sistema que calcule la prima del seguro de automóvil en función de distintas circunstancias que puedan “predecir” la mayor o menor probabilidad de que un conductor provoque un accidente, y que acabe encareciendo la prima, por ejemplo, a quienes tengan menos estudios, o carezcan de un empleo indefinido, o se vean obligados a recorrer largas distancias en coche para ir a trabajar todos los días. De todas formas, los adjetivos con los que se delimita el supuesto [“trato desfavorable sistemático”, “trato negativo de ciertas personas físicas o grupos completos de ellas desproporcionado con la gravedad de su conducta social”] hacen pensar que no se está eliminando completamente la posibilidad de utilizar el análisis de datos para que las empresas adapten su esfuerzo publicitario, sus ofertas o sus condiciones contractuales a las características de distintos clientes, que es una de las utilizaciones más habituales de la IA.

Aunque algunas de estas conductas prohibidas pueden ser llevadas a cabo, de forma excepcional, por una autoridad pública cuando lo autorice una norma y para fines de seguridad pública, más bien parece que esta excepción está pensada para la otra conducta prohibida, es decir, la de la vigilancia genérica, que en determinadas situaciones concretas puede ser autorizada por razones de seguridad.

 

Aplicaciones de la IA sometidas a autorización

La identificación biométrica remota en lugares públicos (videovigilancia en calles, por ejemplo) se somete a autorización administrativa, que sólo se concederá cuando exista una norma habilitante, para la lucha contra delitos graves (incluido el terrorismo) y sometida a límites y garantías. Como es sabido, no se trata de la instalación de cámaras que simplemente graben lo que pasa en la calle, y ayuden posteriormente a saber qué pasó y a buscar a posibles responsables, sino de sistemas que comparan las imágenes percibidas con bases de datos, lo que les permite identificar automáticamente a una persona (el proyecto no dice que esta exigencia de autorización se aplique sólo a las aplicaciones en las que la identificación es inmediata o en tiempo real).

 

Aplicaciones de la IA para las que se establecen reglas concretas

En el artículo 41 se obliga a que, cuando se utilice un chatbot u otro mecanismo automatizado que interactúe con los usuarios, se advierta a éstos de que no están hablando o mensajeándose con una persona real, sino con una aplicación, salvo que esto sea obvio en vista de las circunstancias.

Otra regla importante es que la obliga a que los sistemas conocidos como deep fake, que generan imágenes y/o sonido que pueden engañar y hacer creer que son imágenes reales de personas concretas (por ejemplo, personajes famosos o políticos, que pueden verse comprometidos por vídeos en los que parece que hacen o dicen cosas totalmente contrarias a sus ideas o imagen público) adviertan de que se trata de una ficción, aunque se admiten excepciones basadas, por ejemplo, en la libertad de expresión (lo que puede legitimar el uso de estas técnicas en obras de ficción como películas o series).

Menos clara me parece la obligación de advertir de la utilización de sistemas de reconocimiento de emociones a partir de datos, aunque parece hacer referencia a supuestos en que el reconocimiento se produce “en directo”, es decir, a partir de datos obtenidos en ese momento.

 

Aplicaciones de la IA “de alto riesgo” y sus mecanismos de control

Pero el núcleo del proyecto de Reglamento no son las aplicaciones prohibidas o las que se someten a autorización o a reglas concretas, sino el régimen de las aplicaciones “de alto riesgo”, que se enumeran en el Anexo II y se regulan en los artículos 5-40.

Un primer grupo de aplicaciones de alto riesgo (para las que se exige, como veremos, su verificación previa por un tercero independiente) son las que sirven para la identificación biométrica (videovigilancia con identificación de sujetos) y para el funcionamiento de infraestructuras críticas (sistemas que controlan una central energética o de abastecimiento de agua, por ejemplo, y cuyo mal funcionamiento, o ataque malicioso, puede causar daños muy graves).

El otro grupo (que no requiere esa verificación independiente, sino que estará sometido a una especie de declaración responsable) incluye las aplicaciones típicas de la IA “predictiva”, como las que sirven para determinar la admisión (o no) de estudiantes a centros educativos, la contratación de trabajadores o su promoción dentro de la empresa, la concesión -o denegación- de créditos, la concesión de prestaciones sociales (y la vigilancia sobre el cumplimiento de sus condiciones), la “policía predictiva” y la evaluación de riesgos que se utiliza para distribuir los recursos policiales o, en fin, las aplicaciones de IA dirigidas a su uso por jueces y tribunales. Puede comprobarse que la creación de perfiles o la utilización de IA para determinar las condiciones contractuales o el trato a un sujeto no están completamente prohibidas por el artículo 4, sino que, salvo casos extremos, son simplemente “aplicaciones de IA de alto riesgo”.

Para este tipo de aplicaciones entra en juego otra forma de tratamiento jurídico, que no es la prohibición sino el establecimiento de unos requisitos que deben cumplir. A diferencia de lo que sucede en otros ámbitos tradicionalmente considerados “de riesgo”, como el industrial, donde la regulación acaba, a nivel reglamentario, con la aprobación de normas que establecen condiciones concretas de seguridad, aquí se enuncian unos requisitos tan generales que recuerdan al artículo 6 de la Constitución de 1812 (“El amor a la Patria es una de las principales obligaciones de todos los españoles, y asimismo el ser justos y benéficos”). Así, las aplicaciones de alto riesgo deben estar basadas en datos “de alta calidad”, “representativos, libres de errores y completos” (artículo 8). Es preciso documentar y archivar los datos generados en la creación y utilización de la aplicación (artículo 9), que debe estar bien hecha y ser fiable (“solidez, exactitud y seguridad”, artículo 12), quedar siempre sometida a la dirección humana (artículo 11, que entre otras cosas prohíbe que el sistema pueda rechazar la intervención humana o saltarse los mecanismos de seguridad establecidos en la aplicación) y tener un grado de transparencia “suficiente” (artículo 10).

No se exige una transparencia total, sino compatible “con el cumplimiento de las obligaciones legales del usuario y del proveedor” (artículo 10.1), incluidas, lógicamente, las de respetar los secretos industriales utilizados en la propia aplicación, a los que se hace referencia en el artículo 62.1. La regulación de la transparencia es, obviamente, una de las cuestiones más delicadas, y el proyecto busca un equilibrio, en el que el proveedor debe mostrar cómo funciona la aplicación, incluida su “lógica general”, así como los presupuestos de partida o una descripción de los datos que se hayan utilizado para su creación, pero no se le exige transparencia total sobre el software utilizado.

Estos requisitos son, en cierto modo, “objetivos” máximos a los que se debe tender, pero que pueden conseguirse de muchas maneras y también con niveles de intensidad diferentes. Pensemos en la transparencia, la solidez o la documentación o archivo de los datos generados en el funcionamiento de la aplicación: habrá que buscar en cada caso concreto cuál es el modo de cumplir esos objetivos, y no hay una única forma de hacerlo, puesto que, entre otras cosas, se puede aspirar a un nivel máximo, medio o mínimo de calidad o de seguridad. Podemos decir, por ejemplo, que los coches deben ser “seguros”, pero no hay una única forma de conseguirlo y, por otro lado, no todos los modelos y marcas aspiran al mismo nivel de seguridad. Queda, por tanto, mucho que concretar.

En las aplicaciones de alto riesgo, y dejando a un lado las de identificación biométrica, las de manejo de infraestructuras críticas, así como aquellas que se instalan en productos que están sometidos a una regulación de seguridad (maquinaria industrial, juguetes, ascensores, explosivos, etc.) es el propio “proveedor” o “fabricante” quien controla el cumplimiento de esos requisitos de forma responsable (artículo 35). Por eso digo que el mecanismo es similar al de una declaración responsable (Anexo II, apartado 3).

Esto supone aplicar la técnica del compliance o “cumplimiento normativo”. Cada fabricante o diseñador tendrá que establecer, en cada producto de IA y en su proceso de creación y aplicación, una serie de medidas dirigidas a cumplir suficientemente los requisitos establecidos en los artículos 8-12 del proyecto de Reglamento, y documentarlo. Esas medidas no serán las mismas en todos los casos, sino que tendrán que ser proporcionales al tipo de aplicación, a su complejidad, a los daños que pueda causar, al riesgo de que tales daños se produzcan, etc.

Hay algunos casos en los que sí se establecen normas que traducen los requisitos generales en estándares concretos, y el proyecto hace referencia a ellas. Esto sucede cuando la IA se aplique en productos que tienen normas de seguridad que se extiendan también a aquélla (por ejemplo, vehículos de transporte, sometidos a una normativa de seguridad estricta) o cuando la UE apruebe estándares técnicos sobre algún aspecto de la IA.

Para aquellos supuestos en que el proyecto exige que la conformidad sea certificada por un tercero (que son, fundamentalmente, las aplicaciones de IA que se utilizan en productos sometidos a normativa de seguridad, así como también las de identificación biométrica y las de manejo y control de infraestructuras críticas), se regulan las entidades de verificación en términos similares a otros sectores (como la auditoría o la inspección técnica de vehículos, por mencionar sólo dos campos muy diferentes entre sí): entidades que son independientes de las empresas cuyos productos verifican, y que están sometidas a regulación administrativa, además de tener un seguro de responsabilidad y disponer de competencias técnicas suficientes. Sus decisiones deberán estar sujetas a recurso (artículo 29).

 

Otras previsiones

Las aplicaciones que no estén calificadas como “de alto riesgo” (lo que significa que las probabilidades de que con ellas se causen daños a derechos o bienes protegidos son menores) podrán asumir códigos de conducta voluntarios para dar cumplimiento a los requisitos establecidos para las aplicaciones de alto riesgo.

Los Estados miembros deben establecer mecanismos de supervisión y también de sanción. Las multas tendrán un tope máximo de 20 millones de euros o del 4% de la cifra de negocios mundial (si es superior a aquella cantidad), para infracciones que consistan en la utilización de las aplicaciones prohibidas de la IA, el suministro de información falsa a las entidades de verificación o el incumplimiento de los requerimientos de las autoridades.

También se regulan cuestiones como el establecimiento de sandboxes o espacios controlados de pruebas.

 

Lo que regula y lo que no regula el proyecto de Reglamento

Este proyecto de Reglamento establece unos requisitos para que se puedan utilizar aplicaciones de IA tanto por operadores públicos como privados. Son requisitos generales y adicionales, porque ahora no existen expresamente, con los que se quiere prevenir daños a bienes y derechos dotados de protección al máximo nivel jurídico. Dicho de otro modo: no es que el Reglamento prohíba cosas que ahora están permitidas, sino que intenta prevenir que se produzcan esos resultados lesivos o dañinos.

El cumplimiento de los requisitos establecidos por el Reglamento (que es un cumplimiento relativo, como estamos viendo, sobre todo en el caso de las aplicaciones de alto riesgo, porque los requisitos son más bien objetivos) no agota los problemas jurídicos de la IA. Queda en pie, de entrada, el control posterior que veíamos al principio. Si se producen daños a pesar de, por ejemplo, las medidas preventivas especificadas en el documento de compliance elaborado por el productor de la aplicación de IA o aprobado por la entidad certificadora, podrá haber responsabilidad civil o, en su caso, penal, aunque será necesario valorar en qué medida la responsabilidad queda excluida como consecuencia de la aplicación de esas medidas, que en principio suponen una actuación diligente dirigida a minimizar los riesgos. Es lo mismo que sucede con la ITV, que es un sistema dirigido a reducir los riesgos en la circulación de vehículos a motor, pero el hecho haber superado la ITV no excluye que se produzcan daños ni que el conductor y/o propietario del vehículo sean responsables de ellos.

Por otro lado, el cumplimiento de los requisitos establecidos en el Reglamento no significa que las aplicaciones de IA se puedan utilizar sin más y para cualquier cosa. Es necesario también cumplir la normativa sobre protección de datos y, además, habrá que estar atentos a la normativa aplicable, en su caso, al concreto sector en el que se aplique la IA. Así, por ejemplo, en su uso por Administraciones Públicas habrá que tener en cuenta qué se quiere hacer con esa aplicación: no es lo mismo utilizarla para automatizar procesos, de forma puramente instrumental (como en las aplicaciones que facilitan las declaraciones tributarias, que son jurídicamente irrelevantes), que usarlas como una ayuda para decidir cuándo se inicia un procedimiento administrativo (un paso más) o para determinar el contenido de una resolución administrativa, lo que exigirá normalmente una habilitación normativa (lo he estudiado aquí) y no sólo el cumplimiento de los requisitos generales que establece este proyecto de Reglamento.


Foto: Pedro Fraile