Carlos B Fernández. La difusión del texto del Reglamento de Inteligencia Artificial (IA), acordado durante la quinta ronda de negociaciones entre el Consejo y el Parlamento europeos, celebrada entre el 6 y el 8 de diciembre de 2023, levantó una enorme expectación, pues permitía conocer las líneas finales de esta norma tan relevante.
Sin embargo, la redacción, por ahora solo en inglés; el carácter aun provisional de dicho texto, lleno de considerandos y artículos numerados como bis, ter o quater (a, b o c, en el texto), además de la gran ampliación que han experimentado sus contenidos, lo convierten en un documento difícilmente manejable y, en muchos aspectos, comprensible.
De hecho, tras el acuerdo político, los colegisladores procedieron a realizar nuevos trabajos técnicos en enero de 2024 para armonizar el texto de los considerandos al texto de los artículos acordado durante el trílogo final de diciembre.
Por eso resulta de particular interés un documento hecho público el pasado 26 de enero, la presidencia belga de turno del Consejo ha publicado, junto con el texto de la propuesta de la Ley sobre la IA, actualizado según el acuerdo político provisional alcanzado, un resumen de los últimos acuerdos alcanzados, que presentamos a continuación.
PRINCIPALES ELEMENTOS DEL ACUERDO ALCANZADO
1. Objeto y ámbito de aplicación del Reglamento
Por lo que se refiere al objeto del Reglamento, el texto transaccional del apartado 1 del artículo 1 incluye una declaración de alto nivel en el sentido de que uno de los objetivos del mismo es garantizar un alto nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta, que incluyen la democracia, el Estado de Derecho y la protección del medio ambiente.
“The purpose of this Regulation is to improve the functioning of the internal market and promoting the uptake of human centric and trustworthy artificial intelligence, while ensuring a high level of protection of health, safety, fundamental rights enshrined in the Charter, including democracy, rule of law and environmental protection against harmful effects of artificial intelligence systems in the Union and supporting innovation”.
Sin embargo, todas las referencias posteriores del texto a los riesgos que aborda el Reglamento sólo incluyen los riesgos para la salud, la seguridad y los derechos fundamentales, en consonancia con el mandato del Consejo.
En cuanto al ámbito de aplicación, el texto de compromiso deja claro que la seguridad nacional queda excluida. La redacción relativa a esta exclusión en el apartado 3 del artículo 2 se ha afinado para ajustarla más con el lenguaje utilizado en actos jurídicos acordados recientemente, como la Ley de ciberresiliencia y la Ley de datos:
“This Regulation shall not apply to areas outside the scope of EU law and in any event shall not affect the competences of the Member States concerning national security, regardless of the type of entity entrusted by the Member States to carry out the tasks in relation to those competences.
This Regulation shall not apply to AI systems if and insofar placed on the market, put into service, or used with or without modification of such systems exclusively for military, defence or national security purposes, regardless of the type of entity carrying out those activities.
This Regulation shall not apply to AI systems which are not placed on the market or put into service in the Union, where the output is used in the Union exclusively for military,defence or national security purposes, regardless of the type of entity carrying out thoseactivities.”
El texto del correspondiente considerando 12 a se ha mantenido igual que en la propuesta del Consejo.
Definición de sistema de IA
Se ha modificado la definición de “sistema de inteligencia artificial” que figura en el apartado 1 del artículo 3, para adaptarla mejor a los trabajos de las organizaciones internacionales que se ocupan de la inteligencia artificial, en particular la OCDE:
“ ‘AI system‘ is a machine-based system designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments;”
Además, el correspondiente considerando 6 detalla más las características clave de la IA y aclara que la definición no pretende abarcar los sistemas de software más sencillos que se basan en reglas definidas únicamente por personas físicas para ejecutar automáticamente operaciones. Además, se ha encargado a la Comisión que elabore directrices sobre la aplicación de la definición de sistema de IA.
Prácticas de IA prohibidas
En cuanto a la lista de prácticas de IA prohibidas del artículo 5, el texto transaccional incluye los cambios aceptados previamente por el Comité de Representantes Permanentes en el mandato revisado del Consejo.
Esto significa que la lista incluye la prohibición de la identificación biométrica en tiempo real por parte de las autoridades policiales en espacios de acceso público, pero con algunas excepciones notables y claramente definidas, enumeradas en el artículo 5.1.d), que ahora están sujetas a una serie de salvaguardias, incluidas medidas de seguimiento y supervisión y obligaciones limitadas de información a escala de la UE.
“The use of ‘real-time’ remote biometric identification systems in publicly accesible spaces for the purpose of law enforcement unless and in as far as such use is strictly necessary for one of the following objectives:
(i) the targeted search for specific victims of abduction, trafficking in human beings and sexual exploitation of human beings as well as search for missing persons;
(ii) the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack;
(iii) the localisation or identification of a person suspected of having committed a criminal offence, for the purposes of conducting a criminal investigation, prosecution or executing a criminal penalty for offences, referred to in Annex IIa and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years. This paragraph is without prejudice to the provisions in Article 9 of the GDPR (LA LEY 6637/2016) for the processing of biometric data for purposes other than law enforcement.”
Entre las prohibiciones adicionales aceptadas figuran la extracción no selectiva de imágenes faciales con el fin de crear o ampliar bases de datos de reconocimiento facial; el reconocimiento de emociones, pero sólo en el lugar de trabajo y en centros educativos (con excepciones por motivos de seguridad y médicos); una prohibición muy limitada de la categorización biométrica basada en determinadas creencias o características específicas, así como una prohibición limitada y selectiva de la actuación policial predictiva individual.
La redacción de esta prohibición de la vigilancia predictiva se ha modificado ligeramente y ahora abarca los sistemas que evalúan o predicen el riesgo de que una persona física cometa un delito, basándose únicamente en el perfil de una persona física o en la evaluación de sus rasgos y características de personalidad. Sin embargo, esta prohibición no se aplicará a los sistemas de IA utilizados para apoyar la evaluación humana de la implicación de una persona en una actividad delictiva.
Por último, es importante señalar que, como parte del compromiso, se han añadido al anexo III (Lista de sistemas de IA de alto riesgo) otros sistemas biométricos y sistemas de reconocimiento de emociones, así como los sistemas de identificación biométrica a distancia, no incluidos en la lista de prohibiciones del artículo 5, con algunas limitaciones adicionales de su ámbito de aplicación:
“1. Biometrics, insofar as their use is permitted under relevant Union or national law:
(a) Remote biometric identification systems.
This shall not include AI systems intended to be used for biometric verification whose sole purpose is to confirm that a specific natural person is the person he or she claims to be;
(aa) AI systems intended to be used for biometric categorisation, according to sensitive or protected attributes or characteristics based on the inference of those attributes or characteristics;
(ab) AI systems intended to be used for emotion recognition.”
Identificación biométrica a distancia
Además de estar incluido en la lista de sistemas de IA de alto riesgo del anexo III, el uso de la identificación biométrica a distancia por parte de las autoridades policiales y judiciales se ha sometido a algunas salvaguardias adicionales en el artículo 29. Estas salvaguardias incluyen medidas de transparencia limitadas y el requisito de que las autoridades policiales soliciten una autorización para el uso de la identificación biométrica a distancia, que podrá ser concedida por una autoridad judicial o administrativa cuya decisión sea vinculante y esté sujeta a revisión judicial. Esto puede hacerse antes o después, en un plazo de 48 horas.
Además, el texto de compromiso aclara que la identificación biométrica a posteriori no debe utilizarse para fines policiales de forma no selectiva y sin ningún vínculo con un delito, un procedimiento penal, una amenaza real y actual o real y previsible de un delito o la búsqueda de una persona desaparecida concreta.
Excepciones para las fuerzas del orden
El acuerdo transaccional mantiene todas las excepciones para los cuerpos y fuerzas de seguridad que se añadieron en el mandato revisado del Consejo, incluida la excepción a la evaluación de la conformidad y la posibilidad de iniciar pruebas en condiciones reales de sistemas de IA de alto riesgo sin autorización previa.
No obstante, para garantizar estas concesiones, el Consejo tuvo que aceptar que las autoridades de vigilancia del mercado para los sistemas de IA de alto riesgo en el ámbito de las fuerzas de seguridad, puedan ser o bien las autoridades de protección de datos o cualesquiera otras autoridades designadas con arreglo a las condiciones establecidas en los artículos 1 a (LA LEY 6638/2016)44 de la Directiva (UE) 2016/680 (LA LEY 6638/2016), relativa a la protección de las personas físicas en lo que respecta al tratamiento de datos personales por parte de las autoridades competentes para fines de prevención, investigación, detección o enjuiciamiento de infracciones penales o de ejecución de sanciones penales.
Evaluación de impacto sobre los derechos fundamentales
En consonancia con el mandato revisado del Consejo, el texto transaccional incluye en el artículo 29 a una versión light de la obligación de realizar una evaluación de impacto sobre los derechos fundamentales que incumbe a algunos usuarios de sistemas de IA (deployers, en la expresión en inglés).
Se trata, según el Consejo, de una obligación relativamente fácil de cumplir y que sólo afecta a los responsables del despliegue que sean organismos de Derecho público, agentes privados que prestan servicios públicos y proveedores de servicios bancarios y de seguros que utilicen sistemas de IA enumerados como de alto riesgo en el punto 5, letras b) y c a), del anexo III.
La evaluación de impacto sobre los derechos fundamentales tendrá que llevarse a cabo únicamente para los aspectos no cubiertos por otras obligaciones legales, como la evaluación de impacto de protección de datos con arreglo al RGPD, y se ajustará a los procedimientos ya existentes con el fin de eliminar cualquier solapamiento y carga adicional. Además, el cumplimiento de esta obligación se verá facilitado por la Oficina de AI, a la que se ha encargado la elaboración de un modelo de cuestionario que los responsables de la implantación podrán utilizar para cumplir los requisitos pertinentes.
Prueba de sistemas de IA de alto riesgo en condiciones del mundo real fuera de los entornos de prueba o sandboxes regulatorios de la IA
El texto acordado incluye disposiciones sobre la prueba de sistemas de IA de alto riesgo en condiciones del mundo real fuera de los entornos controlados de pruebas o sandboxes regulatorios de IA, en los artículos 54a y 54b.
Al haberse mantenido el mandato revisado del Consejo, se hace posible la realización de pruebas de sistemas de IA de alto riesgo en condiciones del mundo real fuera de los sandboxes, pero sujetas a una serie de salvaguardias, que incluyen, entre otras cosas, el requisito de aprobación por parte de la autoridad de vigilancia del mercado, el derecho de las personas afectadas a solicitar la supresión de sus datos tras las pruebas en condiciones reales, el derecho de las autoridades de vigilancia del mercado a solicitar a los proveedores información relativa con las pruebas en el mundo real, incluida la facultad de realizar inspecciones, la duración limitada de así las pruebas, así como algunas salvaguardias adicionales diseñadas específicamente para las pruebas en condiciones reales en el ámbito de las fuerzas de seguridad, la migración, el asilo y la gestión del control de fronteras.
Modelos de IA de propósito general
El acuerdo transaccional incluye nuevas disposiciones relativas a los modelos de IA de propósito general (o modelos GPAI) en los artículos 52a a 52e del texto acordado.
Estas nuevas normas introducen obligaciones horizontales para todos los modelos GPAI, como la de mantener actualizada y a disposición, de la Oficina de IA y de las autoridades nacionales competentes, previa solicitud, la documentación técnica. También incluyen la obligación del suministro de determinada información y documentación a los proveedores posteriores, a efectos del cumplimiento del Reglamento.
Se han introducido igualmente determinados requisitos adicionales para los modelos con riesgos sistémicos, que incluirían la realización de una evaluación del modelo, la realización de evaluaciones de riesgo y la adopción de medidas de mitigación de riesgos, la garantía de un nivel adecuado de protección de la ciberseguridad y la notificación de incidentes graves a la Oficina de IA y a las autoridades nacionales competentes. El cumplimiento de estos requisitos puede lograrse mediante códigos de prácticas, que serán elaborados por el sector, con la participación de los Estados miembros (a través del Comité de IA), y facilitados por la Oficina de IA. La elaboración de los códigos de buenas prácticas debe ser un proceso abierto al que se invitará a todas las partes interesadas, tanto empresas como la sociedad civil y el mundo académico. La Oficina de AI también evaluará estos códigos de prácticas y podrá aprobarlos formalmente o, en caso de que sean inadecuados para cubrir las obligaciones, establecer normas comunes para la aplicación de las obligaciones a través de un acto de ejecución. El acuerdo de compromiso también establece que las normas serán una posibilidad de cumplimiento en el futuro.
La clasificación de los modelos GPAI como modelos que presentan riesgos sistémicos dependerá inicialmente de su capacidad, bien basada en un umbral cuantitativo de la cantidad acumulada de cálculo utilizada para su entrenamiento, medida en operaciones de coma flotante (FLOPs), bien en una decisión de designación individual de la Comisión que tenga en cuenta los criterios enumerados en el anexo IXc (por ejemplo, el número de parámetros, la calidad y el tamaño del conjunto de datos, las modalidades de entrada y salida o las medidas de alcance en los usuarios empresariales). Para el primer caso, el umbral inicial de FLOPs se ha fijado en 1025, es decir, más alto de lo que el PE quería inicialmente pero más bajo que en el mandato del Consejo, que era de 1026. Sin embargo, en este contexto es importante señalar que la Comisión estará obligada a adaptar ese umbral a la luz de la evolución tecnológica, como las mejoras algorítmicas o el aumento de la eficiencia del hardware, con el fin de mantenerse al día con el estado de la técnica, reflejando las capacidades registradas en los modelos de IA de propósito general más avanzados.
En cuanto a los derechos de autor, el acuerdo transaccional establece que los proveedores de modelos GPAI tendrán que poner en marcha una política para respetar la legislación de la Unión en materia de derechos de autor, así como poner a disposición del público un resumen suficientemente detallado sobre el contenido utilizado para el entrenamiento del modelo, basado en un modelo facilitado por la Oficina de IA. A estos efectos, el considerando 60k explica que este resumen no debe ser técnicamente detallado, sino completo a nivel general, teniendo debidamente en cuenta la necesidad de proteger los secretos comerciales y la información empresarial confidencial.
Por último, en lo que respecta a los sistemas GPAI, el acuerdo transaccional los define como sistemas de IA basados en modelos de IA que pueden servir para diversos fines. El artículo 28 incluye normas para alinearlos con el enfoque basado en el riesgo que plantea el Reglamento. Los proveedores de estos sistemas estarán obligados a facilitar toda la información y elementos a los proveedores posteriores de sistemas de IA de alto riesgo para que puedan cumplir los requisitos respectivos, incluso a efectos de la evaluación de la conformidad. evaluación de la conformidad. El artículo 63a aclara además las condiciones en las que las autoridades nacionales de vigilancia del mercado deben colaborar con la Oficina de IA para garantizar la conformidad de los sistemas GPAI que puedan ser utilizados directamente por los implantadores para al menos un fin clasificado como de alto riesgo, cuando consideren que los sistemas GPAI no son conformes.
Gobernanza y aplicación del Reglamento – La Oficina de IA
Vinculado al acuerdo alcanzado sobre los modelos de propósito general a que nos hemos referido en el punto anterior, el texto de compromiso también incluye las nuevas normas sobre gobernanza en el Título VI.
En este sentido se acordó que mientras que para los sistemas de IA se aplicará el sistema de vigilancia del mercado a nivel nacional, las nuevas normas para los modelos GPAI prevén un nuevo sistema más centralizado de supervisión y aplicación. Para ello, se creará la Oficina de IA como nueva estructura de gobernanza con una serie de tareas específicas en relación con los modelos GPAI, y con un fuerte vínculo con la comunidad científica para apoyar su labor.
La nueva estructura de gobernanza propuesta incluye un refuerzo del papel del Comité de IA, cuya lista de competencias se ha ampliado para dar a los Estados miembros un mayor papel de coordinación, así como en lo que respecta a los espacios controlados de prueba o sandboxes de IA, las consultas con las partes interesadas y las actividades de sensibilización. El Consejo de IA también emitirá dictámenes para la Comisión sobre las alertas cualificadas relativas a los modelos de IA de propósito general. Las disposiciones sobre la composición y el funcionamiento del Consejo de IA se han mantenido como en el planteamiento general del Consejo.
El texto final también introduce dos nuevos órganos consultivos: por una parte, un comité científico de expertos independientes, que proporcionará asesoramiento técnico y aportaciones a la Oficina de IA y a las autoridades de vigilancia del mercado. Este comité también tiene un papel clave en la aplicación de las normas para los GPAI, ya que podrá lanzar alertas cualificadas de posibles riesgos a la Oficina de IA. Los Estados miembros tendrán la posibilidad de recurrir a expertos de los paneles científicos para apoyar sus actividades de vigilancia del mercado. Por otra, un foro consultivo proporcionará información de las partes interesadas a la Comisión (incluida la Oficina de la IA) y al Comité de la IA. Estará compuesto por una selección equilibrada de partes interesadas, incluida la industria, las nuevas empresas, las PYME, la sociedad civil y el mundo académico.
Por último, sobre la cuestión de la designación de más de una autoridad competente contemplada en el artículo 59, apartado 2, el texto transaccional mantiene la posición del Consejo, que da a los Estados miembros flexibilidad para designar al menos una autoridad notificante y al menos una autoridad de vigilancia del mercado como autoridades nacionales competentes. Además, los Estados miembros designarán a una autoridad de vigilancia del mercado para que actúe como punto de contacto único.
Excepción a la evaluación de la conformidad
En consonancia con el mandato del Consejo, el texto transaccional mantiene la excepción a la evaluación de la conformidad prevista en el apartado 1 del artículo 47, así como su exención por razones de urgencia, para las fuerzas de seguridad, en el apartado 1a del artículo 47, sin necesidad de autorización judicial. Sin embargo, para garantizar esta concesión, ha sido necesario volver a introducir en el texto la formulación relativa al control del proceso de autorización por la Comisión, tal como se prevé en los puntos 3, 4 y 5 del artículo 47, suprimidos anteriormente en el Enfoque General del Consejo.
Sistemas de IA ya comercializados o puestos en servicio
Por lo que respecta a los sistemas de IA ya comercializados o puestos en servicio, en el caso de autoridades públicas que sean proveedores o usuarios de sistemas de IA de alto riesgo, el acuerdo respecto del artículo 83, apartado 2, ofrece un plazo de 4 años desde la entrada en vigor del Reglamento para que dichos sistemas sean conformes con el mismo.
Según el Consejo, este cambio no se aparta significativamente de la posición del Consejo, ya que es muy improbable que en ese plazo de 4 años los sistemas no experimenten una modificación sustancial, que se supone activaría el requisito de cumplimiento.
Además, en el apartado 3 del artículo 83 se ha acordado que todo modelo GPAI que se comercialice antes de la entrada en aplicación de las disposiciones relativas a los modelos GPAI (12 meses después de la entrada en vigor) dispondrá de 2 años tras la fecha de entrada en vigor de dichas disposiciones (3 años en total) para cumplirlas (independientemente de que experimenten o no una modificación sustancial).
Actos de ejecución y actos delegados
Por lo que respecta a los actos delegados y de ejecución, el texto transaccional mantiene las opciones como en el mandato revisado del Consejo, con excepción de dos supuestos de actos de ejecución en los que se aclara que jurídicamente sólo son posibles los actos delegados, a saber, actualizar los umbrales de los FLOP del artículo 52as y actualizar la metodología de clasificación de los modelos de alto impacto en el artículo 52b.
Sanciones
Se han afinado los importes de las sanciones por infracciones de los diversos aspectos del Reglamento, en el artículo 71. En particular, para el incumplimiento de las disposiciones relativas a las prácticas prohibidas del artículo 5, la sanción se ha fijado en 35 millones de euros o el 7% del volumen de negocios anual, ligeramente por encima del límite establecido en el mandato revisado del Consejo, que era de 35 millones de euros o el 6,5% del volumen de negocios anual.
Los importes de las sanciones acordadas para los casos restantes son ligeramente inferiores a las de la posición del Consejo.
Por último, el artículo 72a establece las multas para los proveedores de modelos de IA de propósito general, en caso de vulneración o incumplimiento de las obligaciones o de las medidas de ejecución, por ejemplo de las solicitudes de información. La cuantía máxima de las multas se ha alineado con la de los proveedores de sistemas de IA de alto riesgo.
El Consejo considera importante destacar a este respecto que habrá un periodo de gracia adicional para los proveedores de modelos de IA de uso general, ya que no se les podrán imponer multas durante el primer año tras la entrada en vigor de las normas.
Aplicación del Reglamento
En cuanto al momento de aplicación del Reglamento, tal como se especifica en el artículo 85, el acuerdo transaccional prevé un plazo de 24 meses para la mayor parte de su contenido, con plazos ligeramente en algunos casos, a saber, 6 meses para los sistemas prohibidos y 12 meses para las disposiciones relativas a las autoridades notificantes y los organismos notificados, la gobernanza, los modelos de IA de propósito general, la obligación de confidencialidad y las sanciones, así como un plazo ligeramente más largo, de 36 meses, para los sistemas de inteligencia artificial de alto riesgo incluidos en el anexo II.
CONCLUSIÓN
1. La Presidencia invita al Comité de Representantes Permanentes a:
a. que apruebe el texto transaccional adjunto tal como se acordó con el Parlamento Europeo durante diálogo tripartito final, y
b. mandate a la Presidencia para que informe al Parlamento Europeo de que, en caso de que el Parlamento Europeo adopte su posición en primera lectura, de conformidad con el artículo 294 apartado 3 del Tratado, en la forma establecida en el paquete transaccional que figura en el Anexo del presente documento (a reserva de revisión por los juristas lingüistas de ambas instituciones), el Consejo, de conformidad con el apartado 4 del artículo 294 del Tratado, aprobaría la posición del Parlamento Europeo y el acto se adoptaría en la redacción que corresponda a la posición del Parlamento Europeo.