Volver a página de inicio

La Ley de Inteligencia Artificial de la Unión Europea: un modelo para innovaciones radicales, responsables y transparentes basadas en el riesgo

Fernández Rozas, José Carlos

LA LEY Unión Europea, Nº 124, Sección Estudios, Abril 2024, LA LEY

LA LEY 15196/2024

I. Liderazgo de la IA en la tecnología, transformación y evolución continua del ámbito digital

1. Importancia estratégica con impacto significativo en diversos aspectos de la sociedad y la economía

1. Las tecnologías de la información y la comunicación constituyen la columna vertebral de la infraestructura moderna de los sistemas económicos, ofreciendo un panorama prometedor para la innovación, el crecimiento y la generación de empleo. La intersección entre la inteligencia artificial (IA) y el medio humano da lugar a una nueva forma de complejidad, en la que se entrelazan dimensiones tecnológicas, éticas, sociales y existenciales propiciando una reflexión profunda en torno a la naturaleza misma de la identidad, la autonomía y la interconexión humana, en un entorno cada vez más impregnado de tecnología (1) , a la vez que reabre cuestiones políticas recurrentes sobre el poder, la libertad, la democracia y la justicia. Marca este desarrollo el inicio de una nueva revolución tecnológica que está transformando la forma de abordar los desafíos y la toma de decisiones al permitir a los operadores en este sector aprovechar grandes cantidades de datos de manera más efectiva, identificar patrones complejos y realizar predicciones precisas, dando lugar con ello a nuevas oportunidades y posibilidades en una amplia gama de campos que se están explorando activamente (2) .

Estamos al principio de una era en la que la IA dará forma a nuestra sociedad como ninguna otra tecnología lo ha hecho antes. La capacidad de interactuar directamente con sistemas de IA mucho más avanzados y con resultados aparentemente «omniscientes» plantea una serie de consideraciones éticas, sociales y tecnológicas (3) . Esta nueva generación de sistemas de IA puede ofrecer una amplia gama de beneficios, desde asistencia personalizada hasta avances significativos en la medicina, la investigación científica y otros campos. Sin embargo, también plantea preocupaciones sobre la privacidad, la seguridad y el potencial impacto en el empleo humano. Resulta, pues, crucial seguir avanzando con un enfoque ético y reflexivo hacia el desarrollo y la implementación de la IA, lo cual implica considerar cuidadosamente cómo se utilizan estos sistemas, qué datos utilizan y cómo se protegen los derechos y la privacidad de las personas. Y también lo es abordar las implicaciones socioeconómicas de la automatización impulsada por la IA, asegurando que los beneficios se distribuyan de manera justa y equitativa. En última instancia, el desafío radica en encontrar un equilibrio entre aprovechar el potencial transformador de la IA y mitigar sus posibles riesgos y desafíos (4) .

Quiérase o no, la ascendente penetración de la tecnología, tanto en su vertiente digital como en la aplicación de algoritmos de IA, ha engendrado una notable influencia en el modus operandi que regula la planificación y gestión de las actividades organizativas diarias de la sociedad de nuestros días; y, si bien este fenómeno ha sido objeto de un profundo análisis y debate en la ciencia jurídica (5) , aún pervive como un enigma por dilucidar en su totalidad, especialmente en lo concerniente a su impacto en determinadas estructuras organizativas por hallarnos ante conocimientos basados en gran medida en una forma de registrar lo que ya existe, sin tener necesariamente ningún efecto sobre el sector concreto al que se dirige (6) . Es probable que la IA aumente los ingresos medios y mejore el bienestar, pero también puede perturbar los mercados laborales, aumentar la desigualdad e impulsar un crecimiento no inclusivo.

2. La potencia informática se evalúa en función de cuatro áreas principales, cada una con subcategorías específicas: a) capacidad informática, que incluye el número de ordenadores de alto rendimiento y el gasto en servidores; b) eficiencia informática, referida al gasto en servicios en la nube y al uso medio de servidores externos para el almacenamiento de datos; c) soporte de infraestructuras, que involucra el número de centros de datos y la prestación anual de servicios de red a las empresas; y, d) áreas de aplicación, que abarca la IA, la robótica y el análisis de grandes volúmenes de datos (big data). Estas evaluaciones proporcionan una clasificación de potencia informática que posiciona a EE UU en la primera posición, seguido por China, figurando a continuación, Japón, Alemania, Reino Unido o Francia. Bien entendido que las clasificaciones por países ofrecen una perspectiva aproximativa sobre el éxito de sus esfuerzos en el ámbito de la potencia informática, brindando una indicación de cómo las condiciones del marco político influyen en el desarrollo de la IA. La percepción común de que la carrera por el dominio de la IA involucra principalmente a EE UU y a China no es infundada. Ambos países albergan a algunas de las empresas de IA más prominentes y están respaldados por una financiación sustancial, lo que sugiere que su liderazgo en este campo no disminuirá en el corto plazo (7) . Junto a estas dos potencias, en el contexto de una UE cimentada en la libre circulación de factores de producción, el establecimiento de un mercado único digital se erige como un entorno donde individuos y entidades comerciales pueden participar en actividades en línea sin sesgos, asegurando un terreno de juego equitativo y una sólida salvaguarda de los derechos del consumidor y la protección de datos personales

Al examinar más detenidamente el panorama de la IA, resulta evidente que otros países también participan activamente en esta competición y están emergiendo como contendientes serios, al realizar importantes inversiones en IA, desarrollar tecnologías innovadoras y acumular una sólida propiedad intelectual en este ámbito. Este fenómeno se debe en parte a que muchos gobiernos consideran la IA como una tecnología estratégica, cuyos avances pueden tener un impacto significativo en diversos aspectos de la sociedad y la economía (8) .

Junto a EE UU y China son varios los países que se disputan el liderazgo mundial en IA: a) Japón, por ejemplo, lleva mucho tiempo liderando el sector de la IA y, en particular, su desarrollo y adopción de la robótica; b) Corea del Sur es un importante inversor y un firme defensor del desarrollo tecnológico local, y la IA no es una excepción; c) Alemania es una potencia industrial, desde hace tiempo se sabe que tiene grandes capacidades de ingeniería y es el país que tiene más probabilidades de convertirse en líder en áreas como los vehículos autónomos, la robótica y la computación cuántica; d) el Reino Unido es un claro líder de la IA en Europa y el gobierno está apoyando financieramente las iniciativas de IA y el gobierno del Reino Unido anunció en 2017 que iba a dedicar 68 millones de libras de financiación para la investigación en proyectos de IA y robótica; e) Francia lanzó una estrategia nacional para la inteligencia artificial a principios de 2018 anunciando que en los próximos cinco años invertirá más de 1.500 millones de euros para la investigación relacionada con la IA y el apoyo a startups emergentes; g) Rusia también pretende estandarizar el desarrollo de la inteligencia artificial centrándose en el reconocimiento de imágenes, el reconocimiento del habla, los sistemas militares autónomos y el soporte de información para el ciclo de vida de las armas pues no puede olvidarse que sigue siendo una superpotencia mundial en términos de poderío militar (9) .

Los cambios en los centros de poder de la IA a nivel mundial tienen repercusiones importantes, ya que determinan qué aplicaciones de la IA se priorizan, qué sectores económicos se ven más beneficiados, qué datos se utilizan para entrenar algoritmos y cómo se abordan los sesgos inherentes en estos sistemas (10) . Además, también influyen en la forma en que se equilibra la innovación en IA con la necesidad de establecer salvaguardias éticas y legales.

3. Cada vez más los países que han estado involucrados en la IA desde sus inicios reconocen la importancia estratégica de esta tecnología y están redoblando sus esfuerzos para mantener su posición en el mercado global de la IA (11) , incluyendo no solo el desarrollo de capacidades tecnológicas avanzadas, sino también la implementación de políticas y regulaciones que fomenten un uso ético y responsable de la IA en beneficio de la sociedad en su conjunto.

El desarrollo tecnológico de la inteligencia artificial avanza de manera acelerada y, a medida que lo hace, se hace evidente la necesidad de establecer una regulación adecuada que aborde los riesgos y desafíos que esta tecnología conlleva. Muchos países y regiones se encuentran inmersos en lo que podría describirse como una «carrera de obstáculos» hacia la implementación de una regulación efectiva de la IA y, en esta carrera la competencia por capitalizar las oportunidades ofrecidas por la IA es evidente, pero también lo es el reconocimiento creciente de los riesgos asociados con su uso indiscriminado. Por lo tanto, los reguladores están cada vez más presionados para no solo considerar los beneficios de la IA, sino también para garantizar que su aplicación sea legal, ética y consistente (12) .

Resultan significativos los desafíos a que se enfrentan los reguladores en este proceso, pues deben: a) desarrollar herramientas regulatorias que puedan mantenerse al día con el rápido avance tecnológico; b) asegurar la protección de los derechos individuales, la privacidad y la seguridad; y, c) encontrar un equilibrio entre fomentar la innovación y proteger al público de los posibles efectos negativos de la IA. En este contexto, la competencia regulatoria en torno a la IA se presenta como una posibilidad real. Sin embargo, también existe la oportunidad de una convergencia regulatoria, donde los diferentes países y regiones trabajen juntos para establecer estándares comunes y armonizados para la regulación de la IA, lo cual no solo simplificaría el cumplimiento para las empresas que operan a nivel internacional, sino que también garantizaría una protección uniforme para los ciudadanos en todo el mundo.

En resumen, la competencia y la convergencia regulatoria en torno a la IA son realidades a los que los legisladores deben enfrentarse y a medida que continúan navegando por este camino, es crucial que busquen soluciones que equilibren la innovación con la protección de los derechos y valores fundamentales de la sociedad (13) . Con la reciente elaboración del primer marco jurídico del mundo para la IA, la UE marca un hito importante para aprovechar los beneficios de la tecnología y minimizar los riesgos, que puede servir de modelo para otros países.

2. Prevención hacia el tratamiento algorítmico injusto

4. No resulta controvertido que la IA ocupa el liderazgo en el espectro de la tecnología digital, desempeñando un papel crucial en la transformación y la evolución continua del ámbito digital (14) . Posee el potencial de generar numerosos beneficios para nuestras sociedades en diversos ámbitos, como la atención médica, la educación y muchos otros. La rápida evolución tecnológica en este campo brinda oportunidades significativas para mejorar la calidad de vida y abordar varios desafíos sociales. Además de su destacada contribución a la prosperidad económica, IA tiene un peso significativo en el ámbito de la seguridad nacional y las estrategias de defensa.

Sin embargo, a pesar de las oportunidades que ofrecen los avances en IA, también suscitan incertidumbres y peligros. La proliferación y la creciente integración de IA en diversos ámbitos de la sociedad contemporánea presentan un panorama complejo y multifacético. Si bien esta tecnología ostenta un potencial sin precedentes para optimizar procesos, mejorar la eficiencia y fomentar la innovación, no está exenta de riesgos inherentes que demandan una atención crítica y proactiva por parte de los actores involucrados.

La disrupción en el mercado laboral y sus implicaciones socioeconómicas (15) , junto con los desafíos relacionados con el acceso y la gestión de datos y la confidencialidad asociada, son temas a tener en cuenta, pues suscitan dilemas éticos, como la transparencia en las decisiones adoptadas por los sistemas de IA y, en el ámbito de la seguridad y la política exterior, vinculados a las disparidades globales. Todo ello conduce a la necesidad de abordar estas cuestiones de manera integral desplegando estrategias que promuevan el uso responsable y ético de la IA a la vez que se maximizan sus beneficios mientras se mitigan los posibles riesgos y desafíos que puedan surgir, pues el Derecho debe responder a estos riesgos específicos reconociendo a los algoritmos personificados como agentes indirectos, a las asociaciones hombre-máquina como empresas colectivas y a los sistemas interconectados como agrupaciones de riesgo y elaborando las correspondientes normas de responsabilidad. Y ello exige un estudio en profundidad de las tecnologías de la información, un análisis sociológico de instituciones y riesgos y, por último, un conocimiento de las soluciones adoptadas en los distintos sistemas nacionales, para conocer las relaciones entre los tipos de comportamiento de las máquinas, las instituciones socio-digitales emergentes, sus riesgos concomitantes, las condiciones jurídicas de las normas de responsabilidad (16) y la atribución de un estatuto jurídico a los algoritmos implicados (17) .

5. Los avances recientes en el ámbito de la IA han originado un aumento significativo en la potencia de la inteligencia artificial generativa. Los denominados «modelos de IA de uso general», incorporados en numerosos sistemas de IA, están adquiriendo una importancia inusitada tanto para la economía como para la sociedad como para no ser objeto de regulación minuciosa. Dichos avances propician el establecimiento de marcos normativos adecuados para abordar los posibles riesgos y desafíos asociados con la proliferación y el uso extendido de estas tecnologías emergentes. Entre los riesgos preeminentes que emergen en el contexto del despliegue de la IA, se encuentra el fenómeno del tratamiento exagerado de datos y la elaboración de perfiles. Este aspecto suscita inquietudes respecto a la privacidad y la autonomía individual, al exponer la posibilidad de una manipulación indiscriminada de información personal con fines diversos, desde la segmentación comercial hasta la vigilancia masiva.

Se erige el tratamiento algorítmico injusto como una preocupación fundamental cuando las instrucciones que se introducen en un sistema informático no se diseñan o no se implementan con criterios de equidad y justicia, pudiendo perpetuar y amplificar sesgos existentes en los conjuntos de datos subyacentes, lo que se traduce en decisiones discriminatorias o excluyentes, especialmente en contextos críticos como la selección de personal, la concesión de créditos o el sistema de justicia.

Asimismo, la utilización de la IA con fines publicitarios conlleva el riesgo de promover prácticas discriminatorias o agresivas, al dirigirse de manera selectiva y poco ética a determinados grupos demográficos, socavando así los principios de igualdad y no discriminación. Esta preocupación se ve agravada por la capacidad de los algoritmos para generar perfiles detallados de los usuarios, permitiendo una personalización extrema que puede traspasar los límites éticos y legales establecidos.

Por último, la discriminación de precios representa un desafío adicional en el contexto del uso de la IA en la economía digital. Los algoritmos de fijación dinámica de precios pueden conducir a una discriminación injusta al ajustar los precios en función de variables como la ubicación geográfica, el historial de navegación o el perfil socioeconómico del consumidor, perpetuando así desigualdades económicas y sociales (18) .

3. Enfoque integral y responsable

6. Resulta imperativo la adopción un enfoque integral y responsable para mitigar los riesgos asociados con el uso de la IA, que incluya la implementación de marcos regulatorios sólidos, el desarrollo de mecanismos de supervisión y de control, así como la promoción de la transparencia y la participación pública en el diseño y la implementación de sistemas de IA. Un algoritmo puede producir resultados inesperados e indeseables si se encuentra con una situación marcadamente diferente de los datos con los que fue entrenado. La inquietud inherente a la IA se fundamenta en los riesgos emergentes y desconocidos que esta tecnología puede conllevar y que, posiblemente, no sean abordados de manera adecuada por el marco legal actual. Por consiguiente, es plausible que se requiera la promulgación de nuevas normativas para atenuar dichos riesgos asociados con la IA. Una sugerencia concreta es la implementación de requisitos de transparencia en relación con la IA, aunque, la ejecución de tal requisito de transparencia podría encontrarse con dificultades prácticas, especialmente si el alcance de dicha transparencia no está claramente definido (19) .

Únicamente a través de un compromiso colectivo y de una reflexión ética constante puede garantizarse que la IA contribuya de manera significativa al bienestar humano, sin comprometer los valores fundamentales de la sociedad, estando condicionado el referido enfoque por la respuesta que los sistemas jurídicos otorguen al control social y político colectivo de estas tecnologías para garantizar que sean menos intrusivas en la vida privada de los particulares y evitar la manipulación de su comportamiento y opiniones (20) . Por eso, el conocimiento de los puntos fuertes y los límites de la de la actual tecnología de IA es crucial para entender el papel de esta última dentro del Derecho (21) . Y la respuesta a esta cuestión se ha plasmado en los últimos años en varias iniciativas reguladoras, asociadas a menudo con la ética, que actúan como mecanismo de regulación social, ya sea junto a la ley, en sinergia con ella o al margen de ella (22) . Al catálogo de resoluciones y declaraciones éticas hechas públicas, como la Declaración de Asilomar (2017) (23) , la Declaración de Montreal (2018) (24) , la Declaración de la OCDE (2019) (25) , los principios éticos del grupo de expertos de la Comisión Europea (2018) (26) y la Recomendación de la UNESCO (2021) (27) , se une la circunstancia de que la Asamblea General de la ONU adoptase por aclamación el 21 de marzo de 2024 una resolución histórica sobre la promoción de sistemas de artificial IA «seguros y fiables» que beneficien también al desarrollo sostenible para todos.

7. Constituye, en efecto, un hecho sin precedentes que la Asamblea haya adoptado una resolución para regular este campo emergente, donde se hace un llamamiento a todos los Estados miembros y partes interesadas para que, de un lado, se abstengan de utilizar sistemas de inteligencia artificial que no cumplan con las normas internacionales de derechos humanos o que representen riesgos indebidos para el disfrute de los derechos humanos, lo cual subraya la importancia de garantizar que el desarrollo y la implementación de la IA se realicen dentro de un marco ético y legal que respete los derechos fundamentales de las personas. Y, de otro lado, protejan en línea los mismos derechos que tienen las personas fuera de línea, incluido durante todo el ciclo de vida de los sistemas de inteligencia artificial. Esto significa que se deben mantener y salvaguardar los derechos humanos en todos los aspectos de la interacción con la IA, desde su desarrollo y despliegue hasta su uso continuo y posible eliminación. La Asamblea también hace un llamamiento a todos los Estados, al sector privado, a la sociedad civil, a las organizaciones de investigación y a los medios de comunicación para que desarrollen y respalden enfoques y marcos normativos y de gobernanza relacionados con el uso seguro y fiable de la IA (28) . Con ello se pone de relieve la necesidad de colaboración y coordinación entre diferentes actores para garantizar que la IA se utilice de manera responsable y para el beneficio de la humanidad han surgido como un acuerdo axiológico sobre el problema del despliegue de la IA.

Estas propuestas también forman parte de la búsqueda de un consenso internacional sobre principios y valores que no pueden separarse del corpus jurídico. Al mismo tiempo, el derecho también ha hecho su aparición en la Unión Europea con la propuesta de Reglamento sobre la IA de la Comisión Europea publicada el 21 de abril de 2021 (COM/2021/206 final).

II. Un razonable y equilibrado proceso legislativo

1. Estrategia europea de Inteligencia Artificial

8. Como un desafío de suma relevancia en el panorama contemporáneo ha emergido la cuestión del equilibrio entre los beneficios inherentes y los riesgos potenciales asociados con la IA. En este contexto, la UE se presenta como un actor clave, imbuido con la capacidad regulatoria y la influencia económica necesarias para posicionarse como líder global en el ámbito de la IA, y así, moldear el curso del debate internacional. La UE ostenta el potencial de establecer estándares globales comunes fundamentados en un enfoque ético, sostenible y fiable en el desarrollo y la implementación de tecnologías de IA cuya raíz debe buscarse en los principios y valores europeos, que abogan por una utilización responsable de la tecnología en armonía con los derechos humanos, la privacidad y la justicia social. Resulta imperativo reconocer que la UE se enfrenta a un desafío significativo en su búsqueda por mantener el equilibrio entre la promoción de una IA ética y digna de confianza y su posición en la carrera tecnológica global. Las instituciones de la UE se encontraron, en efecto, en una encrucijada, en la cual debían articular políticas y estrategias que fomentasen el avance tecnológico sin comprometer los valores y principios fundamentales. Este desafío implicaba la necesidad de encontrar un punto de equilibrio entre la promoción de la innovación y la salvaguarda de los derechos y la dignidad humanos y, en última instancia, la tarea que enfrentaba la UE radicaba en su capacidad para liderar el camino hacia una IA digna de confianza, que no solo estimulase la innovación y el progreso económico, sino que también protegiesen y promoviesen los valores fundamentales de la sociedad europea. Este es un llamado a la acción que demanda un compromiso colectivo y una visión a largo plazo, con el objetivo de garantizar que la IA beneficie a la humanidad en su conjunto, sin dejar de lado la ética y la responsabilidad.

Aunque en trance de superación, dentro de los modelos de política digital coexistentes en los últimos años, basados en un mercado abierto (EE UU) o en el centralismo estatal (China), la UE se ha esforzado por basarse en la regulación. Sin embargo, en un panorama de confrontación internacional (29) , en el que había quedado rezagada (30) , la UE ha reconocido la importancia de aprovechar estos avances de manera responsable y ética. Por esto la reciente actividad reguladora que ha desembocado en el Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas sobre IA y se modifican determinados actos de la Unión (en adelante, Ley IA) representa un hito importante al ser la primera legislación integral sobre IA en el mundo (31) . Su objetivo principal es abordar los riesgos relacionados con la salud, la seguridad y los derechos fundamentales que pueden surgir del uso de la IA y junto a dicho objetivo la Ley IA de la UE también se centra en salvaguardar la democracia, el Estado de Derecho y el medio ambiente. Estas medidas son fundamentales para garantizar que la IA se utilice de manera responsable y en beneficio de la sociedad en su conjunto.

9. La estrategia digital de la UE es un enfoque integral para aprovechar el poder transformador de la tecnología digital en beneficio de las personas, las empresas y la sociedad en su conjunto. Esta estrategia busca no solo promover la innovación y la competitividad, sino también garantizar que la transformación digital sea inclusiva, sostenible y respetuosa con los valores europeos fundamentales. Al centrarse en la transición hacia una Europa climáticamente neutra para 2050, la estrategia digital reconoce la importancia de la tecnología digital en la consecución de este objetivo, lo cual implica establecer normas y estándares digitales que reflejen los valores europeos, protegiendo la privacidad de los datos, promoviendo la competencia justa y garantizando la seguridad cibernética.

Con esta iniciativa normativa la UE se acomodó al denominado «efecto Bruselas» (32) , según el cual, las empresas acaban cumpliendo la normativa de la UE incluso en otros países porque es más práctico partir de un enfoque único a nivel mundial, lo que permite a la UE extender de facto (aunque no de iure) su normativa leyes a nivel internacional, a través de mecanismos de mercado. Se perseguía la consecución de un marco sólido que fomentase la innovación y el desarrollo de la IA sin descuidar la protección de los valores fundamentales y los derechos de los ciudadanos, pero los acontecimientos aconsejaron inclinarse por un enfoque colaborativo (33) . La colaboración y la acción conjunta son esenciales para aprovechar plenamente las oportunidades que ofrece la IA y abordar sus desafíos de manera efectiva. En la genuina pretensión de la UE de salvaguardar los derechos fundamentales y los valores europeos y en su aspiración a convertirse en un punto de referencia global, ésta no podía limitarse a producir una regulación basada en normativas técnicas establecidas por entidades de normalización. Por eso se vio obligada a trascender de un enfoque puramente organizativo y de gestión comprometiéndose con cuestiones esenciales que aún estaban pendientes, pues muchos desafíos requieren soluciones que van más allá de lo formal y deben ser abordados con determinación para complementar la regulación en torno a la inteligencia artificial.

2. Puesta en marcha del proceso

10. Las conclusiones del Consejo Europeo de 19 octubre de 2017 (34) pusieron en marcha un proceso que se ha extendido a lo largo de ocho años (35) y cuyo primer resultado tangible fue la «Estrategia Europea de IA» adoptada en abril de 2018 (36) cuya aspiración no era otra que convertir a la UE en un centro de excelencia mundial para la IA, garantizando que ésta estuviese centrada en el ser humano a partir de un enfoque holístico que combinase transparencia, ética, responsabilidad, evaluación continua y participación de los interesados, postulados que debían guiar el diseño, desarrollo y uso de los sistemas de inteligencia artificial en todos los sectores y aplicaciones. Este objetivo se tradujo en enfoque europeo de la excelencia y la confianza a través de normas y acciones concreta, «con el objetivo de impulsar la investigación y la capacidad industrial, garantizando al mismo tiempo la seguridad y los derechos fundamentales» (37) , que se plasmaría dos años después en el Libro Blanco sobre IA.

En cumplimiento de su Estrategia de Inteligencia Artificial, la Comisión presentó en diciembre del mismo año un Plan coordinado, elaborado en colaboración con los Estados miembros, con el objetivo de fomentar el desarrollo y la utilización de la inteligencia artificial en Europa. Este Plan conllevaba la proposición de cerca de 70 acciones conjuntas destinadas a fortalecer la cooperación entre los Estados miembros y la Comisión en áreas críticas como la investigación, la inversión, la introducción en el mercado, las capacidades y el talento, los datos y la cooperación internacional. Inicialmente se consideró que este el Plan debía estar en vigor hasta 2027, con la expectativa de llevar a cabo un seguimiento y revisión periódicos para garantizar su efectividad y relevancia continuas.

Abarcó este compromiso adquirido por la Comisión una amplia gama de derechos sustantivos y los mecanismos para hacerlos efectivos, siendo indispensable para complementar el marco normativo existente. Ante un desafío de semejante envergadura únicamente UE estaba en posición de asumirlo con la seriedad y el alcance necesarios.

Desde que en 2018 la Comisión presentara una estrategia europea para la IA ésta última se ha ido convirtiendo un uno de los fenómenos más llamativos de la sociedad contemporánea. Siendo omnipresente en la mayoría de las actividades humanas, su uso se desarrolló tanto en el ámbito público como en el privado. Ya sea para conducir un coche, detectar el cáncer, luchar contra el cambio climático, reducir la pobreza, mantener una conversación con un «agente conversacional inteligente» como los chatbots o los agentes virtuales, a las que los usuarios pueden hablar o, simplemente, utilizar el teléfono móvil, la IA irradia el potencial de beneficiar a toda la humanidad. Precisamente ese potencial cada vez más acrecentado, conduce inexorablemente a determinar su grado de peligrosidad. Es tan poderosa que por mucho que se minimicen sus riesgos su regulación resultar una prioridad mundial, junto a otros riesgos sociales como la guerra nuclear o las pandemias.

11. La decisión de la UE de actuar de manera conjunta para determinar cómo aprovechar estas oportunidades y enfrentar estos desafíos, partiendo de los valores europeos, reflejó un claro reconocimiento de la complejidad y el impacto socioeconómico de esta tecnología emergente; y la necesidad de promover el desarrollo y la adopción de la IA manteniéndose a la vanguardia en el ámbito científico y tecnológico, llevó aparejado no solo facilitar el avance científico en el campo de la IA, sino también preservar el liderazgo tecnológico del bloque, garantizando su competitividad en el escenario global.

Acaso lo más importante de esta estrategia fue que implicó un compromiso con el principio inherente a las nuevas tecnologías, incluida la IA, de que deben estar al servicio de todos los ciudadanos europeos, a través de la búsqueda de formas de mejorar la calidad de vida de los ciudadanos, garantizado el respeto de sus derechos fundamentales en el proceso.

En resumen, la decisión de la UE de abordar la cuestión de la IA desde una perspectiva basada en valores refleja un enfoque holístico y proactivo hacia el desarrollo tecnológico, reconociendo tanto sus beneficios potenciales como sus posibles desafíos sociales y éticos. Al margen de las críticas suscitadas por muchos sectores sociales, es de justicia reconocer que con la referida estrategia se dio un paso decisivo en este sentido pues, como quiera que el ámbito de la innovación tecnológica es mucho más rápido que el desarrollo jurídico, la Comisión partió de una definición diseñada para ser lo más neutra posible desde el punto de vista tecnológico y para resistir el paso del tiempo, teniendo en cuenta la rápida evolución de las tecnologías y del mercado de la IA (38) .

12. Dentro de los hitos más importantes del proceso que tuvo lugar para el cumplimiento de la Estrategia, interesa retener los siguientes:

• i. Grupo de Alto Nivel sobre Inteligencia Artificial (AI HLEG) La Comisión Europea designó en junio de 2018 a 52 expertos (39) para formar un «Grupo de Alto Nivel sobre Inteligencia Artificial». Este grupo estaba compuesto por representantes del mundo académico, empresarial y de la sociedad civil. Su función era respaldar la Estrategia de Inteligencia Artificial de la Comisión, elaborando recomendaciones sobre cómo abordar los desafíos y aprovechar las oportunidades a medio y largo plazo relacionadas con la IA. Las Directrices de Ética elaboradas por el grupo, así como sus Recomendaciones de Políticas e Inversiones (40) . fueron documentos importantes que dieron forma al concepto de IA confiable y contribuyeron al enfoque de la Comisión en línea con el trabajo realizado por el Grupo Europeo sobre Ética en la Ciencia y las Nuevas Tecnologías, así como con la Agencia de Derechos Fundamentales de la Unión Europea en esta área. Correspondió al AI HLEG la responsabilidad de proporcionar orientación experta y asesoramiento a la Comisión en relación con el desarrollo de políticas y regulaciones relacionadas con la IA (41) .
• ii. AI Alliance. Tuvo su inicio como un foro de debate abierto en línea, para establecer un diálogo político abierto sobre Inteligencia Artificial, evolucionando hasta convertirse en un foro con un amplio alcance y contribución a algunas de las iniciativas políticas más importantes en el campo de la inteligencia artificial. Inicialmente, fue establecida para supervisar el trabajo del Grupo de Expertos de Alto Nivel en Inteligencia Artificial (AI HLEG). Finalizado el mandato del AI HLEG, la AI Alliance continuó promoviendo la confiabilidad en la IA compartiendo las mejores prácticas entre sus miembros. Además, brindó apoyo a los desarrolladores de IA y otras partes interesadas, facilitando la aplicación de requisitos clave mediante la herramienta ALTAI: una lista de evaluación práctica para una IA confiable. A través de estas acciones, la AI Alliance desempeñó un papel crucial en la promoción de la IA responsable y ética. Al fomentar el intercambio de conocimientos y la adopción de estándares de calidad, se contribuyó significativamente a un desarrollo tecnológico más equilibrado y orientado al beneficio de la sociedad en su conjunto
• iii. Generar confianza en la inteligencia artificial centrada en el ser humano» (42) . La Comisión Europea emitió un comunicado con este título el 8 de abril de 2019, declarando que había establecido un sólido marco regulatorio para la IA en la UE basado en valores fundamentales y reconociendo la necesidad de fijar directrices éticas para el desarrollo y uso de esta tecnología. Y aprovechó la ocasión para anunciar que había acogido favorablemente las recomendaciones del AI HLAG y su intención de llevar a cabo el proceso de codificación en estrecha cooperación con los Estados miembros, la industria y otros actores relevantes. Con ello la Comisión expresó el compromiso de la UE con valores fundamentales y una IA centrada en el ser humano, que combinase competitividad económica y confianza social.

3. Libro Blanco sobre la Inteligencia Artificial

13. Siguiendo el cauce normativo habitual de la Unión se procedió a la elaboración de un Libro Blanco con el objetivo de proponer alternativas políticas que condujesen al logro de los objetivos establecidos. En la convocatoria realizada por la Comisión se extendió la invitación a los Estados miembros, así como a otras instituciones europeas y a todas las partes interesadas, tales como la industria, los interlocutores sociales, las organizaciones de la sociedad civil, los investigadores, el público en general y demás individuos con un interés relevante en la materia. El propósito de esta convocatoria fue recabar opiniones con respecto a las distintas opciones disponibles, a fin de contribuir al proceso de toma de decisiones por parte de la Comisión en este ámbito. Es importante destacar que, hasta el momento, no fue abordado de manera específica el uso de la IA para fines militares en este contexto normativo. Sin embargo, no se descartó que en futuras etapas del proceso legislativo se contemplase esta y otras cuestiones no contempladas y se tomase medidas adecuadas en consonancia con los valores y objetivos de la UE.

El Libro Blanco presentado en febrero de 2020 (43) delineó un conjunto de alternativas políticas diseñadas para facilitar un desarrollo seguro y confiable de la inteligencia artificial (IA) en Europa, priorizando el pleno respeto a los valores y derechos fundamentales de los ciudadanos de la UE. Este documento se fundamentó en un marco político que establecía medidas para armonizar los esfuerzos a nivel regional, nacional y europeo, con el objetivo de fomentar un «ecosistema de excelencia» a lo largo de toda la cadena de valor de la IA, desde la investigación y la innovación hasta la adopción de soluciones, incluyendo a las pequeñas y medianas empresas (pymes) (44) .

Dicho marco político aglutinó una serie de elementos clave destinados a conformar un futuro marco normativo generador de un «ecosistema de confianza» específico de la regulación de la IA, para integrarse en el bloque normativo de la Unión Europea, en consonancia con las regulaciones ya existentes que protegen los derechos fundamentales y los derechos de los consumidores. Con ello se insertó en la rúbrica común de los sistemas de IA que operan en la UE y que presentan un riesgo elevado, asegurando su adecuada supervisión y regulación para mitigar posibles impactos adversos y garantizar su conformidad con los principios éticos y legales fundamentales (45) .

El Libro Blanco iba acompañado de un informe de la Comisión adjunto, donde se analizaban las repercusiones de la IA, el internet de las cosas y otras tecnologías digitales en la legislación en materia de seguridad y responsabilidad civil y fue objeto de una consulta pública que tuvo lugar entre el 19 de febrero y el 14 de junio de 2020 en la que se recogieron una amplia variedad de opiniones sobre las próximas medidas políticas y reglamentarias en materia de inteligencia artificial (IA) (46) . El resultado de la consulta fue objeto de un informe final plagado de ilustraciones (47) para hacerlo más atractivo a los lectores.

El cuestionario en línea se dividía en tres secciones: 1) acciones específicas para la construcción de un ecosistema de excelencia que apoye el desarrollo y la adopción de la IA en toda la economía y la administración pública de la UE; 2) opciones para un marco regulador de la IA; -3) aspectos de seguridad y responsabilidad de la IA. La consulta pública registró 1.215 respuestas a través de una encuesta en línea. El 84% de las contribuciones procedió de los 27 Estados miembros de la UE y el resto de otros países: Reino Unido, EE UU Unidos, Suiza, Noruega, Japón, India, Turquía y China.

4. Estrategia Europea de Datos

14. Al convertirse la gestión de la información en la era digital en un tema de creciente importancia y relevancia en la sociedad contemporánea, el advenimiento de la IA ha permitido el tratamiento de vastas cantidades de datos personales de los ciudadanos de maneras antes impensables, suscitando importantes desafíos tanto desde una perspectiva jurídica como social, lo que justificaba la necesidad de que la UE dedicara especial atención en este tema. Ello justificó que la presentación de Libro Blanco fuese acompañada en febrero de 2020 de una «Estrategia Europea de Datos», con el objeto de ayudar a la UE a moverse con agilidad en la Economía presidida por los datos más atractiva, segura y dinámica del mundo, fortaleciéndola con informaciones para reforzar sus decisiones y mejorar la vida de todos sus ciudadanos (48) .

La intención subyacente partía del postulado según el cual la disponibilidad de datos es de vital importancia para el entrenamiento efectivo de los sistemas de IA permitiendo alimentar a los algoritmos con información relevante, lo que a su vez impulsa el desarrollo y la mejora continua de productos y servicios. Es importante destacar que, conforme se avanza en el campo de la inteligencia artificial, los productos y servicios están experimentando una rápida evolución, desde simples reconocimientos de patrones hasta técnicas de predicción más sofisticadas. El acceso a una amplia gama de datos permite a los sistemas de inteligencia artificial aprender de manera más completa y precisa, lo que les capacita para ofrecer resultados más precisos y útiles y, a medida que estos sistemas progresan, también lo hacen las capacidades de generación de información y la capacidad de realizar predicciones cada vez más complejas. Esto, a su vez, facilita la toma de decisiones más informadas y eficaces en una variedad de contextos, desde la atención médica y la logística hasta el análisis financiero (49) y la planificación urbana.

La Estrategia estableció varias medidas políticas, como la movilización de inversiones públicas y privadas, necesarias para alcanzar este objetivo (50) .

5. Primer proyecto regulador

15. En abril de 2021, la Comisión Europea propuso el primer proyecto regulador de la UE para la IA (51) con un marcado carácter distintivo del paradigma predominante hasta la fecha en los Estados miembros que concebía la IA como una modalidad particular de acción automatizada (52) . La propuesta se sustentaba principalmente el art. 114 TFUE (LA LEY 6/1957), que prevé la adopción de medidas de armonización para garantizar el establecimiento y el funcionamiento del mercado interior, y en el art. 16 TFUE (LA LEY 6/1957), relativo a la protección de datos personales.

Un rasgo distintivo de la propuesta fue su adscripción a un enfoque «basado en el riesgo», planeado, como se verá más adelante, por una «estructura piramidal» de la IA, en el sentido de que no todos los sistemas de IA quedan sometidos al mismo conjunto de normas armonizadas, sino que la aplicación de las normativas pertinentes está determinada por el nivel de riesgo asociado al sistema de IA en cuestión. Este enfoque representó una desviación significativa de la concepción tradicional de la regulación, proclive a adoptar un enfoque uniforme y homogéneo para todas las formas de IA (53) . En lugar de ello, el enfoque basado en el riesgo reconoce la diversidad y la complejidad de los sistemas de IA y busca aplicar medidas proporcionales y adaptadas a los distintos niveles de riesgo que pueden surgir en su desarrollo y despliegue.

En esencia, la estructura piramidal del Reglamento sobre IA refleja una jerarquía de riesgos, estableciendo diferentes niveles de normativas según la evaluación del riesgo asociado a cada sistema de IA. Esto significa que no todos los sistemas de IA están sujetos al mismo conjunto de normas (armonizadas), sino que las normas aplicables vienen determinadas por el nivel de riesgo asociado al sistema de IA en cuestión. De esta manera, los sistemas de IA considerados de alto riesgo estarán sujetos a requisitos más rigurosos y una supervisión más intensiva, mientras que aquellos de bajo riesgo estarán sujetos a regulaciones menos restrictivas (54) .

Esta aproximación estratificada buscó conciliar la necesidad de promover la innovación y el desarrollo tecnológico con la imperativa protección de los derechos fundamentales y la seguridad pública. Al reconocer y abordar de manera diferenciada los distintos niveles de riesgo, el enfoque normativo propuesto por la Comisión Europea aspiraba a establecer un marco regulatorio flexible y adaptativo que promoviese un entorno propicio para la innovación responsable y el uso ético de la IA. Sin embargo, su implementación y efectividad requerían de una evaluación constante y una supervisión diligente para asegurar que se alcancen los objetivos de protección y promoción del bien común en la era de la IA.

6. Fase final

16. Como se ha señalado, la innovadora propuesta de 2021 clasificó los sistemas de IA en función de los riesgos que plantean a los usuarios, marcando un importante punto de inflexión en la regulación mundial de la IA y su aprobación estuvo precedida de meses de debates y negociaciones, algunos de ellos de gran intensidad y emotividad. A lo largo del proceso legislativo el texto originario de la Ley de la IA experimentaría importantes modificaciones, en particular para abordar los riesgos que presenta la IA fundacional, generativa y de propósito general (que no era una tecnología contemplada en el momento en que la Comisión redactó la propuesta). No obstante, se mantuvieron los principios clave y el enfoque basado en el riesgo.

La última etapa del proceso comenzó el 11 de mayo de 2023 tras la aprobación por las comisiones responsables del Parlamento Europeo con una amplia mayoría las enmiendas a la propuesta de la Comisión, disponibles desde abril de 2021 (55) .

Las modificaciones significativas introducidas en esta fase abarcan diversos aspectos entre los que destacan: a) la ampliación del ámbito de aplicación del Reglamento, lo cual implica una mayor cobertura de actividades relacionadas con la IA; b) la inclusión de nuevas definiciones y la introducción de principios estructurales que se aplican de manera uniforme a todos los sistemas de IA; c) el establecimiento de una regulación específica dirigida a los modelos fundacionales, reconociendo la importancia de estos sistemas en el desarrollo y despliegue de la IA; d) ciertos ajustes significativos en relación con los sistemas considerados prohibidos y de alto riesgo, con el fin de mejorar la protección de los derechos y la seguridad de los usuarios; e) la obligación para los sistemas de IA generativa de divulgar cuando los contenidos hayan sido generados artificialmente, lo cual contribuye a la transparencia y la confianza en el uso de dichos sistema; f) la intensificación de las medidas de apoyo a la innovación, reconociendo la importancia de fomentar un entorno propicio para el desarrollo y la adopción de tecnologías de IA; y, g) la modificación de ciertos aspectos del régimen sancionador con el objetivo de garantizar un cumplimiento más efectivo de las disposiciones establecidas en el Reglamento. Estos cambios reflejaron el esfuerzo realizado en sede del Parlamento Europeo parar adaptar la regulación a la rápida evolución del campo de la IA y garantizar un marco normativo que promueva el desarrollo ético y responsable de esta tecnología.

17. Con ello se dio paso a una serie de trílogos entre Parlamento Europeo, el Consejo y la Comisión para terminar de cerrar el texto definitivo en los cuales fueron abordadas muchas cuestiones polémicas, entre otras la lista de categorías de IA de alto riesgo y sus requisitos imperativos o la eventual prohibición de la identificación biométrica en tiempo real y en diferido (56) . El 8 de diciembre de 2023, tras tres días de intensas negociaciones (57) , pues los Estados miembros trataban de imponer mecanismos de vigilancia de mayor alcance posible, por ejemplo, en el ámbito de la videovigilancia, mientras que el Parlamento Europeo mantuvo durante mucho tiempo en sus posiciones más favorables a los derechos civiles, se alcanzó un acuerdo histórico sobre la Ley de la IA (58) , al que siguieron debates técnicos para ultimar el texto. La búsqueda de un delicado equilibrio entre la seguridad, el respeto a los valores europeos, el fomento de la innovación e incluso la consideración de los «riesgos identificables» exigieron extensos debates, caracterizados por sesiones maratonianas de carácter profundamente técnicos, siendo la consecución de un consenso de suma importancia, no solo desde una perspectiva estratégica, sino también en términos de timing.

El 26 de enero de 2024, se publicó el texto final de compromiso de la Ley IA que sería adoptado por el Parlamento Europeo y en el que la mayoría de los parlamentarios votó a favor de la ley el 12 de marzo de 2024 en Estrasburgo. Por el momento disponemos de un texto consolidado no oficial (59) .

A partir de aquí la Ley IA se erige como la pieza maestra del complejo bloque normativo del Derecho digital europeo, junto con normas como el RGPD (60) y la Directiva NIS (61) a las que se agregarán el por ahora proyecto Directiva sobre responsabilidad en materia de IA (62) y la propuesta de revisión de la Directiva sobre responsabilidad por productos defectuosos de 2022 (63) .

7. Periodo transitorio y entrada en vigor

18. La Ley IA está actualmente bajo revisión final por parte de expertos jurídicos y lingüísticos en el marco del llamado procedimiento de corrección y es probable que sea adoptado antes de que concluya la presente legislatura.

Bien entendido que tras su entrada en vigor, la Ley IA no será inmediatamente aplicable, sino que estará sujeta a un periodo de transición y aplicación gradual y escalonado, en virtud del cual será plenamente aplicable 24 meses después de su entrada en vigor, con excepción de: las prohibiciones de prácticas prohibidas (6 meses después de la entrada en vigor), los códigos de conducta (9 meses después de la entrada en vigor), las normas de IA de uso general (12 meses después de la entrada en vigor) y las obligaciones para los sistemas de alto riesgo (36 meses después de la entrada en vigor).

Hasta entonces, se seguirá trabajando a nivel técnico para perfeccionar y desarrollar el texto legal sobre la base del acuerdo provisional. Está previsto que el Reglamento entre en vigor dos años después de su adopción y publicación oficial. No obstante, algunas disposiciones se aplicarán antes:

Los Estados miembros todavía la oportunidad de influir en la aplicación de la Ley IA, dado que la Comisión Europea tendrá que promulgar unos 20 actos normativos de carácter complementario que serán fundamentales para definir los detalles específicos de cómo se implementarán y ejecutarán las disposiciones de la ley en la práctica. Por consiguiente, el proceso de implementación y aplicación aún está en marcha, brindando a los países miembros la oportunidad de contribuir y dar forma a cómo se llevará a cabo en la práctica, y asegurando que se aborden adecuadamente los desafíos y oportunidades que presenta la IA en la sociedad europea (64) .

19. Para salvar el periodo transitorio hasta que el Reglamento sobre IA sea totalmente aplicable, la Comisión ha puesto en marcha el Pacto sobre IA (65) con el propósito de fomentar la pronta aplicación de las medidas previstas en la Ley IA. Las empresas tendrán la oportunidad de demostrar y compartir su compromiso con los objetivos de la futura Ley IA y prepararse desde el principio para estar listos para su implementación. Más específicamente, el Pacto pretende alentar a las empresas a comunicar voluntariamente los procesos y prácticas preparativas que están implementando para el cumplimiento de los compromisos, garantizando que el diseño, el desarrollo y el uso de la IA sean confiables antes de que finalicen los plazos legales en 2026. También persigue promover una normativa normalizada a nivel mundial.

Dentro de los objetivos del Pacto las empresas pueden anunciar y compartir su compromiso con los objetivos de la Ley IA desde el principio y prepararse para su implementación. Los compromisos de la industria consistirán en declaraciones de compromiso para trabajar hacia el cumplimiento de esta disposición, con detalles sobre acciones concretas planificadas. Estos compromisos se recogerán y publicarán para aumentar la visibilidad y la credibilidad de las tecnologías desarrolladas por las empresas participantes. El Pacto reunirá a agentes clave de la industria para intercambiar mejores prácticas y aumentar la conciencia sobre los principios de la futura ley y, en este marco, el Pacto permitirá a dichos participantes probar y compartir soluciones, dándoles una ventaja inicial. La Comisión colaborará con los participantes para construir una comprensión común de los objetivos de la ley, adoptar medidas concretas para su aplicación y distribuir conocimientos para demostrar una IA fiable y con esta finalidad ha publicado una convocatoria de interés para organizaciones dispuestas a participar y se reunirá con las partes interesadas para debatir las ambiciones y recopilar ideas preliminares. Desde muchos sectores implicados se considera que el Pacto ha sido una buena iniciativa de la Comisión en la búsqueda del compromiso voluntario de la industria para anticipar el Reglamento de IA y comenzar a aplicar sus requisitos antes del plazo legal (66) .

20. Los partidarios celebraron la adopción de Ley IA como un acontecimiento de contenido previsor y correcto, ya que la UE había conseguido encauzar una materia tan compleja en la dirección correcta y en una fase temprana; sin embargo, los críticos alertaron que era demasiado pronto para regular esta nueva tecnología sin poder prever suficientemente sus futuras aplicaciones, apuntado que una regulación estricta inhibiría la innovación y fuese perjudicial para la industria europea de la IA en particular, además de conducir a un exceso de regulación. Una línea argumental a la formulada en su día con respecto al Reglamento General de Protección de Datos (LA LEY 6637/2016).

Sin embargo, la historia no acaba aquí. A lo largo de los próximos meses y años, la Ley IA se irá concretando y completando con el Derecho derivado de la UE, es decir, con los actos de ejecución y delegados que adopte la Comisión Europea. La UE también está ultimando las modificaciones de la Directiva de la UE sobre responsabilidad por productos defectuosos para adaptarla a la Ley IA de la UE y ha propuesto una nueva Directiva de la UE sobre responsabilidad por IA que facilitará las reclamaciones de indemnización de los consumidores por daños causados por la IA (67) .

En el momento en que se escriben estas líneas, la Ley IA, se está ultimando para que pueda adoptarse antes de las elecciones europeas de junio de 2024. Está llamada a convertirse en la primera ley del mundo que regule de forma exhaustiva la IA. El proyecto consta actualmente de unas 900 páginas, lo que para un ser humano supone todo un reto. En principio, la Ley IA pretende seguir un enfoque regulador basado en el riesgo. Ciertas aplicaciones de alto riesgo de la IA deben prohibirse por completo; y cuanto menos arriesgado sea un sistema de IA, menos estricta será su regulación. Además, funcionarios de la UE ya han comentado que la UE se plantearía desarrollar leyes de IA adicionales y más específicas tras las elecciones de la UE de junio de 2024

III. Marco general de la Ley IA

1. Enfoques reguladores

A) De carácter horizontal basado en el riesgo

21. La Ley IA forma parte de la estrategia digital de la UE y pretende crear mejores condiciones para el desarrollo y el uso de la IA. En términos generales, esta reglamentación busca establecer un entorno en el cual las tecnologías de IA sean seguras, transparentes, trazables, no discriminatorias, respetuosas con el medio ambiente y supervisadas por intervención humana, con el objetivo de prevenir cualquier consecuencia negativa o potencialmente catastrófica. Representa un paso decisivo en la regulación de la IA y pretende fomentar la innovación, reforzar la confianza en la IA y garantizar que la tecnología se utilice respetando los derechos fundamentales y la seguridad de los ciudadanos de la UE y constituye un hito significativo al ser la primera normativa exhaustiva en el mundo en el ámbito de la IA. En la medida en que la UE lidere el camino en la formulación de regulaciones sobre IA, el impacto de la Ley IA se proyectará más allá de sus fronteras configurándose como un modelo para prácticas de IA responsables y transparentes en todo el mundo (68) . Así, la UE desempeñará un papel crucial en la configuración de un futuro en el que la IA se utilice de manera ética y responsable en beneficio de la sociedad global (69) .

Porque el propósito fundamental de la Ley IA es asegurar el uso responsable y seguro de los sistemas de IA dentro de sus fronteras. Pero es esencial destacar también que esta legislación posee un alcance extraterritorial, abarcando no solo a las entidades que operan dentro de la UE, sino también a empresas con sede fuera del bloque que desarrollan y despliegan sistemas de IA dentro de territorios de la UE. Este enfoque integrador garantiza que todas las organizaciones que realicen actividades relacionadas con la IA en la UE cumplan con la normativa establecida por la Ley.

22. La Ley IA promueve un enfoque basado en el riesgo para categorizar las aplicaciones de IA y establecer zonas de seguridad reglamentarias (70) , un enfoque busca lograr un equilibrio entre la promoción de la innovación y el aseguramiento de prácticas éticas en el desarrollo y despliegue de sistemas de IA y, al adoptar ese enfoque, identifica y evalúa los riesgos asociados con diferentes aplicaciones de IA, lo cual permite clasificar las aplicaciones de IA en categorías según el nivel de riesgo que representan para los derechos fundamentales, la seguridad y otros aspectos relevantes. Por ejemplo, se pueden establecer requisitos más estrictos para los sistemas de IA considerados de alto riesgo, mientras que se aplican regulaciones más flexibles a los sistemas de bajo riesgo. Complementariamente, la creación de zonas de seguridad reglamentarias implica la definición de áreas específicas dentro del ámbito de la IA donde se aplican normativas y controles especiales para garantizar la seguridad y la ética en el uso de la tecnología. Estas zonas de seguridad pueden abarcar diferentes sectores y contextos, como la salud, la educación, el transporte, entre otros.

En conjunto, el enfoque basado en el riesgo y la implementación de zonas de seguridad reglamentarias buscan promover un desarrollo y despliegue responsables de la IA, fomentando la innovación mientras se protegen los derechos y valores fundamentales de las personas. Mediante la adopción de un enfoque basado en el riesgo, la Ley prohíbe los casos de uso de la IA que presentan niveles de riesgo inaceptables, al mismo tiempo que permite el despliegue de sistemas de IA de alto riesgo siempre que cumplan con requisitos obligatorios y se sometan a exhaustivas evaluaciones de conformidad ex ante. Este proceso de evaluación se aplica tanto con anterioridad a la introducción en el mercado de los sistemas de IA de alto riesgo como a lo largo de su ciclo de vida para garantizar un cumplimiento continuo. Y para asegurar el cumplimiento, la Ley IA incluye un régimen sancionador basado en multas de importante cuantía a las prácticas de IA prohibidas, al mismo tiempo que impone restricciones estrictas a las aplicaciones de IA de alto riesgo.

B) De carácter generalista

23. Entre un enfoque regulador de la IA la inteligencia artificial en su conjunto o, por el contrario, responder a las aplicaciones de la IAl en sectores específicos o áreas individuales, el legislador de la Unión, desde la Propuesta de la Comisión de 20121, optó decididamente por el primero, esto es, un enfoque normativo de carácter horizontal coexistente con otras acciones normativas de la propia UE reguladoras de aspectos como aspectos éticos, de responsabilidad y de derechos de autor.

El referido enfoque implica que las disposiciones incluidas en la Ley IA no están proyectadas para resolver problemas específicos o para superar barreras legales particulares, constituyendo en esencia disposiciones generales que establecen un marco normativo global, proporcionando un contexto de referencia para la operación de los sistemas de inteligencia artificial, tanto en el presente como en el futuro. En otras palabras, la regulación no se limita a sectores específicos, sino que aborda de manera integral el uso de sistemas de IA con el propósito de suministrar una respuesta proporcional al riesgo asociado con estos sistemas, regulando aquellos que generan riesgos significativos, mientras que deja espacio para la adopción de códigos de conducta en otros casos, lo cual puede tener implicaciones significativas en la regulación sectorial existente. Por ejemplo, puede condicionar o desplazar la normativa vigente en áreas como las relaciones laborales, donde el uso de la IA está cada vez más presente (71) . En resumen, se establece un marco regulatorio adaptado a la complejidad y diversidad de los sistemas de IA, priorizando la mitigación de riesgos significativos y fomentando prácticas responsables en todos los sectores donde se utilice esta tecnología.

C) De carácter transparente

24. Con la incorporación de requisitos de transparencia para los sistemas de IA que interactúan con seres humanos se pretende dar lugar a un cambio significativo en las prácticas de divulgación, no solo a nivel local, sino a escala global en sitios web y aplicaciones. Este enfoque fomentará una mayor transparencia y responsabilidad en las interacciones impulsadas por la IA, al garantizar que los usuarios estén informados sobre el funcionamiento y el propósito de los sistemas de IA con los que interactúan.

Priorizando la seguridad, la transparencia y la rendición de cuentas, la UE busca: a) fomentar un entorno donde las tecnologías de IA puedan prosperar al mismo tiempo que se protegen los derechos individuales y se garantiza un despliegue responsable de los sistemas de IA, erigiéndose así en un referente internacional para los sistemas de IA en diversos sectores e industrias; b) incrementar la responsabilidad y la transparencia en el ámbito de la IA instando a los proveedores de modelos fundamentales a cumplir con normas rigurosas, garantizando así la protección de los derechos de los usuarios; y, c) impulsar los avances éticos en la tecnología de la IA, promoviendo prácticas que respeten los principios éticos y los valores fundamentales en el desarrollo y uso de sistemas de IA.

En última instancia, la Ley busca establecer un marco regulatorio sólido que promueva la confianza en la IA y proteja los intereses de los ciudadanos en el contexto de la creciente adopción de esta tecnología.

2. Ámbitos de aplicación

25. Según la Ley IA, un sistema de IA se caracteriza por la capacidad de extraer conclusiones, es decir, puede hacer predicciones y tomar decisiones que influyan en entornos físicos y virtuales. Esto es posible gracias a técnicas como el aprendizaje automático y los enfoques basados en la lógica. Los sistemas de IA varían en su autonomía y pueden utilizarse de forma independiente o integrarse en productos, con lo que pueden adaptarse de forma independiente a través de su empleo. La definición de IA en la Ley IA es bastante amplia, lo que significa que un gran número de sistemas pueden entrar en el ámbito de aplicación de la normativa. Sin embargo, los considerandos que explican los textos reglamentarios de la Ley IA dejan claro que la definición no incluye los simples sistemas de software convencionales ni enfoques de programación basados únicamente en reglas establecidas por personas físicas para la ejecución automática de operaciones (72) .

• i. Ámbito competencial. La Ley IA de la UE estipula que aplica exclusivamente a los asuntos que entran en el ámbito de aplicación de la legislación de la UE, por lo cual las competencias de los Estados miembros o de las autoridades gubernamentales en materia de seguridad nacional no se verán limitadas en modo alguno. También quedan excluidos los sistemas de IA que sirvan exclusivamente a fines militares o de defensa (73) o que se utilicen únicamente para la investigación y la innovación, los modelos de código abierto y los sistemas utilizados por particulares con fines no comerciales. Cabe recordar que, como hemos señalado, la Ley de la IA se aplica a los productos de los sistemas de IA utilizados en la UE, incluso si los proveedores o implantadores de la IA no están establecidos en la UE. Siguiendo la técnica utilizada por el art. 3 RGPD (LA LEY 6637/2016) (74) .
• ii. Ámbito material: Constituye la Ley un manifiesto a favor de una IA centrada en el ser humano al concebirse como un instrumento para la innovación, con sus raíces profundamente arraigadas en los valores europeos fundamentales y, a la vez, como un catalizador que impulsa el desarrollo y la integración de la inteligencia artificial, sin ignorar los riesgos y las posibles consecuencias negativas. Refleja un objetivo claramente definido: mantener un equilibrio entre el potencial económico y la protección de los ciudadanos frente a los efectos nocivos de estas tecnologías, por lo que va mucho más allá de lo técnico y toca las cuestiones clave de nuestro tiempo como el respeto de la dignidad humana. Pero la Ley IA no es una mera directriz de comportamiento ético, sino un conjunto de normas vinculantes que exige su cumplimiento con rigor y certeza. Más allá de las meras recomendaciones, la ley establece responsabilidades y consecuencias claras, haciendo que el cumplimiento de la normativa no sea una opción, sino una obligación. Para ello establece: a) amplios mecanismos de control que van desde las autoridades de vigilancia del mercado, que tienen derecho a comprobar e intervenir, hasta estrictos controles y procedimientos de autorización para los sistemas de IA que alberguen un alto potencial de riesgo; b) sanciones severas en caso de incumplimiento; y, c) un organismo de supervisión global. La esencia de este acto legislativo incluye las restricciones apropiadas cuando la inteligencia artificial amenaza con traspasar los límites esenciales de la libertad personal y los principios éticos, especialmente en ámbitos sensibles de aplicación, se establecen prohibiciones y directrices claras para garantizar la primacía humana en la sociedad europea. También contempla Intervenciones como la estricta prohibición de la vigilancia masiva total en espacios públicos y la creación de sistemas de puntuación social, que ya se están ensayando en otras partes del mundo. Se niegan estas prácticas invasivas rechazándolas claramente para salvaguardar la libertad personal y la intimidad de los ciudadanos europeos. Por último, la ley establece normas estrictas para el uso de tecnologías de IA que puedan tener acceso a datos sensibles, por ejemplo, en un contexto médico o jurídico, haciendo especial hincapié en la responsabilidad de los desarrolladores y usuarios de sistemas de IA de mantener la transparencia y considerar y regular cuidadosamente todas las interacciones, la toma de decisiones y la vulnerabilidad de los usuarios.
• iii. Ámbito personal. La Ley IA asume como objetivo responsabilizar a los implantadores y proveedores de sistemas de IA, al mismo tiempo que protege a los ciudadanos de la UE de los potenciales efectos nocivos que estos sistemas pueden tener en sus derechos fundamentales, salud y seguridad. Los «actores clave» de la regulación de la Inteligencia Artificial (IA), comprende principalmente dos grupos distintos: a) los que están protegidos; y b) los que deben rendir cuentas. Sin embargo, en algunos contextos, puede existir un solapamiento entre estos grupos. Por ejemplo, un implantador de un sistema de IA de alto riesgo podría ser considerado responsable de los daños involuntarios causados por su sistema, pero podría evitar sanciones si demuestra haber seguido adecuadamente la documentación técnica necesaria, así como haber implementado medidas de mitigación y prevención de riesgos. Estos casos suelen ser complejos y específicos de cada situación, por lo que quedan fuera del alcance de este artículo. No obstante, es importante tener en cuenta esta posibilidad. Los implantadores se definen como cualquier persona física o jurídica, incluida una autoridad pública, agencia u otro organismo, que utilice un sistema de IA bajo su autoridad, excepto cuando el sistema de IA se utilice en el curso de una actividad personal no profesional. En términos simples, los implantadores pueden ser prácticamente cualquier agente, desde individuos y empresas hasta entidades gubernamentales, que implementen sistemas de IA en un entorno profesional o de acceso público. Los proveedores abarcan la misma variedad de actores, pero difieren en el sentido de que no implementan activamente sistemas de IA, sino que los desarrollan con la intención de desplegarlos en la UE.
• iv. Ámbito territorial. Un problema bien conocido en la regulación de los avances digitales es que actualmente son precisamente las grandes empresas tecnológicas (Big Tech) las que establecen realmente las normas. Para evitar estas situaciones los implantadores y proveedores que no pertenezcan a la UE también son responsables según los requisitos de la ley, en la medida en que los resultados de sus sistemas estén destinados a ser utilizados en la UE. En efecto, la Ley IA tiene alcance extraterritorial. Esto significa que las organizaciones de fuera de la UE tendrán que cumplir la ley en determinadas circunstancias específicas al igual que las de dentro de la UE. Más concretamente, la Ley AI establece disposiciones para frenar esta tendencia al determinar que las normas de la UE pueden aplicarse «automáticamente» con un efecto extraterritorial limitado al aplicarse también a los proveedores de terceros países que comercializan sistemas de IA en la Unión y, lo que es aún más importante, a los proveedores y usuarios de sistemas de IA ubicados en un tercer país cuando el resultado del sistema de IA se utiliza en la Unión (75) . Sin embargo, en ciertos casos, las autoridades públicas de los países asociados pueden quedar exentas de estas responsabilidades.
• v. Ámbito temporal. Desde una perspectiva general, la Ley de Inteligencia Artificial (AIA) se configura como un «reglamento», no como una «directiva» y al igual que el Reglamento General de Protección de Datos (LA LEY 6637/2016), una vez entre en vigor, lo hará en una fecha específica en los 27 Estados miembros de la UE y tendrá fuerza legal vinculante en toda la región. A diferencia de la directiva, que establece los objetivos que cada Estado miembro debe alcanzar sin indicar cómo transponerlos a las leyes nacionales, un reglamento proporciona instrucciones directas y uniformes que deben seguirse en todos los países de la UE. Además, las disposiciones de la Ley IA que otorgan derechos a las personas y cuenten con un contenido claro, preciso e incondicional tendrán efecto directo. Esto implica que tanto personas físicas como jurídicas podrán invocar esos derechos directamente ante los juzgados y tribunales nacionales, sin necesidad de esperar a que se adopten medidas adicionales a nivel nacional para su aplicación.

3. Exclusión del Derecho internacional privado

26. La regulación de los sistemas IA a nivel global ha sido abordada con detalle en la Ley, si bien, curiosamente, se ha prestado poca atención a los posibles problemas que podrían surgir en el ámbito del Derecho internacional privado, aunque esta carencia no afecta por igual a todos los sectores regulados por este ordenamiento, ya que el Reglamento Roma II puede aplicarse eficazmente en relación con los sistemas de IA, especialmente en casos de daños causados por ellos. Esto se debe en gran medida a que este instrumento se basa en factores de conexión que no dependen únicamente de la ubicación de la víctima, sino también de la localización de la propia IA. Sin embargo, las características particulares de la IA, como su complejidad, opacidad y comportamiento semiautónomo, plantean desafíos en cuanto a la determinación del Derecho aplicable. La naturaleza virtual de la IA y los daños que puede causar pueden generar problemas de localización, estos no son exclusivos de la IA y pueden resolverse mediante la creación de ficciones jurídicas y la búsqueda de conexiones con elementos del mundo real. En todo caso la llegada de la IA está provocando un cambio significativo en la asignación de responsabilidades en el ámbito del régimen de responsabilidad civil que se centra en la difícil tarea de determinar quién es responsable de qué a lo largo de la «cadena de producción» de los sistemas de IA. La opacidad inherente a muchos sistemas de IA, especialmente aquellos que emplean técnicas de aprendizaje automático, plantea desafíos sustanciales para identificar quién tiene el control y, en última instancia, quién es responsable en caso de daño o perjuicio. La complejidad y la autonomía de estos sistemas pueden hacer que sea difícil atribuir la responsabilidad a una sola parte, ya sea el desarrollador, el proveedor, el operador o incluso el usuario final. Semejante desafío suscita la necesidad de revisar y adaptar el marco legal existente para abordar adecuadamente las nuevas realidades creadas por la IA, como el establecimiento de normativas y estándares de transparencia y responsabilidad para los desarrolladores y usuarios de IA, la implementación de mecanismos de trazabilidad para rastrear la responsabilidad a lo largo de la cadena de producción, y la creación de sistemas de supervisión y control para mitigar los riesgos asociados con la opacidad de los sistemas de IA (76) .

La situación es distinta en lo que respecta a las cuestiones de competencia judicial internacional. La Ley IA y el régimen de responsabilidad civil que la acompaña no insertan normas sobre jurisdicción que se adapten al carácter extraterritorial de la ley, lo que significa que no garantizan una adecuada aplicación en casos contra proveedores, operadores y usuarios de sistemas de IA de terceros Estados. Dado que las acciones contra demandados de terceros Estados no están cubiertas por el ámbito de aplicación del Reglamento Bruselas Ia, esto podría dejar a los demandantes sin recurso ante un tribunal de un Estado miembro. Por lo tanto, una regulación adecuada para todos los casos que caen bajo el ámbito de aplicación de la Ley IA requiere normas sobre el acceso a la justicia que aborden estos vacíos y garanticen un recurso adecuado para todas las partes involucradas (77) .

IV. Categorización de los riesgos

1. Cuantificación

27. A pesar de los beneficios sustanciales que los sistemas de IA aportan a individuos y sociedades, tanto en términos económicos como en la potencial mejora de las condiciones de vida y emancipación, es innegable que también conllevan consigo una serie de riesgos potenciales y pueden dar lugar a efectos negativos, algunos de los cuales pueden resultar difíciles de anticipar, identificar o cuantificar. Estos riesgos comprenden una amplia gama de áreas, incluidas dimensiones fundamentales de la vida democrática, el Estado de Derecho, la justicia distributiva e incluso el ámbito de la propia mente humana y no solo se limitan a las implicaciones tecnológicas o económicas, sino que también se extienden a cuestiones éticas, sociales y políticas de gran envergadura. Por ejemplo, el uso indebido de la IA es susceptible de: a) socavar los procesos democráticos al influir en la formación de opiniones públicas o al permitir la manipulación de elecciones (78) ; b) introducir sesgos algorítmicos injustos en el ámbito judicial, afectando negativamente a la equidad y a la justicia distributiva en la aplicación de la ley; y, c) afectar a valores tan arraigados como el género, la etnia o la raza, perpetuando condiciones de la discriminación y de exclusión. La falta de transparencia en los algoritmos y la opacidad en los procesos de toma de decisiones representan otro riesgo importante, ya que ponen en peligro la propia confianza en los sistemas de IA. Por último, la automatización de las relaciones entre el gobierno y los ciudadanos, así como la creación de extensas bases de datos de vigilancia, plantean preocupaciones adicionales sobre la protección de la privacidad y los derechos civiles.

No puede extrañar, pues, la preocupación en torno a que la proliferación de la IA pueda impactar la percepción y comprensión de la realidad, influyendo en la forma en que las personas procesan la información y toman decisiones. Esto plantea interrogantes sobre la autonomía individual y la integridad de la mente humana frente a la influencia de algoritmos y sistemas automatizados.

Frente a estos desafíos, la necesidad urgente de gestionar de manera adecuada los algoritmos de IA contribuye a fortalecer la confianza y la transparencia en estos sistemas para garantizar que se utilicen de manera ética y responsable. Resulta, pues, imperativo que se adopten medidas adecuadas para mitigar los riesgos asociados con el desarrollo y la implementación de la IA. Estas medidas deben: a) ser proporcionales a la magnitud del riesgo identificado; b) abordar tanto las dimensiones técnicas como las éticas y sociales de manera integral; c) incluir la implementación de marcos regulatorios sólido y la promoción de la transparencia; y d) propiciar una participación ciudadana informada y activa en la formulación de políticas tecnológicas.

En última instancia, la mitigación de los riesgos de la IA requiere un enfoque holístico y colaborativo que reconozca la complejidad de los desafíos involucrados y esté orientado hacia la promoción del bienestar humano y el respeto de los derechos fundamentales en la era digital (79) .

28. Con carácter general la Ley IA afecta a empresas de casi todos los sectores y tamaños que tengan previsto utilizar la IA (80) y prevé una diferenciación de los sistemas de IA basada en el riesgo, Aunque la mayoría de los sistemas de inteligencia artificial presentan un riesgo bajo o nulo, algunos de ellos conllevan peligros que requieren ser abordados para prevenir situaciones no deseadas (81) . Por ejemplo, la opacidad inherente a muchos algoritmos puede generar incertidumbre y dificultar la aplicación efectiva de la legislación vigente en términos de seguridad y protección de los derechos fundamentales. Por eso resulta esencial la implementación de marcos regulatorios sólidos, la promoción de la transparencia y del control en el diseño y el uso de sistemas de IA, así como el fomento de un diálogo inclusivo y multidisciplinar que involucre a diversos actores, desde expertos en tecnología hasta representantes de la sociedad civil y los usuarios finales.

El enfoque adoptado por la Comisión Europea se fundamenta en un modelo de gestión de riesgos, que se inicia con la clasificación de tres posibles categorías de riesgo, seguido por la especificación de métodos destinados a mitigar los diferentes riesgos asociados a cada una de ellas. En los casos más graves, se contempla la prohibición de los sistemas; para aquellos sistemas considerados de alto riesgo, se implementa un procedimiento complejo y detallado para la gestión y seguimiento continuo de los riesgos; y, por último, para los sistemas de riesgo moderado, se prevén obligaciones de transparencia. Este enfoque busca proporcionar un marco adecuado para abordar los desafíos emergentes relacionados con la inteligencia artificial, asegurando un equilibrio adecuado entre la innovación y la protección de los derechos fundamentales.

Esto significa que la normativa varía en función del riesgo que pueda plantear un sistema particular de IA. Cuanto mayores sean los riesgos potenciales de una aplicación, mayores deberán ser los requisitos exigibles. En esta dirección, la Ley IA adopta un enfoque basado en el riesgo para categorizar los sistemas de IA a partir del cual no ellos reciben el mismo trato. En primer lugar, se distingue entre modelos de IA «convencionales» e «IA de propósito general» (GPAI). Esta última es relativamente nueva desde la aparición de los sistemas de IA generativa y se trata como un tema aparte (véase más adelante).

29. Acaso la característica más destacada e innovadora de la Ley IA es su estructura de clasificación de riesgos por niveles. Esta estructura está diseñada para cumplir dos objetivos principales de alto nivel de la ley: promover la innovación en el campo de la IA y obtener beneficios de esta tecnología, al mismo tiempo que garantiza la seguridad y el bienestar humanos, así como los derechos fundamentales, la democracia y los valores de la Unión.

La Ley IA de la UE se centra en los sistemas de IA, los cuales se definen por su capacidad para inferir formas de alcanzar objetivos establecidos por los seres humanos utilizando métodos como el aprendizaje automático y enfoques lógicos o basados en el conocimiento, que incluyen la Inteligencia Artificial General (GPAI). Estos sistemas se clasifican en función del grado de riesgo que representan, teniendo en cuenta el perfil de riesgo inherente al sistema en sí mismo como producto independiente o como componente de otro producto, así como la función específica que desempeña dentro de un ámbito concreto de alto riesgo o alto impacto, como la sanidad o la educación.

Esta estructura proporciona un marco claro y coherente para regular los diferentes tipos de sistemas de IA de acuerdo con su nivel de riesgo, lo que permite abordar los desafíos y riesgos específicos asociados con cada categoría, al tiempo que se fomenta la innovación y se aprovechan los beneficios de la IA de manera responsable y ética.

Como puede observarse, las categorías de riesgo van de «inaceptable» a «alto», pasando por «bajo o mínimo». Los sistemas con un riesgo inaceptable están prohibidos, mientras que los que presentan un riesgo mínimo no están sujetos a ningún requisito. Por tanto, la legislación propuesta se centra claramente en los sistemas de IA de alto riesgo, que están sujetos a numerosas normas de cumplimiento. Los proveedores de tales sistemas deben, por ejemplo, llevar a cabo una evaluación de conformidad y emitir después una declaración de conformidad.

2. Clasificación

30. El enfoque basado en el riesgo de la regulación de los sistemas de IA conduce a una división en diferentes categorías. Se distingue entre sistemas de IA prohibidos, sistemas de IA de alto riesgo y otros sistemas de IA.

i. Sistemas con riesgo inaceptable. El primer nivel consiste en sistemas con un riesgo inaceptable y se amplió considerablemente la lo largo de las negociaciones incluyendo aplicaciones de reconocimiento facial en tiempo real. Los sistemas se incluyen en esta rúbrica si se consideran una amenaza para los seres humanos. En general, esta forma de IA está prohibida. Incluye sistemas que manipulan el comportamiento de las personas o de determinados grupos vulnerables (por ejemplo, juguetes controlados por voz que influyen en el comportamiento de los niños). La puntuación social, la identificación y categorización biométrica de individuos y la identificación biométrica remota en tiempo real (por ejemplo, el reconocimiento facial) también están categóricamente prohibidas. Sólo hay algunas excepciones con fines policiales. Todos los sistemas de IA que entran en la categoría más alta están expresamente prohibidos —esto incluye, por ejemplo—, sistemas para reconocer emociones en el lugar de trabajo o en instituciones educativas. Los sistemas prohibidos incluyen los sistemas de evaluación social, la manipulación del comportamiento, el control policial predictivo, la derivación de emociones y similares (82) . Los sistemas de IA de alto riesgo incluyen, por ejemplo, los ámbitos de la biometría, las infraestructuras críticas, la educación (83) y la formación, la gestión y selección de candidatos, la aplicación de la ley y los procedimientos de asilo (84) . También se ven afectados los sistemas de IA que se van a utilizar en ámbitos que entran dentro de otras normativas. Se trata de máquinas, juguetes, vehículos, tecnologías de radio y dispositivos médicos. En este caso, las empresas afectadas se ven amenazadas por la doble regulación de la Ley IA y el reglamento especial correspondiente.

Sin embargo, se prevén toda una serie de excepciones en la persecución penal, por ejemplo, en la búsqueda de personas en delitos graves. La identificación retrógrada, es decir, la identificación de personas a posteriori, también está permitida en determinadas condiciones, por ejemplo en caso de amenaza terrorista o de búsqueda selectiva de personas sospechosas de delitos graves.

ii. Sistemas de IA de alto riesgo. También se presta especial atención a las aplicaciones de alto riesgo, como las utilizadas en infraestructuras críticas, por las autoridades de seguridad o en la gestión de recursos humanos. Esta categoría incluye los sistemas de IA que tienen un «potencial significativo de daño» para la democracia (85) , la salud o la seguridad, por ejemplo. Existe una serie de normas para ellos, así como mecanismos de denuncia para los afectados. Lo que tienen en común estos sistemas es que suponen un alto riesgo para la salud y la seguridad o los derechos fundamentales de las personas físicas. Para estas categorías se definen requisitos estrictos, como el control humano de los sistemas de IA, una documentación técnica detallada y un sofisticado sistema de gestión de riesgos. Algunos sistemas de IA que presentan un alto riesgo para la salud, la seguridad o los derechos fundamentales de las personas están autorizados en el mercado europeo, pero bajo condiciones estrictas. La clasificación de un sistema de IA como de alto riesgo se basa en su función, pero también en su finalidad y en las formas específicas en que se utiliza. Se distinguen dos categorías principales de sistemas de alto riesgo: a) los destinados a ser utilizados como componentes de seguridad de productos que ya están cubiertos por la legislación armonizada de la UE sobre la seguridad de los productos y que están sujetos a una evaluación de conformidad por un tercero antes de su comercialización o puesta en servicio, como los juguetes, las máquinas o los productos sanitarios; y b) los que son sistemas autónomos susceptibles de violar los derechos fundamentales de la UE. Esta última hipótesis se refiere en particular a los sistemas que intervienen en la identificación biométrica; las infraestructuras críticas; la educación y la formación profesional; el empleo; el acceso a los servicios públicos —incluidas las prestaciones sociales— y a los servicios privados esenciales; la migración, el asilo y el control de fronteras (86) , así como la justicia y los procesos democráticos.

Estos sistemas de alto riesgo están sujetos a una evaluación de conformidad, antes de su comercialización o puesta en servicio; posteriormente, cualquier «modificación sustancial» del sistema debe someterse también a una nueva evaluación de conformidad. Los sistemas que cumplan los requisitos de conformidad obtendrán una «marca de conformidad CE» y se registrarán en una base de datos de la UE.

En un ámbito dominado por una carrera hacia una tecnología cada vez más sofisticada, la propuesta de Reglamento también faculta a la Comisión para adoptar actos delegados que amplíen la lista de sistemas de IA de alto riesgo, aplicando una serie de criterios y un método de evaluación de riesgos.

Los ejemplos de casos de uso de alto riesgo están definidos en el anexo III y comprenden: a). Datos biométricos, en la medida en que su uso esté permitido por la legislación nacional o de la Unión pertinente; b) componentes de seguridad en la gestión y explotación de infraestructuras digitales críticas, el tráfico por carretera y el suministro de agua, gas, calefacción y electricidad; c) educación y formación profesional, para determinar el acceso o la admisión a instituciones educativas, para ser utilizados para evaluar los resultados del aprendizaje, o para evaluar el nivel adecuado de educación; d) empleo, gestión de trabajadores y acceso al autoempleo; e) acceso y disfrute de los servicios privados esenciales y de los servicios y prestaciones públicas esenciales; f) fuerzas y cuerpos de seguridad, en la medida en que su uso esté permitido por la legislación nacional o de la Unión pertinente; g) gestión de la migración, el asilo y el control de fronteras, en la medida en que su uso esté permitido por la legislación nacional o de la Unión pertinente; h) administración de justicia y procesos democráticos.

iii. Sistemas de IA con riesgo limitado o mínimo. Los sistemas de IA con riesgo limitado, como los chatbots, sólo tienen que cumplir requisitos básicos de transparencia (87) . Los usuarios deben poder tomar decisiones con conocimiento de causa y considerar si quieren seguir utilizando la IA después de interactuar con ella. Los requisitos de transparencia incluyen, por ejemplo, que se informe a los usuarios cuando interactúen con una IA. En la categoría de riesgo más bajo se encuentran los sistemas de IA con riesgo mínimo. Entre ellos están los videojuegos o los filtros de spam. La Ley IA no regula esta categoría y debe tenerse en cuenta que en la actualidad la gran mayoría de los sistemas de IA sólo presentan un riesgo mínimo.

Como puede suponerse la clasificación descrita de los sistemas de inteligencia artificial en distintos tipos de riesgo será inevitablemente objeto de revisión, tal y como prevé el propio Reglamento. Se desarrollarán nuevos sistemas que aún no están contemplados en la propuesta y se crearán nuevos métodos para implementar los sistemas existentes, alterando así el nivel de riesgo.

3. Requisitos más estrictos para la IA de alto riesgo

31. Por lo tanto, los sistemas que se consideren especialmente de alto riesgo y se utilicen en infraestructuras críticas o en los sectores educativo y sanitario, por ejemplo, deberán cumplir requisitos estrictos.

i. Aplicaciones de IA que vulneren los valores de la UE. Determinadas aplicaciones de IA que vulneren los valores de la UE quedarán totalmente prohibidas. Entre ellas figura, por ejemplo, la evaluación del comportamiento social (social scoring) (88) . Algunos usos de los sistemas de IA, que presentan un riesgo considerado inaceptable, están prohibidos. Se trata de usos contrarios a los valores de la Unión y susceptibles de violar los derechos fundamentales. Se trata de prácticas que presentan un riesgo significativo de manipular a las personas mediante técnicas subliminales que actúan sobre su subconsciente, o de explotar las vulnerabilidades de grupos vulnerables específicos, como los niños o las personas con discapacidad, con el fin de alterar significativamente su comportamiento de una manera que pueda causar daños psicológicos o físicos a un miembro de estos grupos o a un tercero90.

ii. También están prohibidas la clasificación social basada en la IA con fines generales por parte de las autoridades públicas y el uso de sistemas de identificación biométrica a distancia «en tiempo real» en zonas de acceso público con fines policiales. Sin embargo, existen varias excepciones a esta última prohibición, cuando la IA se utiliza con fines policiales en situaciones de especial gravedad. No obstante, la posibilidad de utilizar estos sistemas en situaciones de excepción está sujeta a la autorización de un juez o de una autoridad administrativa competente y debe haberse establecido previamente en la legislación nacional utilizar la IA para explotar las vulnerabilidades de las personas, utilizar la IA para manipular a las personas mediante técnicas subliminales, puntuación social (con excepciones limitadas); la predicción de la probabilidad de que un individuo cometa un delito penal basándose únicamente en la elaboración de perfiles de sus rasgos y características de personalidad, entre otras.

iii. Reconocimiento de emociones en el lugar de trabajo y en los centros de enseñanza. El reconocimiento de emociones es un campo en constante evolución que se centra en la capacidad de identificar y comprender las emociones humanas a través de una variedad de señales, incluidos cuestionarios, señales físicas y señales fisiológicas. Este campo ha ganado atención significativa en los últimos años debido a sus diversas aplicaciones en una amplia gama de industrias y disciplinas. Algunas de las áreas de aplicación más destacadas del reconocimiento de emociones incluyen: la atención sanitaria para ayudar en el diagnóstico y tratamiento de trastornos mentales como la depresión, la ansiedad y el trastorno del espectro autista o las respuestas de los consumidores a productos, servicios y campañas de marketing. Si bien el reconocimiento de emociones ofrece oportunidades significativas para mejorar la interacción entre humanos y tecnología, así como para comprender mejor el comportamiento humano en una variedad de contextos, plantea desafíos éticos y de privacidad que deben abordarse de manera responsable a medida que estas tecnologías continúan desarrollándose y siendo implementadas en la sociedad (89) . Por esa razón la Ley IA prohíbe el reconocimiento de emociones en el lugar de trabajo y en los centros de enseñanza.

iv. Reconocimiento biométrico y programas de texto e imagen como ChatGPT, entre otros (90) . Los operadores deberán etiquetar los textos, sonidos e imágenes generados con IA para no inducir a error a las personas. Dentro de la categoría de sistemas de IA de alto riesgo se incluye la identificación biométrica a distancia, por ejemplo, en forma de software de reconocimiento facial que analiza imágenes de cámaras de vigilancia. Los sistemas biométricos unimodales utilizan únicamente rasgos biométricos para autenticar al usuario, lo cual es digno de confianza, pero posee diversas limitaciones por lo cual la vigilancia biométrica no debe generalizarse y, en principio, tampoco debería permitirse el reconocimiento facial en espacios públicos, por ejemplo, mediante videovigilancia. Sin embargo, hay excepciones: La policía y otras autoridades de seguridad estarán autorizadas a utilizar este tipo de reconocimiento facial en espacios públicos para perseguir delitos muy concretos, como la trata de seres humanos o el terrorismo (91) .

v. En el futuro, será necesaria una orden judicial para el reconocimiento facial en estaciones de tren u otros lugares públicos. La vigilancia masiva mediante datos biométricos, como en China, estará en principio prohibida. Por el momento, la Ley IA ofrece lagunas y el hecho de que el reconocimiento facial y de emociones esté permitido en determinadas situaciones ofrece lagunas y el gran enfoque de la ley en los sistemas de alto riesgo deja prácticamente sin regular muchas pequeñas aplicaciones que sólo plantean un pequeño riesgo. Al final, ni siquiera sabemos qué nos deparará el desarrollo de la IA.

vi. Comportamiento de los consumidores. La IA está teniendo un impacto significativo en el comportamiento de los consumidores y en la manera en que las empresas interactúan con ellos transformando con ello diversos aspectos del proceso de compra y moldeando las expectativas y preferencias de los consumidores de formas nuevas e interesantes. Algunas formas en las que la IA está influyendo en el comportamiento de los consumidores incluyen: a) personalización, permitiendo a las empresas recopilar y analizar grandes cantidades de datos sobre los consumidores, lo cual repercute en experiencias de compra altamente personalizadas; a) asistentes virtuales impulsados por IA, como los chatbots y los agentes de voz pueden proporcionar respuestas rápidas a preguntas comunes, ayudar en la navegación del sitio web y facilitar el proceso de compra; c) análisis predictivo mediante el análisis de datos históricos y patrones de comportamiento, permitiendo permite anticipar las necesidades y preferencias de los clientes y ajustar sus estrategias de marketing y ventas en consecuencia; y d) automatización del marketing en una amplia gama de actividades el envío de correos electrónicos personalizados hasta la segmentación de audiencias y la optimización de campañas publicitarias. Esto permite a las empresas llegar de manera más eficiente a sus clientes y aumentar la relevancia de sus mensajes.

V. Otros aspectos particulares abordados

1. Obligaciones de transparencia de los proveedores e implantadores de determinados sistemas de IA y modelos GPAI

32. La transparencia como concepto general es polifacética y ha sido objeto de estudio y aplicación en diversas disciplinas a lo largo del tiempo, especialmente desde la década de los noventa. Sin embargo, es importante distinguir entre la transparencia en el ámbito de la IA y la transparencia algorítmica. La primera se refiere a la capacidad de entender cómo funcionan los sistemas de inteligencia artificial en general, cómo se entrenan, cómo toman decisiones y cómo afectan a los usuarios y a la sociedad en su conjunto, mientras que la transparencia algorítmica se centra específicamente en hacer visibles los factores que influyen en las decisiones tomadas por los algoritmos, de modo que puedan ser comprendidos por las personas que utilizan, regulan y se ven afectadas por estos sistemas (92) , siendo su objetivo fundamental garantizar la exactitud y la equidad en las decisiones que afectan a las personas.

En definitiva, la transparencia algorítmica juega un papel crucial en garantizar que los sistemas basados en algoritmos tomen decisiones justas y equitativas en una variedad de contextos, incluyendo, entre otros: a) la evaluación de la solvencia crediticia de los individuos; b) la selección de candidatos para puestos de trabajo; c) la adopción de decisiones sobre la progresión de los estudiantes; d) la asignación de beneficios gubernamentales, como subsidios o ayudas sociales; e) los sistemas de control fronterizo y seguridad; f) la vigilancia de las comunicaciones relacionada con la seguridad nacional; g) las inspecciones en estadios deportivos para detectar posibles amenazas. Todas estas actuaciones deben ser transparentes y basadas en datos objetivos, siendo crucial que los algoritmos utilizados sean transparentes para evitar sesgos y discriminaciones injustas para asegurar que las decisiones sean justas y no discriminatorias o erróneas, garantizando que se realicen dentro de los límites legales y respetando los derechos individuales (93) .

La transparencia se ha convertido en un principio básico de muchos marcos normativos, éticos y de seguridad de la IA, activos y futuros en todo el mundo, por lo que no es de extrañar que también sea uno de los principios básicos de la Ley IA y es fundamental para fomentar la confianza en estos sistemas y mitigar los riesgos de sesgos y discriminación injusta. No sólo se refiere a su grado de implantación en un sistema de IA sino a su finalidad, diseño, función y datos, y también a cómo se utiliza y a las repercusiones que genera. En otras palabras, la transparencia opera en más de un nivel del ciclo de vida de la IA, desde el desarrollo y la formación hasta el despliegue y la integración.

Las obligaciones de transparencia de la Ley IA afectan a los proveedores e implantadores de IA, incluidos los proveedores e implantadores de IA para fines generales y sistemas de IA de alto riesgo, que están sujetos a conjuntos de requisitos más matizados y estrictos. Sin embargo, antes de desglosar estas obligaciones, señalamos que, en el caso de la transparencia, existe una serie de exenciones normativas granulares que pueden aplicarse a determinados tipos de proveedores, implantadores o casos de uso de la IA; dado que un análisis de estas exenciones excedería el ámbito de este artículo, sugerimos a los lectores que deseen obtener más información sobre este tema que consulten el art. 52 Ley IA.

33. Las normas de transparencia para proveedores e implantadores de IA disponen lo siguiente:

• i. Los proveedores de IA cuyos sistemas interactúan directamente con los usuarios/consumidores deben garantizar que los usuarios/consumidores sean conscientes de su interacción con dicho sistema; en otras palabras, los proveedores de IA deben revelar a los usuarios/consumidores que están interactuando con la IA, y esta revelación debe ser inmediata, correspondiéndose con el primer momento de exposición o uso de un sistema de IA;
• ii. Los proveedores de IA generativa deben autenticar y revelar a los usuarios/consumidores los contenidos generados por la IA en los ámbitos sonoro, visual, de vídeo y de texto cuando interactúen con ellos; esta revelación debe ser inmediata, coincidiendo con el primer momento de exposición;
• iii. Los implantadores de IA cuyos sistemas se utilicen con fines de reconocimiento emocional y/o categorización biométrica deben informar a los afectados por dichos sistemas de: a) su utilización; y b) el papel de sus datos personales en el uso de dichos sistemas.
• iv. Los desarrolladores de IA generativa cuyos sistemas se utilicen para crear falsificaciones profundas deben revelar inmediatamente, en el primer punto de exposición, que dicho contenido ha sido generado o manipulado por IA. Cuando dichas falsificaciones profundas se generan con fines artísticos o creativos, esta norma sigue siendo aplicable, pero sólo en la medida en que la divulgación no comprometa la obra de arte o el disfrute público de la misma.
• v. Los implementadores de IA generativa cuyos sistemas se utilicen para informar al público sobre cuestiones de interés público (por ejemplo, noticias generadas por IA) deben autenticar inmediata y públicamente el contenido basado en texto como generado o manipulado por IA.

En su mayor parte, las exenciones a las que hemos aludido anteriormente se refieren principalmente a los sistemas autorizados y validados con fines policiales, aunque también se aplican exenciones más matizadas, en particular para los sistemas IA generativa. Por lo que respecta a estos últimos, la Oficina de IA está preparada para desarrollar un código, a nivel de la unión, que permita la detección y autenticación racionalizadas y eficaces de los contenidos generados por IA. Es importante señalar que las primeras iteraciones de este código surgirán a corto plazo y serán objeto de nuevas revisiones hasta que se normalicen o se consideren suficientes.

2. Medidas de apoyo a la innovación (regulatory sandboxes)

34. Ante el vertiginoso ritmo de avance del entorno tecnológico prolifera una herramienta en respuesta a la necesidad de agilidad denominada sandbox (94) , o entorno controlado de pruebas, promovidas y supervisa por las autoridades pertinentes, cuyo objeto es explorar de manera segura sistemas y modelos en un ámbito determinado, por ejemplo, en el sector financiero, con el fin de analizar su evolución y posibles impactos y diseñar una cobertura regulatoria adecuada de manera proporcionada. Los sandboxes regulatorios representan una innovadora estrategia jurídica experimental que busca fomentar la innovación al eximir temporalmente o modificar los requisitos normativos nacionales para un número limitado de participantes proporcionando un espacio seguro para que las empresas prueben productos y servicios innovadores, sin comprometer la integridad del sistema en su conjunto. Las premisas subyacentes de estos instrumentos son:

• i. Facilitar el progreso tecnológico y promover nuevas soluciones políticas a través de la colaboración entre reguladores e innovadores y, en el ámbito de la IA, su misión es conectar a las autoridades competentes con las compañías desarrolladoras de IA para definir de forma conjunta buenas prácticas a la hora de implementar la regulación europea de IA y garantizar su aplicación (95) .
• ii. Estimular el avance de la tecnología y catalizar el desarrollo de soluciones normativas más flexibles y adaptativas. Esto a su vez puede fomentar una mayor cooperación entre las partes interesadas y dar lugar a iniciativas de cumplimiento más innovadoras y eficaces. Si bien han tenido una breve pero significativa experiencia de implementación a nivel nacional en sectores como el financiero, energético, sanitario, de las telecomunicaciones y de la protección de datos, su verdadero potencial está empezando a ser reconocido a nivel de la UE (96) .
• iii. Suministrar a los reguladores nuevas herramientas de supervisión y experiencia práctica para detectar precozmente los riesgos y problemas emergentes o la posible necesidad de adaptar el marco jurídico aplicable o las normas técnicas armonizadas

Para que estos espacios aislados funcionen, deben hacerlo de manera uniforme y coherente en toda la UE, lo que requiere la participación de múltiples organismos y agentes a distintos niveles, desde la propia Comisión hasta las autoridades nacionales competentes y los proveedores de IA.

35. Tras una breve experiencia de aplicación nacional en los sectores financiero, energético, sanitario, de telecomunicaciones y de protección de datos, la UE consideró el potencial de los espacios aislados de regulación en la propuesta de Reglamento sobre IA de 2021 lo cual es buena prueba de su relevancia y potencial para promover el desarrollo responsable de la IA en Europa. A pesar de los avances logrados hasta el momento, persisten numerosas incógnitas y desafíos en el ámbito de la legislación experimental de la UE. Estos incluyen cuestiones relacionadas con la eficacia y la legitimidad de los sandbox regulatorios, así como la necesidad de establecer mecanismos claros de evaluación y control de su impacto a largo plazo. En este sentido, es fundamental continuar explorando y afinando esta herramienta innovadora en el contexto de la regulación europea, con el fin de aprovechar plenamente su potencial para promover la innovación y proteger los intereses de todas las partes involucradas.

Con el objetivo de fomentar la excelencia y la confianza en la investigación y la capacidad industrial, garantizando simultáneamente la seguridad y los derechos fundamentales, la Ley IA regula la implementación de medidas de apoyo a la innovación. Las autoridades nacionales tienen la facultad de crear sandboxes regulatorios para el desarrollo, entrenamiento, prueba y validación de sistemas de IA bajo su dirección, supervisión y asistencia (97) .

De acuerdo con el art. 53 Ley IA, los Estados miembros deben establecer al menos un espacio aislado de regulación de la IA a nivel nacional, operativo dentro de los 24 meses posteriores a la entrada en vigor, con la posibilidad de colaborar con otros Estados miembros. La Comisión puede brindar apoyo técnico y asesoramiento y se permitirá la participación en sandboxes existentes si ofrecen una cobertura nacional equivalente. Pueden establecerse sandboxes regionales o locales. El Supervisor Europeo de Protección de Datos también puede crear un espacio aislado de regulación de la IA para las instituciones de la UE. Los Estados miembros deben asignar recursos suficientes para este fin.

El objetivo de este precepto es mejorar la seguridad jurídica, fomentar la innovación y facilitar el acceso al mercado de la IA y, en lo que añade que los sandboxes, proporcionarán un entorno controlado para fomentar la innovación y facilitar el desarrollo y la validación de sistemas de IA innovadores, para lo cual las autoridades competentes: a) brindarán orientación, supervisión y apoyo, facilitando pruebas e informes de salida para demostrar el cumplimiento del Reglamento; y, b) coordinarán y cooperarán entre sí, y presentarán informes anuales sobre el progreso. La Comisión desarrollará una interfaz para interactuar con los sandboxes y solicitar orientación sobre la conformidad con el Reglamento.

Los procedimientos de planteamiento y ejecución de los sandboxes pueden ser regulados por la Comisión mediante actos de ejecución, abarcando aspectos como la elegibilidad, solicitud, selección, participación, seguimiento y salida. Los proveedores que cumplan con los criterios establecidos y sean seleccionados podrán participar en estas iniciativas con sujeción a un límite temporal, determinado por la escala del proyecto y basado en un plan específico, quedando exentos de sanciones administrativas por infracciones legales relacionadas con el sistema supervisado en el sandbox los participantes que cumplan con las condiciones establecidas y sigan las directrices de las autoridades.

Es importante señalar que la participación en un sandbox no limita los poderes de supervisión de las autoridades ni exime a los participantes de su responsabilidad en caso de causar daños durante su participación. Dentro del sandbox, y con el cumplimiento de las condiciones establecidas, se podrán utilizar datos personales obtenidos para otros propósitos si son esenciales para el desarrollo de sistemas de interés público en áreas como la salud, el medio ambiente y la seguridad.

Las autoridades nacionales acordarán con los participantes las condiciones para realizar pruebas en condiciones reales, garantizando el respeto a la seguridad, la salud y los derechos fundamentales. A este efecto la Ley IA establece términos y limitaciones para estas pruebas, incluyendo la aprobación previa y el registro del plan de pruebas, el consentimiento de los afectados y la reversibilidad de las decisiones tomadas, recibiendo los participantes un informe de salida que puede ser evaluado por organismos notificados en la evaluación de conformidad. Estos informes de salida estarán disponibles para la Comisión Europea y, en caso de acuerdo, también para el público en general.

Las autoridades nacionales elaborarán informes públicos anuales sobre los sandboxes implementados, que incluirán conclusiones, recomendaciones y buenas prácticas. Estos informes serán compilados y publicados por el Comité Europeo de IA en una plataforma electrónica unificada. Se han previsto medidas específicas para las pymes, incluyendo start-ups, tales como formación adaptada sobre el Reglamento, canales de comunicación específicos, apoyo para el cumplimiento del Reglamento, y publicación de información y mejores prácticas. Las microempresas no están obligadas a mantener un sistema de gestión de calidad, aunque sí deben gestionar los riesgos asociados a sus actividades (98) .

3. Gobernanza

36. La gobernanza algorítmica se refiere a las normas y prácticas que rigen la construcción y el uso de algoritmos integrados en tecnologías de IA diseñadas para un caso de uso específico. Esta gobernanza debe: a) ser multidisciplinaria y transversal, involucrando diversas disciplinas como la sociología, la política y la antropología; b) vincular a las distintas partes interesadas en un proyecto, incluyendo al usuario final; y, c) incorporar su nivel de comprensión de la tecnología y la ciencia algorítmica en general, así como sus derechos, obligaciones y responsabilidades con respecto al algoritmo en cuestión.

Con el objetivo de abordar estos aspectos, la Ley IA contempla la creación del Comité Europeo de IA, que estará integrado por un representante de cada Estado Miembro. El Supervisor Europeo de Protección de Datos actuará como observador, y la Comisión participará en el Comité sin derecho a voto. Además, el Comité contará con la asesoría de un grupo permanente de representantes de diferentes partes interesadas, que incluirá proveedores, usuarios, entidades notificadas, organizaciones civiles, entre otros actores relevantes. Esta estructura permite asegurar una perspectiva amplia y equilibrada en la toma de decisiones relacionadas con la gobernanza de algoritmos, garantizando la inclusión de diversos puntos de vista y considerando las implicaciones éticas, sociales, políticas y legales de los algoritmos de IA en el contexto europeo. Las tareas del Comité incluyen: a) recoger conocimiento técnico y regulatorio y mejores prácticas entre los Estados Miembros; b) asistir en la armonización de las pruebas de conformidad, del funcionamiento de los sandboxes y de las pruebas en condiciones reales; c) cooperar con organizaciones de expertos en servicios digitales, servicios financieros, competencia, seguridad de productos, ciberseguridad, protección de datos, protección de derechos, criptomonedas; d) publicar recomendaciones sobre especificaciones, estándares y guías; e) aconsejar a la Comisión cuando defina líneas maestras para implantar el Reglamento; f) asesorar a la Comisión cuando prepare actos de ejecución o delegados; g) asesorar a la Comisión en materias internacionales relativas a IA; h) sugerir a las autoridades nacionales de supervisión de mercado en materia de IA; i) contribuir a la evaluación de necesidades formativas de los Estados Miembros.

Cada Estado Miembro designará una autoridad notificadora y al menos una autoridad de supervisión de mercado en relación con el Reglamento de IA. Dichas autoridades deberán ser objetivas e imparciales, estarán dotadas de los recursos adecuados, e intercambiarán experiencia entre ellas. Estarán controladas por el Supervisor Europeo de Protección de Datos. Pueden coincidir en el mismo organismo (99) .

4. Base de datos de la UE para Sistemas de IA Autónomos de Alto Riesgo

37. Con el objetivo de facilitar la labor de la Comisión y de los Estados miembros en el ámbito de la IA, así como de incrementar la transparencia ante el público, se considera apropiado exigir a los proveedores de sistemas de IA de alto riesgo que registren sus sistemas en una base de datos de la Unión Europea (UE), que será creada y gestionada por la Comisión. Para ello la Comisión, en colaboración con los Estados miembros, establecerá y mantendrá esta base de datos de la UE que contendrá la información relativa a los sistemas de IA de alto riesgo registrados. Para definir las especificaciones funcionales de esta base de datos, la Comisión consultará a los expertos pertinentes, y al actualizar dichas especificaciones, consultará al Consejo de IA. La base de datos de la UE solo contendrá datos personales en la medida necesaria para recoger y procesar información de acuerdo con el Reglamento pertinente. Esta información incluirá los nombres y datos de contacto de las personas físicas responsables del registro del sistema y con autoridad legal para representar al proveedor o al implementador, según corresponda.

La responsabilidad de supervisar la base de datos de la UE recae en la Comisión, que proporcionará el apoyo técnico y administrativo adecuado a los proveedores, posibles proveedores e implementadores. La base de datos cumplirá con los requisitos de accesibilidad aplicables para garantizar su accesibilidad a las partes interesadas pertinentes.

5. Control posterior a la comercialización, intercambio de información, vigilancia del mercado

38. La Ley IA integra en el control posterior a la comercialización, intercambio de información, vigilancia del mercado de todas las actividades realizadas por los proveedores de sistemas de IA para recopilar y revisar la experiencia adquirida con el uso de los sistemas de IA que han comercializado o puesto en servicio. El objetivo principal de este seguimiento es identificar cualquier necesidad de aplicar medidas correctoras o preventivas necesarias de manera inmediata. En cumplimiento de esta disposición, los proveedores de sistemas de IA de alto riesgo implementarán un sistema de monitorización post-comercialización adecuado a los riesgos detectados, basado en un plan documentado que se ajuste al esquema propuesto por la Comisión Europea.

La premisa subyacente al seguimiento post-comercialización es simple: promover el desarrollo de un mercado de IA en la UA donde todos los sistemas de IA se consideren fiables, seguros y eficaces. Sin embargo, ejecutar esta tarea es compleja y lo será cada vez más a medida que los sistemas de IA, especialmente la IA generativa y la IA para fines generales, se vuelvan más sofisticados y comunes. Por tanto, es crucial contar con procedimientos sólidos de seguimiento posterior a la comercialización.

Las disposiciones de seguimiento post-comercialización de la Ley IA de la UE están dirigidas principalmente a dos tipos de agentes clave: los proveedores de IA y las Autoridades de Vigilancia del Mercado. Estas disposiciones establecen derechos y requisitos adicionales para ciudadanos individuales, implantadores de IA, la Comisión y la Oficina de IA, así como para los Estados miembros de la UE y las autoridades nacionales.

Este Título de la Ley IA de la UE describe contempla también procedimientos específicos para tratar los sistemas de IA que representan un riesgo nacional, así como los sistemas de IA conformes que, sin embargo, plantean un riesgo significativo. Estos procedimientos pueden complicar la aplicación de la ley y deben ser considerados con seriedad.

El objetivo del sistema de supervisión posterior a la comercialización es monitorear el funcionamiento de los sistemas de IA de alto riesgo durante toda su vida útil, asegurando que los proveedores e implantadores de IA mantengan el cumplimiento de las disposiciones de la Ley IA de la UE, incluso ante cambios normativos o evoluciones en el ecosistema de la IA. En ciertos casos, este sistema también puede ser utilizado para análisis más complejos, como el estudio de las interacciones entre varios sistemas de IA.

6. Códigos de conducta

39. La Ley IA reconoce la importancia de establecer códigos de conducta en colaboración con proveedores de modelos y partes interesadas, con miras a la eventual adopción de estándares y normas europeas armonizadas. Según el art. 69 de la mencionada ley, tanto la Oficina de la IA como los Estados miembros tienen la responsabilidad de fomentar y facilitar la creación de estos códigos de conducta, así como los mecanismos de gobernanza asociados, destinados a promover su aplicación voluntaria en sistemas de IA que no sean considerados de alto riesgo.

Estos códigos de conducta, diseñados para ser aplicados de manera voluntaria, pueden ser elaborados por proveedores individuales de modelos de IA, así como por organizaciones representativas, o una combinación de ambos, con la participación activa de implantadores y otras partes interesadas, incluyendo organizaciones de la sociedad civil y académicos. Su objetivo primordial es triple: a) promover la alfabetización en materia de IA, especialmente entre aquellos involucrados en su desarrollo, operación y uso; b) facilitar un diseño inclusivo y diverso de los sistemas de IA, fomentando la creación de equipos de desarrollo inclusivos y la participación activa de diversas partes interesadas en dicho proceso; c) evaluar y prevenir el impacto negativo de los sistemas de IA en personas o grupos vulnerables, abordando cuestiones como la accesibilidad para personas con discapacidad y la igualdad de género.

Es importante destacar que estos códigos de conducta pueden cubrir uno o más sistemas de IA, teniendo en cuenta la similitud de los objetivos previstos de los sistemas relevantes. Además, se espera que los códigos incorporen elementos de las directrices éticas europeas para una IA digna de confianza, así como criterios válidos para evaluar y minimizar el impacto de los sistemas de IA en la sostenibilidad medioambiental, incluyendo consideraciones sobre eficiencia energética y técnicas de diseño, formación y uso eficientes de la IA.

7. Régimen sancionador

40. Es fundamental que las empresas prioricen su comprensión de la Ley IA y su impacto en el cumplimiento normativo. Mantenerse actualizadas sobre la evolución de la normativa y las leyes relacionadas con la IA es esencial para evitar sanciones sustanciales y asegurar que las operaciones comerciales se ajusten a las regulaciones vigentes.

Dado que la IA está cada vez más integrada en diversos aspectos de la actividad empresarial, es crucial que las organizaciones comprendan cómo la Ley IA afecta a sus operaciones y qué requisitos deben cumplir para garantizar el cumplimiento normativo. Esto incluye la comprensión de las obligaciones específicas impuestas por la legislación, así como la implementación de medidas internas para garantizar el cumplimiento continuo. Por esta razón, las empresas deben estar preparadas para adaptarse a los cambios en la legislación y ajustar sus prácticas comerciales según sea necesario, lo cual puede implicar la revisión regular de las políticas y procedimientos internos para asegurar que estén alineados con los requisitos legales en constante evolución. En suma, mantenerse informado y estar al tanto de la evolución de la Ley IA de la UE es crucial para las empresas que operan en el espacio de la IA. Priorizar la comprensión y el cumplimiento de esta legislación es fundamental para evitar riesgos legales y garantizar el éxito a largo plazo en un entorno regulado

Del mismo modo que los sistemas de IA se clasifican en función de su riesgo, las sanciones máximas previstas en La Ley IA también se basan en la gravedad de la infracción. De acuerdo con su art. 71 los Estados miembros deben establecer un régimen de sanciones, incluyendo multas administrativas, para las infracciones, asegurando su efectividad, proporcionalidad y disuasión, considerando especialmente a las PYME. Las multas pueden llegar hasta 35 millones de euros o el 7% del volumen de negocios anual mundial para ciertas infracciones, y hasta 15 millones de euros o el 3% del volumen de negocios anual mundial para otras. Las sanciones también incluyen advertencias y medidas no pecuniarias. Los Estados miembros notificarán a la Comisión sus normas de sanciones y cualquier modificación. Se considerarán varios factores al imponer multas, incluida la gravedad y duración de la infracción, la cooperación con las autoridades y las medidas tomadas para remediarla. Las PYME tendrán multas reducidas y cada Estado miembro establecerá sus propias normas sobre multas administrativas para autoridades y organismos públicos. Por último, las garantías procesales deben ser respetadas en la aplicación de sanciones.

8. Aspectos institucionales

41. Desde la perspectiva de la UE se instituyen tres órganos, cuya composición y funciones son las siguientes:

• i. Oficina Europea de Inteligencia Artificial. La Decisión de la Comisión, de 24 de enero de 2024, creó la Oficina Europea de Inteligencia Artificial, como una nueva agencia dentro de la Comisión Europea, cuya misión es coordinar la aplicación de la ley en todos los Estados miembros de la UE (100) . Se centrará en los modelos de IA de propósito general, promoviendo los conocimientos especializados y las capacidades de la Unión Europea en el campo de la inteligencia artificial, al tiempo que contribuye a la aplicación centralizada de la legislación de la Unión en este ámbito. Específicamente, la Oficina se encargará de hacer cumplir y supervisar las nuevas normativas concernientes a los modelos de inteligencia artificial de uso general. Su labor abarca la elaboración de códigos de conducta destinados a detallar las disposiciones normativas, su participación en la clasificación de modelos con riesgos sistémicos y el seguimiento de la aplicación y el cumplimiento efectivos del Reglamento. Este último aspecto será facilitado por sus competencias para requerir documentación, llevar a cabo evaluaciones de los modelos, investigar a raíz de alertas y solicitar a los proveedores que implementen medidas correctivas.
• ii. Comité de IA. Formado por partes interesadas del mundo empresarial y la sociedad civil, proporciona información y garantiza que durante el proceso de aplicación esté representado un amplio espectro de opiniones. El Comité desempeñará un papel fundamental al formular recomendaciones y emitir dictámenes dirigidos a la Comisión sobre los sistemas de inteligencia artificial de alto riesgo, así como sobre otros aspectos relevantes vinculados a la implementación eficaz y uniforme de las nuevas normativas. Además, respaldará las actividades de normalización en este ámbito, contribuyendo así al desarrollo de estándares y prácticas que promuevan la seguridad, la transparencia y la responsabilidad en el despliegue de la inteligencia artificial en la sociedad (101) .
• iii. Foro Consultivo. Compuesto por expertos independientes, se encarga de identificar los riesgos sistémicos, orientar sobre la clasificación de los modelos y garantizar que las medidas de aplicación de la ley reflejen las últimas pruebas científicas.
• iv. Comisión Científica de Expertos Independientes. Su función es respaldar la aplicación y el cumplimiento del Reglamento en relación con los modelos y sistemas de inteligencia artificial de uso general. Además, los Estados miembros tendrán acceso al grupo de expertos, lo que permitirá una colaboración estrecha y una mejor coordinación en la implementación de las disposiciones normativas. Esta estructura proporcionará asesoramiento especializado y contribuirá a garantizar una aplicación coherente y eficaz del Reglamento en toda la Unión Europea.

A escala nacional los Estados miembros de la UE deben establecer o designar autoridades nacionales competentes responsables de hacer cumplir la ley. También deben velar por que todos los sistemas de IA cumplan las normas y reglamentos aplicables. Sus tareas incluyen: a) verificar que las evaluaciones de conformidad se realizan correctamente y a tiempo; b) designar a los «organismos notificados» (auditores externos) autorizados a realizar evaluaciones externas de la conformidad; c) coordinación con otras autoridades supervisoras a nivel nacional (v.gr., de banca, seguros, sanidad, automoción, etc.) y con la «Oficina de la UE para la IA» a nivel de la UE.

9. Otras cuestiones

A) Obligaciones de los Estados

42. Los Estados miembros tienen una responsabilidad crucial en la implementación y el seguimiento del cumplimiento de la Ley IA. En este sentido, cada Estado miembro está obligado a designar una o varias autoridades nacionales competentes encargadas de supervisar la aplicación y ejecución del mismo, así como de llevar a cabo actividades de vigilancia del mercado. Este enfoque garantiza una coordinación efectiva a nivel nacional para asegurar el cumplimiento adecuado y la aplicación coherente de las disposiciones establecidas en el Reglamento sobre inteligencia artificial. La Ley IA contiene numerosas disposiciones sobre la supervisión estatal. En el caso de los modelos de IA, es responsabilidad de la Oficina de IA, dependiente de la Comisión Europea.

Para los Estados miembros, esto significa que deben retirar gradualmente los sistemas prohibidos. Transcurridos dos años, todos los puntos de la ley deberán aplicarse plenamente. Por ejemplo, los Estados miembros deben decidir las sanciones si las empresas no cumplen la normativa y podría tratarse de multas. Esto significa ahora que primero deben eliminar gradualmente los sistemas prohibidos. Transcurridos dos años, todos los puntos de la ley deberán aplicarse plenamente. Por ejemplo, los Estados miembros deben decidir las sanciones si las empresas no cumplen la normativa, que podrían tratarse de multas. Los particulares que descubran infracciones de la normativa pueden denunciarlas a las autoridades nacionales que, de esta suerte pueden iniciar procedimientos de control e imponer sanciones si es necesario.

B) Implicaciones para las entidades proveedoras de sistemas

43. La introducción de la Ley IA tiene implicaciones de gran alcance para las organizaciones que desarrollan, proporcionan o utilizan sistemas de IA, que tendrán que hacer frente a la nueva normativa y realizar los ajustes oportunos. Para ello, las organizaciones deberán realizar en primer lugar un inventario y una evaluación de sus sistemas de IA actuales y previstos para determinar su clasificación en las categorías de riesgo de la Ley IA. A continuación, deben revisarse los procesos de desarrollo y, en caso necesario, adaptarlos para garantizar el cumplimiento de los requisitos de la Ley IA. También puede ser útil el establecimiento de sistemas de control interno y estructuras de gobernanza para supervisar el cumplimiento. Deben implantarse o mejorarse los procesos de gestión de riesgos para identificar y gestionar los posibles riesgos e impactos de los sistemas de IA.

Además, la formación de los empleados es esencial para crear conciencia y comprensión de los requisitos de la Ley IA, especialmente para los equipos que participan en el desarrollo y la aplicación de la IA.

VI. Proyecciones

1. Cooperación internacional

44. Posee la IA el gran potencial de aumentar los ingresos y mejorar el bienestar, pero también puede perturbar los mercados laborales y aumentar la desigualdad, lo cual acontece cuando se avanza en la comprensión de su impacto, sigue habiendo falta de información sobre sus dimensiones internacionales (102) . Es precisó por ello incrementar colaboración mundial para fomentar el desarrollo racional de la IA, compartir sus conocimientos y poner sus tecnologías a disposición del público en condiciones de código abierto. La investigación y desarrollo de IA es una tarea compleja que requiere muchos recursos, y su implementación escala es una ventaja importante, por eso, la cooperación internacional entre gobiernos, investigadores y desarrolladores de IA puede maximizar esta ventaja y explotar las ventajas comparativas en beneficio mutuo. La falta de cooperación llevaría a inversiones competitivas y duplicadas, creando costos innecesarios y dejando a cada gobierno en peor situación.

Desarrollar una IA responsable y centrada en el ser humano es una empresa compleja que requiere una gran cantidad de recursos y esfuerzos. En un mundo donde los avances en IA están transformando rápidamente la sociedad y la economía, es fundamental abordar esta tarea de manera colaborativa a nivel internacional. Por esa razón los gobiernos, tras reconocer la importancia estratégica de la IA, y están comenzando a trabajar para aprovechar sus oportunidades y abordar sus desafíos, si bien, sigue siendo evidente falta una cooperación internacional profunda y técnica en este ámbito. Esta falta de cooperación impide que los países con ideas afines puedan aprovechar plenamente los recursos y las ventajas competitivas de otros. En lugar de competir entre sí, sería más beneficioso para todos trabajar juntos para facilitar la investigación puntera en IA de una manera que promueva y defienda los valores democráticos fundamentales. Lo anterior conduce a incrementar la cooperación internacional con los países en desarrollo y prestarles asistencia, a fin de colmar la brecha existente en materia de IA y su capacidad de gobernanza. El marco de las Naciones Unidas debería ser la sede adecuada para establecer una institución internacional que gobierne la IA y coordine los esfuerzos para abordar las principales cuestiones relativas al desarrollo, la seguridad y la gobernanza internacionales de la IA (103) .

45. Para superar esta situación, es ineludible establecer canales de comunicación y colaboración entre los diferentes países y organizaciones permitiendo compartir conocimientos, recursos y experiencias y acelerando así el progreso en el desarrollo de IA responsable y ética. Resulta esencial que esta cooperación se base en principios sólidos de transparencia, equidad y responsabilidad para asegurar que la IA desarrollada respete los derechos humanos, evite sesgos y discriminaciones, y promueva el bienestar de la sociedad en su conjunto. Solo a través de una cooperación profunda y técnica podrá aprovechase todo el potencial de la IA promoviendo los valores democráticos en todo el mundo y aunque la importancia estratégica de los datos y la soberanía ha llevado a iniciativas legítimas de política industrial en muchos países para reducir las dependencias externas, las medidas proteccionistas pueden poner en peligro la cooperación global, afectar las cadenas de valor mundiales y perjudicar la elección de los consumidores.

En este escenario, la Ley IA representa un avance significativo en la regulación de la inteligencia artificial para garantizar su uso seguro. Sin embargo, como ha sucedido con tecnologías anteriores, existe el riesgo de que el legislador se quede rezagado frente a los avances tecnológicos actuales. El éxito de esta Ley dependerá de la estrecha colaboración entre los Estados miembros, la eficacia en el control y la aplicación de sus disposiciones, y la rapidez con la que se puedan introducir las modificaciones necesarias. La gestión de la IA requiere un diálogo transfronterizo armonizado, no sólo dentro de Europa, sino también a escala internacional. En este contexto, la UE puede actuar como pionera en el impulso de normas mundiales y el fomento de la cooperación internacional para establecer principios éticos comunes en el tratamiento de la IA (104) .

46. Como ejemplos recientes de esta incipiente cooperación, cabe referirse a las siguientes:

• i. La Alianza Europea de IA, que es una iniciativa de la Comisión Europea destinada a establecer un diálogo político abierto sobre inteligencia artificial. Inicialmente, fue creada para supervisar el trabajo del Grupo de Expertos de Alto Nivel en Inteligencia Artificial (AI HLEG). Las Directrices Éticas del Grupo y sus Recomendaciones de Política e Inversión fueron documentos importantes que moldearon el concepto de IA confiable y contribuyeron al enfoque de la Comisión Europea sobre la IA. Este trabajo se basó en aportes de expertos y comentarios de la comunidad. Después de que el mandato del AI HLEG concluyera, la comunidad de AI Alliance continuó promoviendo la IA confiable al compartir las mejores prácticas entre los miembros y ayudar a los desarrolladores de IA y otras partes interesadas a aplicar los requisitos clave. Esto se logró a través de ALTAI, una lista de verificación práctica para la IA confiable. Los miembros de la Alianza Europea de IA se reúnen regularmente con expertos, partes interesadas y actores internacionales en el ámbito de la IA en eventos periódicos (105) .
• ii. En el contexto de la Alianza y bajo la Presidencia española del Consejo de la UE el 17 de julio de 2023, la UE y varios países de América Latina y el Caribe firmaron una declaración conjunta estableciendo una Alianza Marco informal de cooperación digital con el objetivo de promover la cooperación digital centrada en el ser humano y fortalecer la convergencia de políticas y marcos normativos en materia digital. Junto con Bélgica, Estonia, Alemania Eslovenia y España, y en presencia de la Comisión Europea, se dio un paso al proponer una serie de actividades para avanzar y promover la convergencia de los marcos políticos y normativos específicamente en el ámbito de la IA con vistas a la aprobación de la Ley IA, que prevé la creación de entornos de prueba controlados para el desarrollo de sistemas innovadores de IA bajo supervisión de las autoridades competentes. Los Estados firmantes se comprometieron a actuar como precursores en sus respectivas regiones de la UE y ALC en actividades relacionadas con el intercambio de mejores prácticas sobre regulación de la IA y medidas de apoyo a la implementación, como directrices, recomendaciones y/o sandboxes, de acuerdo con la legislación nacional (106) .
• iii. Los días 1 y 2 de noviembre de 2023, se celebró en el Reino Unido la primera Cumbre de Seguridad de la IA del mundo. Estados Unidos, China, la Unión Europea y otros 26 entre los que figuró España, países llegaron a un acuerdo global para avanzar la cooperación científica y tratar de frenar los posibles peligros «catastróficos» de la IA, a través de la llamada Bletchley Declaration (107) , que, entre otras cosas, acogió con satisfacción los esfuerzos internacionales para examinar y abordar el impacto potencial de la IA en los foros existentes y otras iniciativas pertinentes. Reconoce la necesidad de abordar la protección de los derechos humanos, la transparencia, la equidad, el control, la regulación, la seguridad, la supervisión humana adecuada, la ética, la mitigación de los prejuicios, la privacidad y la protección de datos. En la Cumbre se acordó apoyar una red internacional inclusiva de investigación científica sobre la seguridad en las fronteras de la IA para facilitar la formulación de políticas basadas en la mejor ciencia disponible y el bien público. Asimismo: a) se puso de relieve la importancia de la cooperación internacional solicitándose la colaboración entre naciones, organizaciones internacionales, empresas, sociedades civiles y el mundo académico; b) se insistió en la necesidad de cerrar la brecha digital para que los países en desarrollo también puedan beneficiarse de la IA de manera segura e informada; y, c) se acordó mantener un diálogo mundial inclusivo y continuar la investigación sobre la seguridad de la IA para garantizar su uso responsable en beneficio de todos.
• iv. El European AI Forum (108) es una iniciativa lanzada en junio de 2020 durante la Presidencia croata del Consejo de la Unión Europea. Originalmente concebido como una conferencia al final de cada Presidencia del Consejo, ha evolucionado hacia una red de asociaciones que buscan garantizar que las empresas emergentes y los innovadores de los Estados miembros tengan voz en la creación de un marco regulatorio para la IA. Fundado por CroAI, Hub France IA y KI Bundesverband, incluye a AI4SI, AI Austria, AI Cluster Bulgaria, NL AI Coalitie y AI Poland. Su misión es establecer la agenda sobre cómo se aborda la IA en Europa, tanto en términos de política como de espíritu empresarial, sirviendo como plataforma para empresarios y responsables políticos para determinar conjuntamente el camino a seguir para la innovación europea en IA.
• v. El Forum for Cooperation on Artificial Intelligence (FCAI) (109) es una colaboración entre la Brookings Institution y el Centre for European Policy Studies. Organiza diálogos periódicos sobre IA entre funcionarios de alto nivel de siete gobiernos (Australia, Canadá, Estados Unidos, Japón, Reino Unido, Singapur y la UE), así como expertos de la industria, la sociedad civil y el mundo académico. Su objetivo es identificar oportunidades de cooperación internacional en regulación, normas, investigación y desarrollo de la IA. Las ideas y recomendaciones políticas de los diálogos se reflejan en los informes y blogs del FCAI. El foro ha investigado oportunidades y obstáculos para la cooperación internacional para fomentar el desarrollo de una IA responsable, explorando similitudes y diferencias en las políticas nacionales sobre IA, vías de cooperación internacional, ecosistemas de investigación y desarrollo de IA, y desarrollo de normas sobre IA, entre otras cuestiones.

2. Protección de los derechos humanos

47. La gobernanza algorítmica representa un paradigma emergente que define la era contemporánea como una «sociedad de los números». En este entorno, todos los procesos, desde la formulación de políticas hasta la toma de decisiones, se fundamentan en sistemas estadísticos que alimentan algoritmos. Se presupone que la adopción de datos numéricos garantiza la imparcialidad y, en algunos casos, una verdad exenta de fallos, proclamando así la supresión de la subjetividad humana.

Como puede observarse este enfoque denota una confianza desmedida en el poder y la eficacia de los algoritmos, así como en la total transparencia de la sociedad ya que los algoritmos, aunque valiosos, no son inmunes a los sesgos inherentes a los datos que los alimentan y a las decisiones de diseño humano que los configuran. Por tanto, la adopción de la gobernanza algorítmica plantea desafíos cruciales en términos de equidad, justicia y protección de los derechos individuales en un mundo cada vez más dominado por la automatización y la digitalización, con repercusiones significativas en los derechos civiles y políticos, la privacidad, la no discriminación o el procedimiento justo (110) .

Desde 2019 el Consejo de la UE expresó una clara preocupación por la protección de los derechos fundamentales frente a los riesgos asociados con la IA al resaltar la importancia de asegurar el pleno respeto de los derechos de los ciudadanos europeos mediante la implementación de directrices éticas para su desarrollo y uso en la UE a nivel global, al tiempo que enfatizó la conveniencia de convertir la ética privativa de esta tecnología en una ventaja competitiva para la industria europea (111) . Poco después, la Agencia de los Derechos Fundamentales de la Unión Europea presentó un informe sobre el impacto de la IA en los derechos fundamentales (112) . En él se analizan las principales consecuencias, tanto positivas como negativas, para los derechos fundamentales de las nuevas tecnologías, incluida la IA en cuatro ámbitos clave: prestaciones sociales, policía predictiva, servicios sanitarios y publicidad selectiva. Dos años antes, el Consejo de Europa también había dedicado un estudio a los algoritmos y los derechos humanos en el que se centraba en los efectos de los algoritmos sobre el derecho a un juicio justo; el derecho a la intimidad y la protección de datos; la libertad de expresión; la libertad de reunión y asociación; el derecho a un recurso efectivo; la prohibición de la discriminación; los derechos sociales y el acceso a los servicios públicos; y el derecho a elecciones libres (113) . Esta lista de derechos potencialmente afectados por la IA no es exhaustiva, ya que el Consejo de Europa especificó que el alcance de su estudio no le permitía analizar el derecho a la vida en el contexto del uso de armas inteligentes y drones controlados algorítmicamente, ni en el contexto de la salud. Del mismo modo, no ha podido explorar los efectos potenciales de la sistematización de puntos de vista y opiniones, a través de algoritmos, sobre la libertad de pensamiento, conciencia y religión (114) . De hecho, son todos los derechos y libertades fundamentales los que pueden verse afectados por los algoritmos y, por tanto, por la IA. En sus conclusiones, la Comisión de Venecia apuntó la probabilidad que en el futuro se utilicen algoritmos de IA más sofisticados y que puede resultar prácticamente imposible identificar los criterios utilizados, ya que los sistemas de autoaprendizaje de IA se alimentan de una cantidad de datos cada vez mayor. Por ello, sugirió que, como medida de precaución, cuando se introduzcan sistemas de IA, se conserven datos de entrenamiento anonimizados para poder detectar sesgos en una fase posterior, y propone que estos datos de entrenamiento totalmente anonimizados puedan incluso hacerse públicos para poder investigar los sesgo (115) .

Sin embargo, cuando estos sistemas se basan en datos que pueden reflejar, intencionadamente o no, sesgos en función de la forma en que se seleccionan los delitos para incluirlos en el análisis, surge el riesgo de violar derechos fundamentales. En particular, cuando los programas permiten incluir, además de los delitos graves, simples alteraciones del orden y la seguridad públicos, como el tráfico de drogas a pequeña escala o el consumo de alcohol en la calle, se atrae la atención de la policía hacia los barrios donde se producen estas alteraciones y aumenta el número de identificaciones y detenciones... generándose así un bucle en muchas ciudades estadounidenses

Los ciudadanos tienen derecho a presentar denuncias ante las autoridades nacionales sobre los sistemas de IA y las decisiones algorítmicas que afecten a sus derechos.

48. El empleo de sistemas de IA de alto riesgo conlleva implicaciones significativas para los derechos fundamentales. Teniendo en cuenta estas premisas la Ley IA considera que tanto los organismos de Derecho público como los agentes privados que brinden servicios públicos, así como los proveedores de sistemas de alto riesgo, están obligados a llevar a cabo una evaluación exhaustiva de las posibles repercusiones en los derechos fundamentales y notificar los resultados a la autoridad nacional correspondiente, garantizando este enfoque una supervisión adecuada y una protección efectiva de los derechos de los individuos en el contexto del uso de tecnologías de inteligencia artificial con potencial impacto significativo.

El reglamento establece la obligación de evaluar el impacto que cualquier nuevo sistema de IA pueda tener en los derechos fundamentales antes de su introducción en el mercado asegurando asegura que los sistemas de IA respeten y protejan los derechos esenciales de las personas, como la privacidad, la no discriminación y la dignidad humana.

En el caso de los modelos funcionales de gran envergadura capaces de realizar diversas tareas como la generación de vídeo, texto, imágenes, entre otros, se imponen obligaciones adicionales en materia de transparencia garantizando con ello que los usuarios y el público en general comprendan cómo funcionan estos sistemas y cómo pueden afectar a las personas.

Asimismo, el reglamento hace énfasis en la responsabilidad de los usuarios de un sistema de reconocimiento de emociones para informar adecuadamente a las personas físicas que puedan ser expuestas a dicho sistema. Esta medida busca proteger la privacidad y la autonomía de las personas al garantizar que estén plenamente conscientes de cómo se utiliza la tecnología de reconocimiento de emociones y de cómo puede afectar sus derechos y libertades individuales.

3. Propiedad intelectual

49. La existencia derechos de autor sobre los contenidos generados por una IA artificial es una cuestión frecuentemente debatida en la literatura jurídica, centrándose la mayor parte del debate en torno a los derechos patrimoniales (116) . La capacidad de la IA para generar contenidos e invenciones de forma autónoma plantea cuestiones fundamentales sobre la invención, los derechos de autor y la privacidad de los datos derivadas, esencialmente, del sesgo algorítmico y del uso justo en los contenidos generados por IA (117) . Cuanto más potente sea el modelo de IA, más estrictos serán los requisitos. Para aclarar mejor las cuestiones relacionadas con los derechos de autor, las obras generadas con la ayuda de la IA, como las patentes (118) , deberán cumplir requisitos especiales de transparencia para facilitar a los titulares de derechos potencialmente afectados el ejercicio de sus derechos. La Ley AI postula que esta disonancia podría ser el resultado de que la mayoría de los estudiosos tratan la IA como un bloque homogéneo sin distinguir las diversas fases en la evolución de la IA. En particular:

• i. Obliga a los proveedores de expanding capabilities of general-purpose AI (GPAI) (119) a aplicar una política que respete la legislación de la UE en materia de derechos de autor tanto respecto al uso de obras protegidas por derechos de autor con fines de formación como a los posibles resultados infractores de los modelos GPAI. Incluye, asimismo, una obligación de transparencia de los datos de formación, que inicialmente se refería a los datos de formación protegidos por derechos de autor, pero que en la versión final abarca todos los tipos de datos de formación. Los proveedores de modelos GPAI tienen que poner a disposición del público un resumen suficientemente detallado del contenido utilizado para la formación, que debe ser en general exhaustivo para facilitar a las partes con intereses legítimos, incluidos los titulares de derechos de autor, el ejercicio y la aplicación de sus derechos en virtud de la legislación de la UE, pero teniendo en cuenta también la necesidad de proteger los secretos comerciales y la información empresarial confidencial. Está previsto que la Oficina de AI facilite un modelo resumido que ofrecerá más información sobre lo que cabe esperar.
• ii. En cuanto al uso de obras protegidas por derechos de autor con fines de formación, la Ley AI menciona explícitamente que los proveedores de GPAI deben respetar las exclusiones voluntarias realizadas por los titulares de derechos en virtud de la excepción de minería de textos y datos (Tex Data Mining —TDM—) (120) del art. 4.3º Directiva (UE) 2019/790 (LA LEY 8414/2019). Esta excepción implica que cuando una organización haya declarado efectivamente una exclusión voluntaria en un formato legible por máquina, el contenido no podrá recuperarse para el entrenamiento de IA y aclara que la excepción de la TDM también se aplica al uso para el entrenamiento de GPAI, pero deja abierta una serie de incertidumbres prácticas (por ejemplo, las normas técnicas para la exclusión voluntaria, el raspado de contenidos de sitios web en los que el titular de los derechos no puede colocar una exclusión voluntaria, la declaración de una exclusión voluntaria después de que la IA ya ha sido entrenada con los datos, y los desafíos probatorios al hacer valer los derechos en los datos de entrenamiento) (121) . El texto final establece la expectativa de que los proveedores de GPAI utilicen las «tecnologías más avanzadas» para respetar las exclusiones voluntarias. Cabe destacar que un considerando subraya que cualquier proveedor que comercialice un modelo GPAI en la UE debe respetar los derechos de autor en el sentido de esta disposición, indicando incluso que la formación en IA realizada fuera de la UE debe respetar las cláusulas de no participación del TDM.
• iii. Sin embargo, en cuanto a los eventuales s problemas de derechos de autor relacionados con los resultados de los modelos de IA, la propia Ley IA no aclara la situación como hubiera sido deseable. Cabe señalar que ya hay varios litigios en juego en este ámbito, tanto en la UE como fuera de ella. Por lo tanto, siguen pendientes muchas cuestiones de seguimiento, como si se debe bloquear el procesamiento de las indicaciones que puedan causar resultados infractores, cómo evaluar de forma fiable los resultados de la IA con arreglo a la ley de derechos de autor, la asignación de responsabilidad entre el proveedor y el usuario, los procedimientos de notificación y retirada, etc (122) .

La conclusión sigue siendo que los marcos de derechos de autor existentes en la UE y la parte técnica que los acompaña aún no tienen una respuesta a medida para las cuestiones de derechos de autor relacionadas con los datos de entrenamiento y el impacto en la usabilidad del sistema de IA respectivo. Con el tiempo, los tribunales o los agentes privados podrán dar forma a las soluciones tanto dentro de la UE como a escala mundial.

50. Los llamados modelos fundacionales generativos son un caso especial. Dichos modelos, en lugar de desarrollar la inteligencia artificial (IA) desde cero constituyen el punto de partida para desarrollar modelos de machine learning que impulsan aplicaciones más especializadas de manera rápida y rentable (123) . La Ley IA también establece normas estrictas y requisitos adicionales de transparencia para estos modelos. Por ejemplo, deben revelar que los contenidos han sido generados por IA y diseñar los modelos de forma que no puedan generarse contenidos ilegales. Los desarrolladores también deben publicar un resumen de los datos protegidos por derechos de autor utilizados para el entrenamiento. Los sistemas deben ser evaluados exhaustivamente y se debe informar de cualquier incidente grave. Sin embargo, esto sólo se aplica a los modelos a partir de cierto tamaño y con una potencia de cálculo especialmente alta.

En respuesta a ChatGPT (124) y otros modelos de IA generativa, se han incluido más normas en la Ley IA. Por ejemplo, los modelos de IA de propósito general (modelos GPAI) están sujetos a una regulación especial, que incluye, por ejemplo, requisitos sobre transparencia y documentación del proceso de formación y usabilidad. En este caso, la Ley IA contiene requisitos generales de seguridad de los productos que, en su mayor parte, están desvinculados del uso previsto. Esta regulación abstracta de la tecnología ha sido objeto de críticas, sobre todo por parte de la comunidad empresarial, que la considera contraria a la innovación. Los modelos GPAI con riesgos sistémicos están sujetos a requisitos mucho más estrictos, lo que incluye los modelos GPAI cuya formación requiera más de 1025 FLOPS (125) . Los criterios serán adaptados dinámicamente por los legisladores una vez entren en vigor.

VII. Balance de la regulación

51. La Ley IA representa una promesa para el futuro, caracterizada por sus inmensas posibilidades, que sitúa a la persona humana en el centro de las preocupaciones. Con la intención de suministrar una normativa clara que garantice tanto las libertades como la seguridad de los ciudadanos, el Parlamento Europeo ha realizado un acto verdaderamente creativo y su aprobación por una mayoría tan abrumadora indica una convicción compartida: la IA tiene el potencial de convertirse en uno de los motores clave de la innovación, el progreso y la prosperidad en Europa. Sin embargo, como cualquier mecanismo de gran envergadura que pretende ser regulado con minuciosidad, necesita de conjunto de reglas bien afinadas que tengan en cuenta no sólo la mecánica, sino también el factor humano, de ahí que esta importante innovación no sea el final del camino, sino más bien un principio. La Ley traza una línea entre lo que es tecnológicamente posible y lo que sigue siendo éticamente aceptable erigiéndose como una invitación a las empresas a recorrer un complejo camino que irá acompañado de un marco que promete protección y promoción a partes iguales.

Por otro lado, las evaluaciones de solvencia basadas en IA por parte de los bancos, así como las evaluaciones de precios y riesgos en los seguros de vida y salud, se consideran casos de uso de IA de alto riesgo, por lo que tendrán que cumplir requisitos más estrictos para dichas aplicaciones de IA. Se espera que los organismos europeos de normalización sigan desarrollando estos requisitos. Posteriormente, las autoridades nacionales competentes deberán garantizar que las entidades financieras cumplen los nuevos requisitos y normas de gobernanza y gestión de riesgos de la IA, al tiempo que evalúan en qué medida puede ser necesaria una orientación sectorial más detallada para estos casos de uso de la IA.

Una valoración de conjunto conduce a considerar que, en términos generales, la Ley es digna de aprobación por su enfoque progresista al reforzar la regulación protectora del individuo y de la ética social. Es este equilibrio entre la cultura de la innovación progresista y la salvaguarda de los derechos fundamentales hace meritoria la posición de la UE en el debate sobre la IA. Por ejemplo: a) cualquier persona podrá reclamar ante una autoridad nacional de supervisión de la IA si considera que se han vulnerado sus derechos; b) los proveedores de sistemas de IA especialmente arriesgados deberán comprobar los riesgos de sus tecnologías, hacerlas suficientemente transparentes y someterlas a supervisión humana; y c) no deben crearse bases de datos públicas de rostros basadas en la extracción selectiva de imágenes faciales de Internet y también se prohíbe la actuación policial predictiva, es decir, el intento de utilizar datos policiales para predecir el riesgo de que una persona concreta cometa un delito.

Por el momento, la Ley IA ha sido bien recibida con carácter general por numerosos colectivos, incluyendo las industrias culturales, creativas y de medios de comunicación e incluso muchos representantes políticos y las organizaciones empresariales valoran muy positivamente la versión final, elogiando la seguridad jurídica asociada y celebrando que la evaluación de los derechos fundamentales pueda anclarse en la ley. Sin embargo, subsisten serias críticas al considerar el proceso legislativo de «poco transparente» y «caótico» y con un resultado extremadamente vago en muchos puntos, y en algunos casos incluso erróneo».

52. Los críticos y algunas organizaciones de protección de consumidores y de derechos humanos temen que la Ley IA pueda allanar el camino a una nueva forma de vigilancia masiva y retención de datos, a pesar de todas las restricciones que incorpora. Algunos argumentan que, aunque las empresas de IA ya están adoptando medidas similares a las propuestas en la referida Ley, confiar únicamente en la autorregulación no es suficiente, pues puede quedar oculta información importante. Otros esgrimen que incluso los sistemas de IA más «abiertos» no garantizan por sí solos el acceso democrático a la IA o una competencia significativa en ella, ni la apertura resuelve por sí sola el problema de la supervisión y el escrutinio (126) . Y, entre otras críticas, se habla de que los incentivos orientados a la obtención de beneficios llevan a menudo a las empresas a priorizar sus intereses sobre el bienestar de la sociedad.

La Ley IA intenta dar respuesta a varios objetivos al mismo tiempo: por un lado, quiere estimular la innovación y, por otro, contener los riesgos, pero en este empeño también crea ciertas incertidumbres en orden al equilibrio entre la garantía de la seguridad y el mantenimiento de la innovación y la competitividad, argumentándose que el carácter excesivamente estricto de la regulación podría suponer una carga excesiva para las nuevas pequeñas y medianas empresas limitando su capacidad para desarrollar y llevar al mercado soluciones innovadoras de IA. Incluso, se habla de infra-regulación y demasiado margen para la interpretación.

Desde ciertos sectores se apunta a que no ha sido posible refrenar aplicaciones especialmente contrarias a los derechos fundamentales, como la vigilancia biométrica masiva, que queda a la disponibilidad de los Estados miembros, por esto el uso del reconocimiento facial en las investigaciones policiales, en particular, ha suscitado un gran debate, al igual que la posibilidad de analizar las grabaciones de vídeo a posteriori, o el reconocimiento automático de emociones. haciéndose alusión a un futuro distópico de vigilancia de alta tecnología por un Estado desconfiado, de carácter orweliano, que podría intimidar directamente a las personas a la hora de expresar libremente sus opiniones, manifestarse, viajar, etc (127) . Aunque la tecnología calificada de «alto riesgo» esté sujeta a muchas condiciones, se considera que su uso es ahora mucho más generoso, sobre todo cuando está en riesgo la «seguridad nacional», que ni siquiera está definida de manera uniforme a nivel de la UE.

53. En todo caso, la Ley IA es una normativa sobre la seguridad de los productos cuyo objetivo es proteger a los consumidores europeos de las violaciones de los derechos fundamentales derivadas del uso inadecuado de la IA. En el futuro, los proveedores de sistemas de IA clasificados como de alto riesgo tendrán que comprobar y confirmar formalmente el cumplimiento de numerosos requisitos en consonancia con los principios de una IA digna de confianza, desde la gobernanza de la IA hasta la calidad de la IA. El incumplimiento de estos requisitos puede acarrear multas severas. Además, los proveedores pueden verse obligados a retirar sus sistemas de IA del mercado. A pesar de la amplitud de los principios, normas y procedimientos, así como de los nuevos organismos administrativos, la ley no pretende frenar la innovación en la UE, sino más bien promover un mayor desarrollo en el sector de la IA, especialmente por parte de las empresas de nueva creación y las pymes, a través de la seguridad jurídica y los sandboxes regulatorios.

La IA representa una sinergia entre diversas tecnologías que incluyen la recopilación y análisis de datos, la implementación de algoritmos y el aprovechamiento de capacidades informáticas avanzadas. Los avances en el campo de la computación y la disponibilidad creciente de datos juegan un papel fundamental en el notable crecimiento que la inteligencia artificial ha experimentado en los últimos tiempos. En este contexto, la Ley IA está es susceptible de consolidar la posición de la UE como líder mundial en innovación, dentro de la economía de los datos y sus aplicaciones, unificando recursos tecnológicos y capacidades industriales y capitalizando su potencial tecnológico e industrial a través de la combinación de una infraestructura digital de alta calidad con un marco regulador basado en valores fundamentales y en principios éticos de protección de datos.

En particular, la Ley IA puede: a) avanzar hacia una posición de vanguardia en el desarrollo y la implementación de soluciones innovadoras en el ámbito de la inteligencia artificial y la economía de los datos con un enfoque que no solo promueve el crecimiento económico, sino que también garantice el respeto por los derechos individuales y la integridad de los datos en un mundo cada vez más digitalizado; b) erigirse como un modelo ejemplar a través de un consistente marco jurídico, que abarca aspectos como la protección de datos, los derechos fundamentales, la seguridad y la ciberseguridad de una sociedad impulsada por los datos, capaz de tomar decisiones más informadas tanto en el ámbito empresarial como en el sector público; c) actuar de manera proactiva desempeñando un papel de liderazgo en el sector al abordar de forma concertada una serie de cuestiones cruciales, con un impacto jurídico y económico directo en las actividades empresariales y en los operadores de sistemas de IA; d) ayudar a reducir riesgos y el hecho de que estos modelos estén ahora específicamente regulados es algo positivo por su virtualidad para reducir significativamente el riesgo de las aplicaciones que surjan de ellos; y e) proporcionar un marco ético y normativo que guíe, respalde y fomente los avances en el campo de la IA, en contraste, con los enfoques estadounidense y chino tienden a permitir un mayor desarrollo en la IA, mientras que los aspectos regulatorios y éticos son más flexibles. (128) .

La UE se enfrenta, por tanto, a la tarea de crear una infraestructura que respalde el potencial de la IA y evite al mismo tiempo usos indebidos y desarrollos indeseables. Esto incluye el establecimiento de espacios de datos supervisados que permitan un procesamiento y uso de los datos seguro y ético, protegiendo al mismo tiempo la privacidad. a Ley de la UE sobre la IA allana el camino para una Europa que no sólo se esfuerza por alcanzar la excelencia tecnológica, sino que también tiene en su centro la integridad humana y el progreso social.

Sea como fuere, sigue quedando como asignatura pendiente una regulación estricta en orden a ciertas aplicaciones de IA para lograr una su integración satisfactoria en nuestra sociedad. Al fin y al cabo, sólo a través de un necesario replanteamiento legislativo transversal como el de la Ley IA será posible una eventual evolución hacia un sistema jurídico contemporáneo, en el que exista un equilibrio entre lo jurídicamente ya conocido, por un lado, y lo tecnológicamente a veces aún desconocido, por otro.

Aunque a Ley IA ha sido recibida con críticas y cuestionamientos en diversos ámbitos con ella la UE aspira a convertirse en pionera en la regulación de las nuevas tecnologías de IA para proteger a las personas de posibles riesgos para los derechos humanos fundamentales, al tiempo que fomenta la innovación dentro de la Unión. Es cierto que la regulación de la IA está resultando difícil en determinadas actuaciones por eso es función los legisladores de la UE adaptar la normativa en la medida de lo posible y, al mismo tiempo, encontrar el equilibrio adecuado entre tomar precauciones para regular los riesgos relacionados con la IA y dejar suficiente margen para la innovación y la experimentación, siendo de desear que la aplicación la Ley IA sea lo suficientemente flexible para adaptarse a la nueva realidad con el establecimiento de normas armonizadas para el desarrollo, la comercialización y el uso de sistemas de IA en la UE, incluidas las relativas a la seguridad y los derechos fundamentales de las personas

Se prevé que el Parlamento Europeo vote sobre la Ley IA el 26 de abril, por lo que es posible que en la próxima evolución de esta legislación histórica se aborden algunas de las cuestiones críticas pendientes.

VIII. Bibliografía

• — ABDALLAH, M. y SALAH, M., «Artificial Intelligence and Intellectual Properties: Legal and Ethical Considerations», International Journal of Intelligent Systems and Applications in Engineering, vol. 12. 1º, 2023. 368-376 (https://www.ijisae.org/index.php/IJISAE/article/view/3911(.
• — ALLIOUI, H. y MOURDI, Y., «Unleashing the potential of AI: Investigating cutting-edge technologies that are transforming businesses», International Journal of Computer Engineering and Data Science, vol. 3, n^o 2, 2023, pp. 1-12.
• — ÁLVAREZ GARCÍA, V. y TAHIRI MORENO, J., «La regulación de la inteligencia artificial en Europa a través de la técnica armonizadora del nuevo enfoque», Revista General de Derecho Administrativo, 2023.
• — ANNUNZIATA, M. y BOURGEOIS, H., «The future of work: how G20 countries can leverage digital-industrial innovations into stronger highquality jobs growth», Economics, vol. 12, n^o 1, 2018 (https://doi.org/10.5018/economics-ejournal.ja.2018-42(.
• — ARNAL, J. y JORGE RICART, R., «Inteligencia artificial: el ‘efecto Bruselas’, en juego», Real Instituto Elcano ARI, n^o 88, 3 octubre 2023.
• — ARTERO MUÑOZ, A., RUIZ DE TOLEDO RODRÍGUEZ, C.F. y MAIRAL MEDINA, P., «Agencia Española de Supervisión de la Inteligencia Artificial, la clave para un desarrollo tecnológico ético, justo y sostenible», Revista Española de Control Externo, vol. XXV, n.^o 74-75, 2023, pp. 32-45.
• — ASHRAF, C., «Exploring the impacts of artificial intelligence on freedom of religion or belief online», The international journal of human rights, vol. 26, n^o 5, 2022, pp. 757-791.
• — BARRIO ANDRÉS, M., «ChatGPT y su impacto en las profesiones jurídicas», Diario LA LEY, n^o 10285, Sección Tribuna, 12 de mayo de 2023.
• — BARRIO ANDRÉS, M., «Inteligencia artificial: origen, concepto, mito y realidad», El Cronista del Estado social y democrático de Derecho (monográfico sobre inteligencia artificial y Derecho), 100, 2022, pp. 14-21
• — BARRIO ANDRÉS, M., «Novedades en la tramitación del próximo Reglamento europeo de inteligencia artificial», Real Instituto Elcano, ARI, n^o 67, 2023, 19 julio 2023.
• — BECKERS, A. y TEUBNER, G., Three liability regimes for artificial intelligence: algorithmic actants, hybrids, crowds, Oxford – New York, NY, Hart Publishing, 2024.
• — BELINTXON MARTÍN, U., «Derecho internacional privado e inteligencia artificial. Algunos retos e incertidumbres para el transporte en el siglo XXI», Sociología y tecnociencia. Revista digital de sociología del sistema tecnocientífico, vol. 11, N^o Extra 2, 2021 (Ejemplar dedicado a: The Impact of Advances in Artificial Intelligence, Autonomous Learning Systems, and Science), pp. 17-36
• — BRADFORD, A., The Brussels Effect: How the European Union Rules the World, Oxford University Press, 2019, pp. 26-66.
• — BRATTBERG, E., CSERNATONI, R. y RUGOVA, V., Europe and AI: Leading, Lagging Behind, or Carving Its Own Way?, Washington, Carnegie Endowment for International Peace, 2020 (https://carnegieendowment.org/files/BrattbergCsernatoniRugova_Europe_AI.pdf(.
• — BUGHIN, J., SEONG, J., MANYIKA, J., HÄMÄLÄINEN, L., WINDHAGEN, E., y. HAZAN, E., «Tackling Europe’s gap in digital and AI», McKinsey Global Institute, Notes from the AI Frontier Tackling Europes’s GAP in Didital and AL, febrero 2019, pp. 6-14.
• — BUOCZ, T., PFOTENHAUER, S. y EISENBERGER, I., «Regulatory sandboxes in the AI Act: reconciling innovation and safety?», Law, Innovation and Technology, vol. 15, n^o 2, 2023, pp. 357-389.
• — CALABRO, C., Künstliche Intelligenz und Corporate Governance: der Einsatz von Künstlicher Intelligenz im Vorstand der börsennotierten Aktiengesellschaft, Berlin, Duncker & Humblot, 2023.
• — CAMERON, H.E., GOLDFARB, A. y MORRIS, L., «Artificial Intelligence for a Reduction of False Denials in Refugee Claims», Journal of refugee studies, vol. 35, n^o 1, 2022, pp. 493-510.
• — CAPPIELLO, B., AI-systems and non-contractual liability: a European private international law análisis, Turín, Giappichelli, 2022.
• — CASTELLANOS CLARAMUNT, J., «La gestión de la información en el paradigma algorítmico: inteligencia artificial y protección de datos», Métodos de Información, vol. 11, n^o 21, 2020, pp. 59-82.
• — CAZZANIGA, M. et al., and others. 2024. «Gen-AI: Artificial Intelligence and the Future of Work», IMF Staff Discussion Note SDN2024/001, International Monetary Fund, Washington, DC., 2024.
• — CHAKRAVORTI, B., BHALLA, A. y SHANKAR CHATURVEDI, R., «Charting the Emerging Geography of AI», Harvard Bus. Rev., 12 diciembre 2023 (https://hbr.org/2023/12/charting-the-emerging-geography-of-ai?trk=article-ssr-frontend-pulse_little-text-block(
• — CHIMUKA, G., «Impact of artificial intelligence on patent law. Towards a new analytical framework - [ the Multi-Level Model(», World Patent Information, vol. 59, december 2019, 101926.
• — CONTALDI, G., «Intelligenza artificiale e dati personali», Ordine Internazionale e Diritti Umani, 2021, n^o 5, pp. 1193-1213.
• — CORDERO VALDAVIDA, M., «Normativa europea y control en la economía digital: de la disponibilidad de los datos a la inteligencia artificial», Consultor de los Ayuntamientos y de los Juzgados, extra n^o 4, 2023.
• — COTINO, L., «Un análisis crítico constructivo de la Propuesta de Reglamento de la Unión Europea por el que se establecen normas armonizadas sobre la Inteligencia Artificial (Artificial Intelligence Act)», Diario La Ley, 2 julio 2021.
• — CYRAN, H., «New Rules for a New Era: Regulating Artificial Intelligence in the Legal Field», Case W. Res. J.L. Tech. & Internet, vol. 15, 2024, pp. 1-36.
• — DAOUDI, B., «Contester les algorithmes sur le terrain électoral : le cas des machines à voter en France», Étique Publique, vol. 23, n^o 2, 2021 (https://doi.org/10.4000/ethiquepublique.6573(.
• — DE BRUYNE, J. y VANLEENHOVE, C., Artificial intelligence and the law, 2ª ed. rev., Cambridge, Intersentia Ltd., 2023.
• — DE HOYOS SANCHO, M., «El proyecto de Reglamento de la Unión Europea sobre inteligencia artificial, los sistemas de alto riesgo y la creación de un ecosistema de confianza», Justicia poliédrica en periodo de mudanza: Nuevos conceptos, nuevos sujetos, nuevos instrumentos y nueva intensidad (S. Barona Vilar, ed.), Valencia, Tirant lo Blanch, 2022, pp. 403-422.
• — DE LA NUEZ SÁNCHEZ-CASCADO, E., «Inteligencia artificial y transparencia», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 5, 2020.
• — DE MIGUEL ASENSIO, P.A., «Mercado único digital y propiedad intelectual. Las Directivas 2019/789 (LA LEY 8415/2019) y 2019/790 (LA LEY 8414/2019)», LA LEY: Unión Europea, n^o 71, 2019.,
• — DE MIGUEL ASENSIO, P.A., «Propuesta de Reglamento sobre Inteligencia Artificial», LA LEY: Unión Europea, n^o 92, mayo 2021.
• — DE MIGUEL ASENSIO, P.A., «Territorialidad de los derechos de autor y mercado único digital», Cuadernos de Derecho Transnacional, vol. 12, n^o 2, 2020, pp. 349-371-
• — DRNAS DE CLÉMENT, Z., «Inteligencia artificial en el Derecho Internacional, Naciones Unidas y Unión Europea», Revista de Estudios Jurídicos. Universidad de Jaén, n^o 22, 2022, pp. 1-28.
• — ERNST, E., MEROLA, R. y SAMAAN, D., «Economics of artificial intelligence: Implications for the future of work», IZA Journal of Labor Policy, vol. 9, n^o 1, 2019.
• — EYNARD, J. y CASTETS-RENARD, C. (eds.), Un droit de l’intelligence artificielle. Entre règles sectorielles et régime général : perspectives comparée, Bruselas, Bruylant, 2023.
• — FERNÁNDEZ HERNÁNDEZ, C., «La nueva estrategia europea sobre el dato y la inteligencia artificial. Foto fija de un diseño en evolución», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o. 5 (abril- junio), 2020.
• — FERNÁNDEZ, C.B., «Estructura y contenido del Real Decreto 817/2023, de 8 de noviembre (LA LEY 29419/2023), por el que se establece un entorno controlado de pruebas (sandbox), para el ensayo de sistemas de inteligencia artificial», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 18, 2023.
• — FINOCCHIARO, G., «The regulation of artificial intelligence», AI & Society, 2023 (https://doi.org/10.1007/s00146-023-01650-z(.
• — FLORIDI, L., «The European Legislation on AI: a Brief Analysis of its Philosophical Approach», Philosophy & Technology, 2021, vol. 34, pp. 215-222.
• — GALASSO, A. y LUO, H., «Punishing RobotsIssues in the Economics of Tort Liability and Innovation in Artificial Intelligence», The Economics of Artificial Intelligence: An Agenda (A. Agrawal, J. Gans y A. Goldfarb, eds.), University of Chicago Press, 2019, pp. 493-505.
• — GAMERO CASADO, E., «El enfoque europeo de inteligencia artificial», Revista de Derecho Administrativo, 20, 2021, pp. 268-289.
• — GARCÍA QUIÑONES, J.C., «Inteligencia artificial y relaciones laborales: entre la significación creciente de los algoritmos y el desmentido de su neutralidad aparente», Temas laborales, n^o 167, 2023, pp. 75-126.
• — GARCÍA SAN JOSÉ, D., «Significado y alcance de los valores de la carta de Naciones Unidas (LA LEY 2993/1990) en la regulación internacional de la inteligencia artificial (IA)», Inteligencia artificial y Filosofía del Derecho , Murcia, Laborum, 2022, pp. 431-450.
• — GARCÍA SÁNCHEZ, M.D., «Propuesta de reglamento europeo sobre inteligencia artificial: especial referencia a la identificación biométrica remota y los sistemas de puntuación social», Fodertics 10.0: estudios sobre derecho digital (F. Bueno de Mata e I. González Pulido, eds.), Granada, Comares, 2022, pp. 779-793.
• — GASCÓN MARCÉN, A., «La propuesta de Reglamento de la Comisión Europea por el que se establecen normas armonizadas en materia de inteligencia artificial», Retos de la sociedad digital. Regulación y fiscalidad en un contexto internacional (M.C. Tirado Robles y otros, dirs.), Barcelona, Reus, 2022, pp. 15-40.
• — GEORGE, S., «Future Economic Implications of Artificial Intelligence», Partners Universal International Research Journal, vol. 2, n^o 3, 2023, pp.20-39.
• — GOLDFARB, A. y TREFLER, D., «Artificial Intelligence and International Trade», The Economics of Artificial Intelligence: An Agenda (A. Agrawal, J. Gans y A. Goldfarb, eds.), University of Chicago Press, 2019, pp. 463-491.
• — GRANDE SANZ, M., «La propuesta de reglamento sobre inteligencia artificial: presente y futuro», Fodertics 10.0: estudios sobre derecho digital (F. Bueno de Mata e I. González Pulido, eds.), Granada, Comares, 2022, pp. 975-807.
• — GRAY WIDDER, D., WEST, S. y WHITTAKER, M., «Open (For Business): Big Tech, Concentrated Power, and the Political Economy of Open AI», (August 17, 2023).
• — GRIECO, C., «Intelligenza artificiale e diritti umani nel diritto internazionale e dell’Unione europea. Alla ricerca di un delicato equilibrio», Ordine Internazionale e Diritti Umani, 2022, n^o 3, pp. 782-810.
• — HENCKEL, K., «Issues of conflicting laws - a closer look at the EU’s approach to artificial intelligence», Nederlands internationaal privaatrecht, vol. 41, n^o 2, 2023, p. p. 199-226.
• — HEREDERO DEL CAMPO, C., «Nueva Directiva Europea NIS 2. Un avance en la regulación de la ciberseguridad para las actuales sociedades digitalizadas modernas», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 16, 2023.
• — HILDEBRANDT, H., «Global competition and convergence of AI Law», SocArXiv Papers, 2022 (https://osf.io/preprints/socarxiv/j36ke(.
• — HILGENDORF, E. et al., Die neue Verordnung der EU zur Künstlichen Intelligenz: Rechtsfragen und Compliance, Múnich, C.H.Beck, 2023.
• — HINE, E. y FLORIDI, L., «Artificial intelligence with American values and Chinese characteristics: a comparative analysis of American and Chinese governmental AI policies», AI & Society, vol. 39, 2024, pp. 257-278-
• — HO-DAC, M. y PELLEGRINI, C. (eds.); Governance of Artificial Intelligence in the European Union: what place for consumer protection?, Bruselas, Bruylant, 2023.
• — HOROWITZ, H.C., ALLEN, G.C., KANIA, E.-B. y SCHARRE, P., Strategic competition in an era of artificial intelligence, Washington, Center for a New American Security, 2018.
• — KAMALOV, F., Santandreu Calonge, D. y I. Gurrib, I., «New Era of Artificial Intelligence in Education: Towards a Sustainable Multifaceted Revolution,» Sustainability (Publisher of Open Access Journals), vol. 15, n^o 16, 2023, pp. 1-27.
• — KAUSHIKKUMAR, P. «Ethical Reflections on Data-Centric AI: Balancing Benefits and Risks, ibid., vol. 2, n^o, 2024, pp. 1-17.
• — KHARE, S.K. et al, «Emotion recognition and artificial intelligence: A systematic review (2014-2023) and research recommendations», Information Fusion, vol. 102, 2024, 102019.
• — LARSSON, S. y HEINTZ, F., «Transparency in artificial intelligence», Internet Policy Review, vol. 9, n^o 2, 2020 (https://doi.org/10.14763/2020.2.1469(.
• — LAUPMAN, C., SCHIPPERS, L.-M. y PAPALÉO GAGLIARDI, M., «Biased Algorithms and the Discrimination upon Immigration Policy», Law and Artificial Intelligence. Information Technology and Law Series (B. Custers y E. Fosch-Villaronga, eds.), La Haya, T.M.C. Asser Press, 2022, pp. 187-204
• — LAUX, J., WACHTER, S. y Mittelstadt, B., «Trustworthy artificial intelligence and the European Union AI act: On the conflation of trustworthiness and acceptability of risk», Regulation & Governance, vol. 18, n^o 1, 2024, pp. 3-32.
• — LENNOX, J.C., 2084: Artificial Intelligence and the Future of Humanity, Zondervan, 2020.
• — LIU, S. et al, «Multi-modal fusion network with complementarity and importance for emotion recognition», Information Sciences, vol. 619, 2023, pp. 679-694.
• — MARKELLOU, M., ANTONOPOULOU, S. y GIANNAKOULOPOULOS, A., «AI and Copyright», Recreating Creativity, Reinventing Inventiveness. AI and Intellectual Property Law (N. Koutras y N. Selvadurai, eds.), Londres. Routledge, 2024
• — MAX, R., KRIEBITZ, A. y VON WEBSKY, C., «Ethical Considerations About the Implications of Artificial Intelligence in Finance», Handbook on Ethics in Finance. International Handbooks in Business Ethics (L. San-Jose, J.L. Retolaza y L. van Liedekerke, eds.), Cham. Springer, 2021, pp. 577-592.
• — MENECEUR, Y., «Les trois grands défis posés par la gouvernance de l’intelligence artificielle et de la transformation numérique», Éthique Publique, vol. 23, n^o 2, 2021 (https://journals.openedition.org/ethiquepublique/6323(.
• — MERZ, F., «L’Europe et la course à l’Intelligence Artificielle», Politique de sécurité: analyses du CSS, N^o 247, junio 2019.
• — MUÑOZ VELA, J.N., «Avanzando en la regulación de la IA. Hacia un equilibrio entre ética, protección de los derechos fundamentales, seguridad, confianza, innovación, desarrollo y competitividad», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 14, 2022.
• — OMAROVA, S.T., «Technology v Technocracy: Fintech as a Regulatory Challenge», Journal of Financial Regulation, vol. 6, n^o 1, 2020, 75-124 (https://academic.oup.com/jfr/article/6/1/75/5858319(.
• — PEHLIVAN, C.N., «The EU Artificial Intelligence (AI) Act: An Introduction», Global Privacy Law Review, vol. 5, n^o 1, 2024, pp. 31-42.
• — PIÑAR MAÑAS, J.L. y BARRIO ANDRÉS, M. «IA, democracia y derechos fundamentales», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 18, 2023.
• — PRESNO LINERA, M., Derechos fundamentales e inteligencia artificial, Marcial Pons, 2022.
• — PRESNO LINERA, M.A., «La Propuesta de ‘Ley de inteligencia artificial’ europea», Revista de las Cortes Generales, n^o 116, Segundo semestre, 2023, pp. 81-133.
• — QUINTAVALLA, A. y TEMPERMAN, J., Artificial intelligence and human rights, Oxford, Oxford University Press, 2023.
• — RAJASEKAR, V., et al, «Efficient multimodal biometric recognition for secure authentication based on deep learning approach», International Journal on Artificial Intelligence Tools 32.03, 2023: 2340017.
• — RANCHORDAS, S., «Experimental lawmaking in the EU: Regulatory Sandboxes», University of Groningen Faculty of Law Research Paper. No. 12/2021, 2021-2022 (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3963810(.
• — RAPOSO, V.L., «The Use of Facial Recognition Technology by Law Enforcement in Europe: A Non-Orwellian Draft Proposal», European Journal on Criminal Policy and Research, junio de 2022, (https://link.springer.com/article/10.1007/s10610-022-09512-y(.
• — RECIO GAYO, M., «Inteligencia Artificial (IA) ¿qué es y cuáles son los principios para que sea confiable?», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 17, 2023.
• — ROBLES CARRILLO, M., «La gobernanza de la inteligencia artificial: Contexto y parámetros generales», Revista Electrónica de Estudios Internacionales, 39, 2020 (https://doi.org/10.17103/reei.39.07(.
• — RODRÍGUEZ CACHÓN, T. y VICENTE DOMINGO, E.M., Minería de textos y datos como (nuevo) límite al derecho de autor, Madrid, Reus, 2021.
• — ROSSI, S. et al., «Augmenting research methods with foundation models and generative AI», International Journal of Information Management, 2024, 102749 (https://www.sciencedirect.com/science/article/abs/pii/S0268401223001305?via%3Dihub(
• — ROTENBERG, M., «Artificial Intelligence and the Right to Algorithmic Transparency», The Cambridge Handbook of Information Technology, Life Sciences and Human Rights (M. Ienca, et al. eds.), Cambridge University Press, 2022, pp. 153-165.
• — SCHERER, M.U., «Regulating artificial intelligence systems: Risks, challenges, competencies, and strategies», Harv. J.L. & Tech., vol. 29, 2025, 353-399.
• — SCHMID, S., «Trustworthy and Explainable : a European Vision of (Weaponised) Artificial Intelligence», Die Friedens-Warte: Blätter für internationale Verständigung und zwischenstaatliche Organisation. vol. 95, núms., 3-4, 2022, pp. 290-315.
• — SCOTT, J., «Extraterritoriality and territorial extension in EU law», Am. J. Comp. L., vol. 62, n^o 1, 2024. pp. 87-126.
• — SINHA, G. y DUNBAR, R., «Artificial intelligence and its regulation in the European Union», Regulating artificial intelligence in industry (D. Bielicki, ed.), Abingdon, U.K., Routledge, 2021, pp. 3-20.
• — SMUHA, N.A., «From a ‘race to AI’ to a ‘race to AI regulation’: regulatory competition for artificial intelligence», Law, Innovation and Technology, 2021, pp. 57-84.
• — SORIANO ARNANZ, A., «La propuesta de Reglamento de Inteligencia Artificial de la Unión Europea y los sistemas de alto riesgo», Revista General de Derecho de los Sectores Regulados, n^o 8, 2021.
• — SURDEN, H., «Artificial Intelligence and Law: An Overview», Georgia State University L. Rev., vol. 35, n^o 4, 2019, pp. 1305-1337.2
• — TELLE, M., Einsatz Künstlicher Intelligenz zur vorbereitenden Unterstützung von Leitungsentscheidungen des Vorstands einer AG, Berlín, Duncker & Humblot, 2023. M. Eroğlu y KARATEPE KAYA, M., «Impact of Artificial Intelligence on Corporate Board Diversity Policies and Regulations», European business organization law review, vol. 23, n^o 3, 2022, pp. 541-572.
• — TORRE DE SILVA Y LÓPEZ DE LETONA, J., «Responsabilidad por daños causados por sistemas de Inteligencia Artificial», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 11, 2022.
• — TRIGUERO, I. et al, «General Purpose Artificial Intelligence Systems (GPAIS): Properties, definition, taxonomy, societal implications and responsible governance», Information Fusion, vol. 103, marzo 2024, 102135 (https://www.sciencedirect.com/science/article/abs/pii/S1566253523004517(.
• — YORDANOVA, K. y BERTELS, N., «. Regulating AI: Challenges and the Way Forward Through Regulatory Sandboxes», Multidisciplinary Perspectives on Artificial Intelligence and the Law (H. Sousa Antunes et al., eds.), Law, Governance and Technology Series 58, Cham, Springer, 2024, pp. 441-456.
• — ZEKOS, G.I. «AI and Politics», Political, Economic and Legal Effects of Artificial Intelligence. Contributions to Political Science (G.I. Zekos, ed.), Cham, Springer, 2022, pp. 403-472.

(1)

M. Barrio Andrés, «Inteligencia artificial: origen, concepto, mito y realidad», El Cronista del Estado social y democrático de Derecho (monográfico sobre inteligencia artificial y Derecho), 100, 2022, pp. 14–21.

Ver Texto

(2)

S. George, «Future Economic Implications of Artificial Intelligence», Partners Universal International Research Journal, vol. 2, n^o 3, 2023, pp.20–39.

Ver Texto

(3)

H. Cyran, «New Rules for a New Era: Regulating Artificial Intelligence in the Legal Field», Case W. Res. J.L. Tech. & Internet, vol. 15, 2024, pp. 1–36.

Ver Texto

(4)

H. Allioui e Y. Mourdi, «Unleashing the potential of AI: Investigating cutting–edge technologies that are transforming businesses», International Journal of Computer Engineering and Data Science, vol. 3, n^o 2, 2023, pp. 1–12; P. Kaushikkumar, «Ethical Reflections on Data–Centric AI: Balancing Benefits and Risks, ibid., vol. 2, n^o, 2024, pp. 1–17.

Ver Texto

(5)

Véase la obra colectiva editada por J. De Bruyne y C. Vanleenhove, Artificial intelligence and the law, 2ª ed. rev., Cambridge, Intersentia Ltd., 2023.

Ver Texto

(6)

Y. Meneceur, «Les trois grands défis posés par la gouvernance de l’intelligence artificielle et de la transformation numérique», Éthique Publique, vol. 23, n^o 2, 2021 (https://journals.openedition.org/ethiquepublique/6323(.

Ver Texto

(7)

E. Hine y L. Floridi, «Artificial intelligence with American values and Chinese characteristics: a comparative analysis of American and Chinese governmental AI policies», AI & Society, vol. 39, 2024, pp. 257–278.

Ver Texto

(8)

M.C. Horowitz, G.C. Allen, E–B. Kania y P. Scharre, Strategic competition in an era of artificial intelligence, Washington, Center for a New American Security, 2018.

Ver Texto

(9)

Véase B. Chakravorti, A. Bhalla y R. Shankar Chaturvedi, «Charting the Emerging Geography of AI», Harvard Bus. Rev., 12 diciembre 2023 (https://hbr.org/2023/12/charting–the–emerging–geography–of–ai?trk=article–ssr–frontend–pulse_little–text–block(.

Ver Texto

(10)

Resulta de gran interés la lectura las notas para el debate preparadas por M. Cazzaniga et al., and others. 2024. «Gen–AI: Artificial Intelligence and the Future of Work», IMF Staff Discussion Note SDN2024/001, International Monetary Fund, Washington, DC., 2024.

Ver Texto

(11)

M. Annunziata y H. Bourgeois, «The future of work: how G20 countries can leverage digital–industrial innovations into stronger highquality jobs growth», Economics, vol. 12, n^o 1, 2018 (https://doi.org/10.5018/economics–ejournal.ja.2018–42(.

Ver Texto

(12)

M.U. Scherer, «Regulating artificial intelligence systems: Risks, challenges, competencies, and strategies», Harv. J.L. & Tech., vol. 29, 2025, 353–399.

Ver Texto

(13)

M. Hildebrandt, «Global competition and convergence of AI Law», SocArXiv Papers, 2022 (https://osf.io/preprints/socarxiv/j36ke(.

Ver Texto

(14)

Véase J.L. Piñar Mañas y M. Barrio Andrés, «IA, democracia y derechos fundamentales», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 18, 2023.

Ver Texto

(15)

Que requieren regulaciones actualizadas en la economía digital para evitar la concentración del mercado, proteger los datos y la privacidad, y compartir equitativamente los beneficios del crecimiento de la productividad. Esto implica combinaciones de medidas como la participación en los beneficios, la fiscalidad del capital digital y la reducción del tiempo de trabajo. Véase E. Ernst, R. Merola y D. Samaan. «Economics of artificial intelligence: Implications for the future of work», IZA Journal of Labor Policy, vol. 9, n^o 1, 2019.

Ver Texto

(16)

Los rápidos avances en el campo de la IA artificial y la robótica han dado lugar a encendidos debates sobre la aplicación del Derecho de responsabilidad civil a estas tecnologías desplazando determinados centros de atención tradicionales, como el referido a los litigios por accidentes de automóvil de la responsabilidad del conductor a la responsabilidad del fabricante). Véase A. Galasso y H. Luo, «Punishing RobotsIssues in the Economics of Tort Liability and Innovation in Artifi cial Intelligence», The Economics of Artificial Intelligence: An Agenda (A. Agrawal, J. Gans y A. Goldfarb, eds.), University of Chicago Press, 2019, pp. 493–505.

Ver Texto

(17)

A. Beckers y G. Teubner, Three liability regimes for artificial intelligence: algorithmic actants, hybrids, crowds, Oxford – New York, NY, Hart Publishing, 2024.

Ver Texto

(18)

Véase la obra colectiva de M. Ho–Dac y C. Pellegrini (eds.); Governance of Artificial Intelligence in the European Union: what place for consumer protection?, Bruselas, Bruylant, 2023.

Ver Texto

(19)

E. de la Nuez Sánchez–Cascado, «Inteligencia artificial y transparencia», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 5, 2020.

Ver Texto

(20)

J.N. Muñoz Vela, «Avanzando en la regulación de la IA. Hacia un equilibrio entre ética, protección de los derechos fundamentales, seguridad, confianza, innovación, desarrollo y competitividad», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 14, 2022.

Ver Texto

(21)

H. Surden, «Artificial Intelligence and Law: An Overview», Georgia State University L. Rev., vol. 35, n^o 4, 2019, pp. 1305–1337.

Ver Texto

(22)

Sobre el alcance de estos instrumentos, véase M. Robles Carrillo, «La gobernanza de la inteligencia artificial: Contexto y parámetros generales», Revista Electrónica de Estudios Internacionales, 39, 2020 (https://doi.org/10.17103/reei.39.07(; D. García San José, «Significado y alcance de los valores de la carta de Naciones Unidas (LA LEY 2993/1990) en la regulación internacional de la inteligencia artificial (IA)», Inteligencia artificial y filosofía del derecho , Murcia, Laborum, 2022, pp. 431–450; Z. Drnas de Clément, «Inteligencia artificial en el Derecho Internacional, Naciones Unidas y Unión Europea», Revista de Estudios Jurídicos. Universidad de Jaén, n^o 22, 2022, pp. 1–28.

Ver Texto

(23)

«The Asilomar AI Principles, coordinated by FLI and developed at the Beneficial AI 2017 conference, are one of the earliest and most influential sets of AI governance principles», 11 agosto 2017 (https://futureoflife.org/open–letter/ai–principles/(.

Ver Texto

(24)

«The Montréal Declaration for a Responsible Development of Artificial Intelligence», 2018 (https://montrealdeclaration–responsibleai.com/the–declaration/(.

Ver Texto

(25)

El G20 suscribió estos principios en su Declaración Ministerial sobre Comercio y Economía Digital de 9 junio 2019: «To foster public trust and confidence in AI technologies and fully realize their potential, we are committed to a human–centered approach to AI, guided by the G20 AI Principles drawn from the OECD Recommendation on AI, which are attached in Annex and are non–binding. This Annex includes the following principles of ‘inclusive growth, sustainable development and well–being’, ‘human centered values and fairness’, ‘transparency and explainability’, ‘robustness, security and safety’ and ‘accountability’. The Annex also offers guidance for consideration by policy makers with the purpose of maximizing and sharing the benefits from AI, while minimizing the risks and concerns, with special attention to international cooperation and inclusion of developing countries and underrepresented populations».

Ver Texto

(26)

Comisión Europea, «Draft Ethics guidelines for trustworthy AI», 18 diciembre 2028 (https://digital–strategy.ec.europa.eu/es/node/2236(.

Ver Texto

(27)

UNESCO, «Recomendación sobre la ética de la inteligencia artificial» (https://unesdoc.unesco.org/ark:/48223/pf0000380455_spa(.

Ver Texto

(28)

Véase «La Asamblea General adopta una resolución histórica sobre la IA», Noticias ONU, 21 marzo 2024.

Ver Texto

(29)

EE UU y China se han enzarzado en una competición mundial por la supremacía en el campo de la IA. Con su Plan de Desarrollo de la Inteligencia Artificial de Nueva Generación, una estrategia global dirigida en gran medida por el Estado y presentada en 2017, China planea alcanzar a Estados Unidos en 2020, superarlo en 2025 y convertirse en líder mundial del sector en 2030. Estos dos líderes mundiales de la IA pueden estar avanzando agresivamente, y Europa corre el riesgo evidente de quedarse más rezagada en la carrera hacia la IA y enfrentarse a una mayor competencia por captar crecimiento y empleo.

Ver Texto

(30)

Es innegable que, en comparación con potencias como China y EE UU, la UE ha quedado rezagada en términos de inversión en investigación y desarrollo en el campo de la IA, así como en la capacidad de innovación y la adopción de tecnologías emergentes. En comparación con EU UU, la UE experimenta un retraso en cuanto a volúmenes de inversión en IA, estructura industrial (número de empresas activas en el sector de la IA), capacidad de innovación (número de patentes registradas) y transferencias a aplicaciones prácticas, incluida la comercialización. Europa también se encuentra en desventaja comparativa no sólo con respecto a EE UU, sino también a China, en lo que se refiere a la disponibilidad de los datos esenciales para perfeccionar la IA. Cf. J. Bughin, J. Seong, J. Manyika, L. Hämäläinen, E. Windhagen y E. Hazan, «Tackling Europe’s gap in digital and AI», McKinsey Global Institute, Notes from the AI Frontier Tackling Europes’s GAP in Didital and AL, febrero 2019, pp. 6–14.

Ver Texto

(31)

Tras la regulación inicial en China en agosto de 2023, la Ley IA se considera el primer conjunto completo de normas para la IA.

Ver Texto

(32)

Corolario de su autoridad regulatoria global, que ha colocado a la UE en una posición única para asumir el papel de una hegemonía regulatoria global. Véase A. Bradford, The Brussels Effect: How the European Union Rules the World, Oxford University Press, 2019, pp. 26–66.

Ver Texto

(33)

L. Floridi, «The European Legislation on AI: a Brief Analysis of its Philosophical Approach», Philosophy & Technology, 2021, vol. 34, pp. 215–222, esp. p. 216; J. Arnal y R. Jorge Ricart, «Inteligencia artificial: el ‘efecto Bruselas’, en juego», Real Instituto Elcano ARI, n^o 88, 3 octubre 2023.

Ver Texto

(34)

En el contexto de la construcción de una UE digital, el Consejo Europeo llamaba a «concienciarse de la urgencia de hacer frente a las nuevas tendencias, lo que comprende cuestiones como la inteligencia artificial y las tecnologías de cadena de bloques, garantizando al mismo tiempo un elevado nivel de protección de los datos, así como los derechos digitales y las normas éticas. El Consejo Europeo ruega a la Comisión que, a principios de 2018, proponga un planteamiento europeo respecto de la inteligencia artificial y le pide que presente las iniciativas necesarias para reforzar las condiciones marco con el fin de que la UE pueda buscar nuevos mercados gracias a innovaciones radicales basadas en el riesgo y reafirmar el liderazgo de su industria». Cf. Consejo Europeo, Reunión de 19 octubre 2017, Conclusiones, EUCO 14/17, Bruselas, 19 octubre 2017 (https://www.consilium.europa.eu/media/21604/19–euco–final–conclusions–es.pdf(.

Ver Texto

(35)

Acerca del proceso y su entorno resulta de gran interés el estudio de M.A. Presno Linera, «La Propuesta de ‘Ley de inteligencia artificial’ europea», Revista de las Cortes Generales, n^o 116, Segundo semestre, 2023, pp. 81–133. Véase, asimismo, M. Recio Gayo, «Inteligencia Artificial (IA) ¿qué es y cuáles son los principios para que sea confiable?», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 17, 2023.

Ver Texto

(36)

Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones, «Inteligencia artificial para Europa» (COM/2018/237 final) (https://eur–lex.europa.eu/legal–content/EN/TXT/?uri=COM:2018:237:FIN(.

Ver Texto

(37)

Comisión Europea, «Enfoque europeo de la inteligencia artificial» (https://digital–strategy.ec.europa.eu/es/policies/european–approach–artificial–intelligence(.

Ver Texto

(38)

E. Brattberg, R. Csernatoni y V. Rugova, Europe and AI: Leading, Lagging Behind, or Carving Its Own Way?, Washington, Carnegie Endowment for International Peace, 2020 (https://carnegieendowment.org/files/BrattbergCsernatoniRugova_–_Europe_AI.pdf(.

Ver Texto

(39)

Tras la convocatoria de solicitudes publicada el 9 de marzo de 2018. Los miembros fueron seleccionados por la Comisión Europea basándose en un proceso de selección transparente y competitivo entre casi 500 excelentes solicitudes recibidas.

Ver Texto

(40)

Comisión Europea, «La Alianza Europea de IA» (https://digital–strategy.ec.europa.eu/en/policies/european–ai–alliance(.

Ver Texto

(41)

En desarrollo de su cometido el IA HLEG entregó dos informes. El primero titulado «Ethics Guidelines for Trustworthy AI», fue publicado el 8 de abril de 2019 (https://digital–strategy.ec.europa.eu/en/library/ethics–guidelines–trustworthy–ai(. El segundo, titulado «Policy and investment recommendations for trustworthy Artificial Intelligence», fue publicado el 8 de abril de 2019 (https://digital–strategy.ec.europa.eu/en/library/policy–and–investment–recommendations–trustworthy–artificial–intelligence(

Ver Texto

(42)

Comisión Europea, Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones «Generar confianza en la inteligencia artificial centrada en el ser humano», COM(2019) 168, final, Bruselas, 8 abril 2019 (https://eur–lex.europa.eu/legal–content/ES/ALL/?uri=CELEX:52019DC0168(

Ver Texto

(43)

Libro Blanco sobre la inteligencia artificial: «Un enfoque europeo orientado a la excelencia y la confianza» (COM (2020) 65 final, Bruselas 19 marzo 2020 (https://op.europa.eu/es/publication–detail/–/publication/ac957f13–53c6–11ea–aece–01aa75ed71a1(.

Ver Texto

(44)

Para un estudio tiene acerca de la incidencia del Libro Blanco sobre inteligencia artificial en el sector del transporte de mercancías y personas viajeras por carretera en la Unión Europea, véase U. Belintxon Martín, «Derecho internacional privado e inteligencia artificial. Algunos retos e incertidumbres para el transporte en el siglo XXI», Sociología y tecnociencia. Revista digital de sociología del sistema tecnocientífico, vol. 11, N^o Extra 2, 2021 (Ejemplar dedicado a: The Impact of Advances in Artificial Intelligence, Autonomous Learning Systems, and Science), pp. 17–36

Ver Texto

(45)

Generar un ecosistema de confianza constituye un objetivo político en sí mismo, y debe ofrecer seguridad a los ciudadanos para que adopten las aplicaciones de la inteligencia artificial y seguridad jurídica a las empresas y organismos públicos para que innoven usando esta última. La Comisión respalda firmemente un enfoque antropocéntrico que se base en la Comunicación Generar confianza en la inteligencia artificial centrada en el ser humano, y tendrá en cuenta también los resultados obtenidos durante la fase de prueba de las directrices éticas elaboradas por el grupo de expertos de alto nivel sobre la IA.

Ver Texto

(46)

El cuestionario en línea se dividía en tres secciones: 1) acciones específicas para la construcción de un ecosistema de excelencia que apoye el desarrollo y la adopción de la IA en toda la economía y la administración pública de la UE; 2) opciones para un marco regulador de la IA; 3) aspectos de seguridad y responsabilidad de la IA. La consulta pública registró 1.215 respuesta a través de una encuesta en línea. El 84% de El 84% de las contribuciones procedía de los 27 Estados miembros de la UE. de todo el mundo: Reino Unido, Estados Unidos, Suiza, Noruega, Japón, India, Turquía y China.

Ver Texto

(47)

Comisión Europea, «Public consultation on the AI White Paper. Final report», noviembre 2020 (https://digital–strategy.ec.europa.eu/es/node/798(.

Ver Texto

(48)

Véase J. Castellanos Claramunt, «La gestión de la información en el paradigma algorítmico: inteligencia artificial y protección de datos», Métodos de Información, vol. 11, n^o 21, 2020, pp. 59–82; C. Fernández Hernández, «La nueva estrategia europea sobre el dato y la inteligencia artificial. Foto fija de un diseño en evolución», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o. 5 (abril– junio), 2020; M. Cordero Valdavida, «Normativa europea y control en la economía digital: de la disponibilidad de los datos a la inteligencia artificial», Consultor de los Ayuntamientos y de los Juzgados, extra n^o 4, 2023.

Ver Texto

(49)

R. Max, A. Kriebitz y C. Von Websky, «Ethical Considerations About the Implications of Artificial Intelligence in Finance», Handbook on Ethics in Finance. International Handbooks in Business Ethics (L. San–Jose, J.L. Retolaza y L. van Liedekerke, eds.), Cham. Springer, 2021, pp. 577–592.

Ver Texto

(50)

Comunicación de la Comisión al Parlamento europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones: «Una Estrategia Europea de Datos» CCOM (2020) 66 final), Bruselas, 19 febrero 2020 (https://eur–lex.europa.eu/legal–content/ES/TXT/HTML/?uri=CELEX:52020DC0066(.

Ver Texto

(51)

Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) (LA LEY 10113/2021) y se modifican, determinados actos legislativos de la Unión, COM(2021) 206 final, 21 abril 2021 (https://eur–lex.europa.eu/legal–content/ES/TXT/HTML/?uri=CELEX:52021PC0206(. Dicha comunicación había sido precedida por una iniciativa del Consejo Europeo de 2017 que instaba «concienciarse de la urgencia de hacer frente a las nuevas tendencias, lo que comprende cuestiones como la inteligencia artificial [...], garantizando al mismo tiempo un elevado nivel de protección de los datos, así como los derechos digitales y las normas éticas» (https://www.consilium.europa.eu/media/21604/19–euco–final–conclusions–es.pdf(. El objetivo de la Comunicación de 2018 fue aumentar la inversión pública y privada para que alcance al menos 20.000 millones de euros al año durante la próxima década. Estas inversiones debían permitir incrementar el volumen de datos disponibles, fomentar el talento y garantizar la confianza de los ciudadanos. En el marco de esta estrategia, la Comisión Europea ha designó a los miembros del Grupo Independiente de Expertos de Alto Nivel sobre Inteligencia Artificial, que adoptó unas Directrices éticas para una IA fiable (Bruselas, Comisión Europea, 2019). Véase C. Grieco, «Intelligenza artificiale e diritti umani nel diritto internazionale e dell’Unione europea. Alla ricerca di un delicato equilibrio», Ordine Internazionale e Diritti Umani, 2022, n^o 3, pp. 782–810, esp. 803–805.

Ver Texto

(52)

Véase P.A. De Miguel Asensio, «Propuesta de Reglamento sobre Inteligencia Artificial», La Ley: Unión Europea, n^o 92, mayo 2021; L. Cotino, «Un análisis crítico constructivo de la Propuesta de Reglamento de la Unión Europea por el que se establecen normas armonizadas sobre la Inteligencia Artificial (Artificial Intelligence Act)», Diario La Ley, 2 julio 2021; M. De Hoyos Sancho, «El proyecto de Reglamento de la Unión Europea sobre inteligencia artificial, los sistemas de alto riesgo y la creación de un ecosistema de confianza», Justicia poliédrica en periodo de mudanza: Nuevos conceptos, nuevos sujetos, nuevos instrumentos y nueva intensidad (S. Barona Vilar, ed.), Valencia, Tirant lo Blanch, 2022, pp. 403–422; M. Grande Sanz, «La propuesta de reglamento sobre inteligencia artificial: presente y futuro», Fodertics 10.0: estudios sobre derecho digital (F. Bueno de Mata e I. González Pulido, eds.), Granada, Comares, 2022, pp. 975–807; A. Gascón Marcén, «La propuesta de Reglamento de la Comisión Europea por el que se establecen normas armonizadas en materia de inteligencia artificial», Retos de la sociedad digital. Regulación y fiscalidad en un contexto internacional (M.C. Tirado Robles y otros, dirs.), Barcelona, Reus, 2022, pp. 15–40; E. Gamero Casado, «El enfoque europeo de inteligencia artificial», Revista de Derecho Administrativo, 20, 2021, pp. 268–289; G. Sinha y R. Dunbar, «Artificial intelligence and its regulation in the European Union», Regulating artificial intelligence in industry (D. Bielicki, ed.), Abingdon, U.K., Routledge, 2021, pp. 3–20.

Ver Texto

(53)

V. Álvarez García y J. Tahiri Moreno, «La regulación de la inteligencia artificial en Europa a través de la técnica armonizadora del nuevo enfoque», Revista General de Derecho Administrativo, 2023.

Ver Texto

(54)

A. Soriano Arnanz, «La propuesta de Reglamento de Inteligencia Artificial de la Unión Europea y los sistemas de alto riesgo», Revista General de Derecho de los Sectores Regulados, n^o 8, 2021.

Ver Texto

(55)

Se debatieron más de 3.000 enmiendas al proyecto de informe del PE sobre la propuesta de Ley IA, lo que demuestra la fuerza democrática del debate sobre la gobernanza de la IA a través de la regulación. Finalmente se aprobaron 771 enmiendas. Véase «Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) (LA LEY 10113/2021) y se modifican determinados actos legislativos de la Unión» (COM(2021)0206 – C9–0146/2021 – 2021/0106(COD)) (https://www.europarl.europa.eu/doceo/document/TA–9–2023–0236_ES.html(; M. Barrio Andrés, «Novedades en la tramitación del próximo Reglamento europeo de inteligencia artificial», Real Instituto Elcano, ARI, n^o 67, 2023, 19 julio 2023.

Ver Texto

(56)

M.D. García Sánchez, «Propuesta de reglamento europeo sobre inteligencia artificial: especial referencia a la identificación biométrica remota y los sistemas de puntuación social», Fodertics 10.0…, op. cit., pp. 779–793.

Ver Texto

(57)

Los gobiernos alemán y francés expresaron serias reticencias. Mientras que el primero criticó la inadecuada regulación de los modelos de base de IA más pequeños y los obstáculos para el control biométrico posterior, que en su opinión eran demasiado bajos. El Gobierno francés tampoco estaba satisfecho con el proyecto resultante, por considerar que estaba excesivamente regulado y entender la observancia de normas más laxas sobre vigilancia biométrica.

Los países de la UE adoptaron la ley sobre IA a principios de febrero, tras semanas de debate. La decisión había estado en suspenso durante semanas debido a las preocupaciones existentes, sobre todo en Alemania y Francia.

Ver Texto

(58)

La Presidencia española del Consejo de la UE celebró con júbilo el último acuerdo conseguido entre los 27 Estados miembros y el Parlamento Europeo, porque, en su opinión, lo que habían consensuado ambos organismos era nada menos que la primera norma de inteligencia artificial del mundo Y aunque debía atravesar trámites administrativos y no se esperaba que entrase en vigor plenamente hasta dentro de varios años, marcaba un hito en la historia de la regulación de la IA.

Ver Texto

(59)

Tras el acuerdo político alcanzado el 8 de diciembre de 2023, se puso a disposición un borrador no oficial de la Ley IA. Hay varias versiones disponibles en línea, una de ellas publicada por el editor de tecnología de Euractiv, Luca Bertuzzi, que compara la propuesta de la Comisión, las revisiones del Parlamento Europeo, la versión del Consejo y, por último, el proyecto de acuerdo final. Tiene casi 900 páginas, pero contiene referencias muy útiles de todas las enmiendas propuestas y finales. La segunda, que es aproximadamente un tercio más larga, fue publicada poco después por la asesora principal del Parlamento Europeo (véase Regulation of the European Parliament and of the Council. Laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain union legislative acts,ormatted by: K. Ginena (https://docs.google.com/document/d/1k0vNLaU__btQrN1AREEnUo5LANJGiSPw/edit(. La tercera se encuentra en la web actualizada del Future of Life Institute (FLI) una organización independiente sin ánimo de lucro que trabaja para reducir los riesgos extremos a gran escala de las tecnologías transformadoras (https://artificialintelligenceact.eu/es/ai–act–explorer/(.

Ver Texto

(60)

Reglamento (UE) 2016/679, del Parlamento Europeo y del Consejo, de 27 de abril de 2016 (LA LEY 6637/2016), sobre la protección de las personas físicas en lo que respecta al tratamiento de datos personales y sobre la libre circulación de estos datos, DO L 119 de 4.5.2016.

Ver Texto

(61)

Directiva (UE) 2016/1148 del Parlamento Europeo y del Consejo, de 6 de julio de 2016 (LA LEY 11863/2016), relativa a las medidas destinadas a garantizar un elevado nivel común de seguridad de las redes y sistemas de información en la Unión, DO L 194 de 19.7.2026. Véase C. Heredero del Campo, «Nueva Directiva Europea NIS 2. Un avance en la regulación de la ciberseguridad para las actuales sociedades digitalizadas modernas», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 16, 2023.

Ver Texto

(62)

Propuesta de Directiva del Parlamento Europeo y del Consejo relativa a la adaptación de las normas de responsabilidad civil extracontractual a la inteligencia artificial (Directiva sobre responsabilidad en materia de IA)», (COM(2022) 496 final, 28 septiembre 2022.

Ver Texto

(63)

COM(2022) 495 final. Los equipos y programas informáticos están actualmente sujetos a las normas vigentes en materia de responsabilidad por los daños causados por productos defectuosos. Esto implica que los fabricantes y proveedores de dichos equipos y programas son responsables de los daños que puedan surgir como resultado de defectos en su diseño, fabricación o instrucciones de uso. Teniendo en cuenta que el objetivo fundamental de la Ley IA consiste en asegurar que los sistemas de IA de alto riesgo cumplan con los requisitos esenciales de seguridad y protección de los derechos fundamentales, tales como la gobernanza de datos, la transparencia y la supervisión humana, esta propuesta de la Directiva busca establecer un marco normativo que garantice la posibilidad de obtener una indemnización en casos donde los sistemas de IA, al ser defectuosos, ocasionen daños físicos, materiales o pérdidas de datos. Este enfoque implica la capacidad de solicitar dicha compensación tanto al proveedor de sistemas de IA como a cualquier fabricante que incorpore un sistema de IA en otro producto, buscando con ello busca fortalecer la protección de los consumidores y usuarios finales ante los riesgos asociados con los productos de IA, asegurando la responsabilidad adecuada de los agentes involucrados en su desarrollo, producción y comercialización. Véase J. Torre de Silva y López de Letona, «Responsabilidad por daños causados por sistemas de Inteligencia Artificial», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 11, 2022

Ver Texto

(64)

La creación de la Oficina de Inteligencia Artificial, encargada de supervisar los modelos de IA, representa un paso significativo en la aplicación de la legislación garantizando una representación diversa y especializada de los diferentes Estados miembros de la UE a través de una serie de expertos que desempeñarán un papel crucial en la supervisión y evaluación de los modelos de IA, así como en la elaboración de directrices y recomendaciones para su aplicación efectiva.

Ver Texto

(65)

(https://digital–strategy.ec.europa.eu/es/policies/ai–pact(.

Ver Texto

(66)

C.N. Pehlivan, «The EU Artificial Intelligence (AI) Act: An Introduction», Global Privacy Law Review, vol. 5, n^o 1, 2024, pp. 31–42.

Ver Texto

(67)

Véase Propuesta de Directiva sobre responsabilidad en materia de IA, (COM(2022) 496 final, 28 septiembre 2022. E. Rajneri Karageorgevitch, «Projets de législation européenne sur la responsabilité pour les dommages causés par l’intelligence artificielle: à la recherche d’un équilibre entre les intérêts des consommateurs, des multinationales et des PME», Rev. trim. dr. eur., vol. 74, n^o 3, 2022, pp. 629–652.

Ver Texto

(68)

No obstante, aunque la UE esté abriendo camino, no puede aseverarse que otros países sigan su ejemplo en el futuro. Véase J. Eynard y C. Castets–Renard, eds., Un droit de l’intelligence artificielle. Entre règles sectorielles et régime général : perspectives comparée, Bruselas, Bruylant, 2023.

Ver Texto

(69)

N.A. Smuha, «From a ‘race to AI’ to a ‘race to AI regulation’: regulatory competition for artificial intelligence», Law, Innovation and Technology, 2021, pp. 57–84.

Ver Texto

(70)

J. Laux, S. Wachter y B. Mittelstadt, «Trustworthy artificial intelligence and the European Union AI act: On the conflation of trustworthiness and acceptability of risk», Regulation & Governance, vol. 18, n^o 1, 2024, pp. 3–32.

Ver Texto

(71)

La IA en la empresa se ha convertido en una herramienta orientada a identificar situaciones potenciales de riesgo o conductas indebidas de los trabajadores a través de la obtención de datos y su tratamiento algorítmico, que conllevan a una mayor protección y una disminución de situaciones peligrosas en el entorno empresarial. Véase, inter alia, J.C. García Quiñones, «Inteligencia artificial y relaciones laborales: entre la significación creciente de los algoritmos y el desmentido de su neutralidad aparente», Temas laborales, n^o 167, 2023, pp. 75–126

Ver Texto

(72)

Un «sistema de IA» en el texto de la Ley se inclina por una definición descriptiva, al considerarla como «un sistema basado en máquinas diseñado para funcionar con distintos niveles de autonomía, que puede mostrar capacidad de adaptación tras su despliegue y que, para objetivos explícitos o implícitos, infiere, a partir de la entrada que recibe, cómo generar salidas tales como predicciones, contenidos, recomendaciones o decisiones que pueden influir en entornos físicos o virtuales». El término se ajusta tanto a la definición actualizada de la OCDE de sistemas de IA publicada en 2023 como a la definición establecida por la administración Biden en su Orden Ejecutiva 14110 sobre el Desarrollo y Uso Seguro y Confiable de la IA publicada en octubre de 2023.

Ver Texto

(73)

El análisis de los documentos de la UE sobre la implantación de la IA como tecnología de uso general y para aplicaciones militares revela que la identificación de riesgos es un elemento crucial para la confianza como un componente necesario en la adopción de la IA. Véase S. Schmid, «Trustworthy and Explainable : a European Vision of (Weaponised) Artificial Intelligence», Die Friedens–Warte: Blätter für internationale Verständigung und zwischenstaatliche Organisation. vol. 95, núms., 3–4, 2022, pp. 290–315.

Ver Texto

(74)

Desde una perspectiva jurídica, es crucial reconocer que la estrategia en el ámbito IA debe aprovechar los sólidos niveles de protección establecidos por la reciente legislación europea sobre datos. En este contexto, el emergente derecho de las personas a la portabilidad de sus datos personales puede ser incorporado de manera significativa en la esfera ciudadana, facultando al Estado y a las autoridades locales para la recuperación de tales datos y su posterior utilización en el desarrollo de las aplicaciones de la IA. Véase G. Contaldi, «Intelligenza artificiale e dati personali», Ordine Internazionale e Diritti Umani, 2021, n^o 5, pp. 1193–1213.

Ver Texto

(75)

Véase sobre esta cuestión J. Scott, «Extraterritoriality and territorial extension in EU law», Am. J. Comp. L., vol. 62, n^o 1, 2024. pp. 87–126.

Ver Texto

(76)

Resulta de gran utilidad en esta materia la monografía de B. Cappiello, AI–systems and non–contractual liability : a European private international law análisis, Turín, Giappichelli, 2022.

Ver Texto

(77)

Un análisis detallado de estas cuestiones se incluye en el estudio de K. Henckel, «Issues of conflicting laws – a closer look at the EU’s approach to artificial intelligence», Nederlands internationaal privaatrecht, vol. 41, n^o 2, 2023, p. p. 199–226

Ver Texto

(78)

La IA ha revolucionado drásticamente el paradigma político existente, permitiendo formas más difusas de participación política más allá de las elecciones, como la divulgación sin restricciones de datos gubernamentales en línea. La urna electrónica puede registrar, contar y tabular los votos, sin embargo, la llegada de estos dispositivos electrónicos ha provocado el desarrollo de movimientos contra el voto electrónico renovados por el hecho de que estas máquinas ya no se basan en la organización colectiva, a diferencia del voto en papel, sino en la programación algorítmica. Véase B. Daoudi, «Contester les algorithmes sur le terrain électoral : le cas des machines à voter en France», Étique Publique, vol. 23, n^o 2, 2021 (https://doi.org/10.4000/ethiquepublique.6573(.

Ver Texto

(79)

Véase por todos, M. Presno Linera, Derechos fundamentales e inteligencia artificial, Marcial Pons, 2022.

Ver Texto

(80)

La inteligencia artificial (IA) ha llegado también a los consejos de administración de las grandes sociedades anónimas cotizadas permitiendo realizar muchas tareas administrativas y analíticas del consejo de administración de forma más eficiente y económica que dará a la sociedad anónima una ventaja competitiva en este sentido. Como es lógico, debe establecerse un canon de obligaciones específico para el empleo de la IA por el consejo de administración con el fin de evitar casos de responsabilidad. Véase C. Calabro, Künstliche Intelligenz und Corporate Governance: der Einsatz von Künstlicher Intelligenz im Vorstand der börsennotierten Aktiengesellschaft, Berlin, Duncker & Humblot, 2023; M. Telle, Einsatz Künstlicher Intelligenz zur vorbereitenden Unterstützung von Leitungsentscheidungen des Vorstands einer AG, Berlín, Duncker & Humblot, 2023. Al lado del empleo de la IA en la toma de decisiones también se utiliza en la selección de los miembros del consejo de administración con la consiguiente repercusión en las normativas de diversidad de género que se están incorporando en los últimos tiempos. Véase M. Eroğlu y M. Karatepe Kaya, «Impact of Artificial Intelligence on Corporate Board Diversity Policies and Regulations», European business organization law review, vol. 23, n^o 3, 2022, pp. 541–572.

Ver Texto

(81)

Véase E. Hilgendorf y otros, Die neue Verordnung der EU zur Künstlichen Intelligenz: Rechtsfragen und Compliance, Múnich, C.H.Beck, 2023.

Ver Texto

(82)

En materia de vigilancia hubo que superar serias diferencias de opinión entre el Parlamento de la UE y los Estados miembros. Mientras que el Consejo de la UE quería establecer el mayor número posible de opciones para permitir la vigilancia biométrica mediante IA, como el reconocimiento facial basado en IA en la videovigilancia, o para autorizar medidas policiales preventivas basadas en el análisis de datos (policía predictiva). El compromiso alcanzado para la versión final de la ley sobre IA supone ahora un gran avance para complacer al Consejo de la UE. Establece prohibiciones fundamentales, por ejemplo, contra el uso del reconocimiento facial en tiempo real en medidas de vigilancia o contra la categorización biométrica utilizando características como la orientación sexual o las creencias religiosas.

Ver Texto

(83)

En este sector el empleo de la IA se proyecta en el aprendizaje colaborativo profesor–alumno, los sistemas de tutoría inteligente, la evaluación automatizada y el aprendizaje personalizado, pero también ofrece aspectos negativos e importantes cuestiones éticas. Véase F. Kamalov, D. Santandreu Calonge e I. Gurrib, «New Era of Artificial Intelligence in Education: Towards a Sustainable Multifaceted Revolution,» Sustainability (Publisher of Open Access Journals), vol. 15, n^o 16, 2023, pp. 1–27.

Ver Texto

(84)

Una de las características destacadas en los avances recientes en IA en su capacidad para proporcionar información clara sobre la incertidumbre asociada a las predicciones que generan y en el contexto de la determinación del estatus de refugiado brindando a los responsables de la toma de decisiones una comprensión más completa de la incertidumbre inherente en sus evaluaciones. Sin embargo, m muchos sistemas de determinación de la condición de refugiado en todo el mundo se basan en la inferencia inductiva, lo que puede distorsionar la evaluación del riesgo al no considerar adecuadamente la incertidumbre y conducir a decisiones sesgadas o erróneas que afectan negativamente a los solicitantes de asilo. Al proporcionar una evaluación más precisa del riesgo, la IA puede contribuir a mejorar la equidad y la justicia en el proceso de determinación del estatus de refugiado, asegurando que las decisiones se tomen de manera más informada y objetiva. Véase H.E. Cameron, A. Goldfarb y L. Morris, «Artificial Intelligence for a Reduction of False Denials in Refugee Claims», Journal of refugee studies, vol. 35, n^o 1, 2022, pp. 493–510.

Ver Texto

(85)

La integración creciente de los sistemas de IA en los fundamentos institucionales de la democracia es un fenómeno notable en la era digital actual. Plataformas como Twitter se han convertido en herramientas indispensables para los partidos políticos y líderes, quienes las utilizan para una variedad de propósitos políticos. Estas plataformas se utilizan para señalar afiliaciones políticas, lo que permite a los partidos y líderes políticos identificarse con determinadas ideologías, agendas o coaliciones y comunicar sus principios y valores fundamentales a un público más amplio. Las redes sociales se han convertido en un medio crucial para promover una imagen positiva de los partidos políticos y sus líderes, pues a través de publicaciones cuidadosamente elaboradas y estrategias de comunicación, los políticos buscan proyectar una imagen favorable que resuene con los votantes y fortalezca su base de apoyo. Estas plataformas también se utilizan para expresar el rechazo al punto de vista de la oposición aprovechando los políticos las redes sociales para criticar las políticas y declaraciones de sus adversarios, defendiendo sus propias posturas y desacreditando las de sus contrincantes. Como es lógico, todos estos instrumentos deben estar protegidos de cualquier manipulación con el concurso de la IA. Por el empleo de esta última únicamente debe ser utilizado para avanzar la participación en todo el proceso político de diversas formas a través del denominado «algoritmo democratizador». Véase G.I. Zekos, «AI and Politics», Political, Economic and Legal Effects of Artificial Intelligence. Contributions to Political Science (G.I. Zekos, ed.), Cham, Springer, 2022, pp. 403–472.

Ver Texto

(86)

La IA se ha utilizado en decisiones relativas a la admisibilidad, acogida e incluso deportación de migrantes y refugiados en un territorio y como quiera que dichas decisiones pueden cambiar el curso de la vida de las personas, es imperativo verificar la neutralidad de los algoritmos utilizados. Véase C. Laupman, L.–M. Schippers y M. Papaléo Gagliardi, «Biased Algorithms and the Discrimination upon Immigration Policy», Law and Artificial Intelligence. Information Technology and Law Series (B. Custers y E. Fosch–Villaronga, eds.), La Haya, T.M.C. Asser Press, 2022, pp. 187–204.

Ver Texto

(87)

Poco antes de la última ronda de negociaciones, estalló un conflicto en torno a los sistemas de IA especialmente importantes y potentes, los modelos básicos. Estos constituyen la base de otras muchas aplicaciones. El ejemplo más conocido es el ChatGPT. Alemania, junto con Francia e Italia, había pedido que estos modelos quedaran exentos de normas vinculantes y que el compromiso fuera únicamente voluntario. Esta postura no prevaleció:

Ver Texto

(88)

Esta evaluación se utiliza en China para clasificar a los ciudadanos en categorías de comportamiento.

Ver Texto

(89)

S. Liu et al, «Multi–modal fusion network with complementarity and importance for emotion recognition», Information Sciences, vol. 619, 2023, pp. 679–694; S.K. Khare et al, «Emotion recognition and artificial intelligence: A systematic review (2014–2023) and research recommendations», Information Fusion, vol. 102, 2024, 102019.

Ver Texto

(90)

El reconocimiento biométrico es, sin duda, una herramienta tecnológica valiosa que se basa en la singularidad de los rasgos físicos o comportamentales de un individuo para identificarlo de manera única. Esta tecnología utiliza algoritmos de inteligencia artificial o machine learning para analizar y comparar los datos biométricos capturados con los almacenados en una base de datos. Entre los métodos de reconocimiento biométrico más comunes se encuentran: a) reconocimiento facial, que analiza características únicas de la cara de una persona, como la forma de los ojos, la nariz, la boca y la distribución de las arrugas, para identificarla; .b) reconocimiento de huellas dactilares, que utiliza los patrones únicos presentes en las crestas y valles de las huellas digitales para la identificación; c) Reconocimiento del iris, basado en los patrones del iris del ojo, como las líneas, puntos y manchas, que son únicos en cada individuo; d) reconocimiento de voz, que Analiza características únicas de la voz de una persona, como la entonación, el tono y la frecuencia, para identificarla. Estos métodos de reconocimiento biométrico son utilizados en una amplia gama de aplicaciones, desde el desbloqueo de dispositivos móviles hasta la identificación en sistemas de seguridad de alta tecnología. Desde el punto de vista policial ofrece varias ventajas, entre ellas: a) mayor seguridad, pues los datos biométricos son únicos para cada individuo, lo que hace que sea difícil de falsificar o suplantar; b) mayor comodidad, pues no se requiere recordar contraseñas o llevar tarjetas de identificación, ya que la identificación se realiza de forma automática mediante características físicas o de comportamiento; y, c) eficiencia en función de su rapidez rápidos y de no requerir de una acción activa por parte del usuario, lo que los hace ideales para aplicaciones de acceso rápido. Sin embargo, también hay desafíos y preocupaciones asociadas con el uso del reconocimiento biométrico, como la privacidad y el almacenamiento seguro de datos biométricos, así como la posibilidad de sesgos algorítmicos que podrían llevar a identificaciones incorrectas o injustas. En resumen, el reconocimiento biométrico es una herramienta poderosa que ofrece una forma segura y conveniente de identificar a las personas en una variedad de contextos, pero también plantea desafíos que deben abordarse de manera responsable y ética. Véase V. Rajasekar, et al, «Efficient multimodal biometric recognition for secure authentication based on deep learning approach», International Journal on Artificial Intelligence Tools 32.03, 2023: 2340017.

Ver Texto

(91)

V.L. Raposo, «The Use of Facial Recognition Technology by Law Enforcement in Europe: A Non–Orwellian Draft Proposal», European Journal on Criminal Policy and Research, junio de 2022 (https://link.springer.com/article/10.1007/s10610–022–09512–y(.

Ver Texto

(92)

S. Larsson y F. Heintz, «Transparency in artificial intelligence», Internet Policy Review, vol. 9, n^o 2, 2020 (https://doi.org/10.14763/2020.2.1469(.

Ver Texto

(93)

M. Rotenberg, «Artificial Intelligence and the Right to Algorithmic Transparency», The Cambridge Handbook of Information Technology, Life Sciences and Human Rights (M. Ienca et al. eds.), Cambridge University Press, 2022, pp. 153–165.

Ver Texto

(94)

La traducción literal al castellano «cajón de arena» no sólo hace referencia a los parques infantiles donde los niños pueden jugar de forma segura y libre, sino a un entorno de pruebas aislado que permite la supervisión de un sistema y evita que programas maliciosos dañen un sistema informático. En el ámbito de la regulación, un sandbox regulador es un instrumento diseñado para probar nuevos servicios y productos en un entorno regulador creado artificialmente. Los sandboxes regulatorios integran la tendencia a promover la llamada regulación inteligente, que puede verse como una estrategia regulatoria que busca micro optimizar el sistema y adaptar la regulación a los avances tecnológicos. Véase S.T. Omarova, «Technology v Technocracy: Fintech as a Regulatory Challenge», Journal of Financial Regulation, vol. 6, n^o 1, 2020, 75–124 (https://academic.oup.com/jfr/article/6/1/75/5858319(.

Ver Texto

(95)

OCDE, «Regulatory Sandboxes in Artificial Intelligence», OEDE Digital Economy Papers, n^o 356, julio, 2023 (https://www.oecd–ilibrary.org/docserver/8f80a0e6–en.pdf?expires=1712313098&id=id&accname=guest&checksum=38BCBACE3C3216316C3F4F21CC92A5B7(.

Ver Texto

(96)

S. Ranchordas, «Experimental lawmaking in the EU: Regulatory Sandboxes», University of Groningen Faculty of Law Research Paper. No. 12/2021, 2021–2022 (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3963810(.

Ver Texto

(97)

En España el Real Decreto 817/2023 (LA LEY 29419/2023), publicado el 8 de noviembre, establece el primer entorno controlado de pruebas (Sandbox) en colaboración con la Comisión Europea para evaluar la aplicación de la Propuesta de Reglamento de Inteligencia Artificial. Esta iniciativa fue parte de la estrategia española de transformación digital y responde al compromiso de fortalecer la protección de derechos individuales y colectivos en la Carta de Derechos Digitales (LA LEY 16317/2021). Las convocatorias para participar en proyectos de inteligencia artificial (IA) en España están abiertas a proveedores y usuarios de IA que residan o tengan establecimiento en el país. Sin embargo, se excluyen los sistemas con fines militares o de seguridad nacional, aquellos que empleen técnicas subliminales, así como los que identifiquen biométricamente en tiempo real para aplicación de la ley, a menos que existan casos específicos que lo justifiquen. Estas convocatorias son aprobadas por la Secretaría de Estado de Digitalización e IA y especifican criterios, duración y condiciones para la participación. Los participantes deben cumplir una serie de requisitos, como llevar un Registro de Actividades del Tratamiento y realizar análisis de riesgos y Evaluación de Impacto relativa a la Protección de Datos, garantizando así el cumplimiento de las normativas de protección de datos y la seguridad en el uso de la IA en España. Véase C.B. Fernández, «Estructura y contenido del Real Decreto 817/2023, de 8 de noviembre (LA LEY 29419/2023), por el que se establece un entorno controlado de pruebas (sandbox), para el ensayo de sistemas de inteligencia artificial», Derecho Digital e Innovación. Digital Law and Innovation Review, n^o 18, 2023

Ver Texto

(98)

T. Buocz, S. Pfotenhauer e I. Eisenberger, «Regulatory sandboxes in the AI Act: reconciling innovation and safety?», Law, Innovation and Technology, vol. 15, n^o 2, 2023, pp. 357–389; K. Yordanova y N. Bertels, «. Regulating AI: Challenges and the Way Forward Through Regulatory Sandboxes», Multidisciplinary Perspectives on Artificial Intelligence and the Law (H. Sousa Antunes et al., eds.), Law, Governance and Technology Series 58, Cham, Springer, 2024, pp. 441–456.

Ver Texto

(99)

La política española para impulsar la IA se estableció en 2020 con el objetivo de hacer de la IA un componente fundamental en la transformación del tejido productivo del país, priorizándose un enfoque transversal que abarca tanto la industria como los servicios, con el propósito de mejorar la eficiencia y la toma de decisiones en diversos sectores. Como parte de esta visión, el gobierno de España aprobó la Estrategia Nacional de Inteligencia Artificial (ENIA), como parte del Plan de Recuperación, Transformación y Resiliencia (LA LEY 9394/2021), asignando un presupuesto de 600 millones de euros destinado a impulsar la IA. Este plan busca fomentar la innovación y el desarrollo de la IA como industria, así como su integración en las cadenas de valor económicas. la Ley 22/2021, de 28 de diciembre, de Presupuestos Generales del Estado para el año 2022 (LA LEY 28442/2021), recogió, en su Disposición adicional centésimo trigésima, la «creación de la Agencia Española de Supervisión de Inteligencia Artificial». La creación de la Agencia se fundamentó en la obligación establecida en aquel momento en Propuesta de Reglamento del Parlamento Europeo y del Consejo sobre Inteligencia Artificial según la cual los Estados miembros deben seleccionar una «autoridad nacional de supervisión» para supervisar la aplicación de la mencionada Ley, coordinar las actividades relacionadas y actuar como punto de contacto único para la Comisión Europea. Además, esta autoridad representará al Estado miembro ante el Comité Europeo de Inteligencia Artificial. Véase A. Artero Muñoz, C.F. Ruiz de Toledo Rodríguez y P. Mairal Medina, «Agencia Española de Supervisión de la Inteligencia Artificial, la clave para un desarrollo tecnológico ético, justo y sostenible», Revista Española de Control Externo, vol. XXV, n.^o 74–75, 2023, pp. 32–45.

Ver Texto

(100)

DO n^o 1459 de 14.2.2024.

Ver Texto

(101)

El art. 2 de la Decisión de la Comisión, de 24 de enero de 2024, establece la «Misión y funciones» de la Oficina: «1. La Oficina desempeñará las funciones establecidas en el artículo 3 a efectos de la aplicación y la ejecución del próximo Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial (en lo sucesivo, «el próximo Reglamento»). 2. La Oficina desempeñará, además, las funciones siguientes: a) contribuir al enfoque estratégico, coherente y efectivo de la Unión respecto de las iniciativas internacionales en materia de IA con arreglo al artículo 7, en coordinación con los Estados miembros y según las posiciones y políticas de la Unión; b) contribuir a la promoción de acciones y políticas en la Comisión que aprovechen los beneficios sociales y económicos de las tecnologías de IA con arreglo al art. 5; c) apoyar el desarrollo, la implantación y el uso acelerados de sistemas y aplicaciones de IA fiables que aporten beneficios sociales y económicos y contribuyan a la competitividad y el crecimiento económico de la Unión. En particular, la Oficina promoverá los ecosistemas de innovación a través de la colaboración con los agentes públicos y privados pertinentes y con la comunidad de empresas emergentes; d) supervisar la evolución de los mercados y las tecnologías de IA. 3. En el desempeño de las funciones a que se refieren los aps. 1 y 2 del presente artículo, la Oficina: a) colaborará con las partes interesadas, en particular con los expertos de la comunidad científica y los desarrolladores de IA, con arreglo al art. 4; b) colaborará con las Direcciones Generales y los servicios pertinentes de la Comisión con arreglo al art. 5; c) cooperará con todos los órganos y organismos pertinentes de la Unión, en particular la Empresa Común de Informática de Alto Rendimiento Europea (Empresa Común EuroHPC), de conformidad con el art. 6; d) cooperará con las autoridades y organismos de los Estados miembros en nombre de la Comisión

Ver Texto

(102)

Algunos países están negociando acuerdos internacionales, como el Tratado de Libre Comercio de América del Norte (TLCAN), que podrían limitar la capacidad de los gobiernos para regular la IA de manera soberana. Véase A. Goldfarb y D. Trefler, «Artificial Intelligence and International Trade», The Economics of Artificial Intelligence…, op. cit., pp. 463–491.

Ver Texto

(103)

Esta situación fue reconocida por el Secretario General de las Naciones Unidas al exhortar por la necesidad de trabajar para lograr una IA que reduzca las divisiones sociales, digitales y económicas, en lugar de alejarnos más», en sus declaraciones durante el Debate del Consejo de Seguridad sobre la IA en julio de 2023.

Ver Texto

(104)

Z. Drnas de Clément, «Inteligencia artificial en el Derecho Internacional, Naciones Unidas y Unión Europea», loc. cit.

Ver Texto

(105)

Comisión Europea, «La Alianza Europea de IA» (https://digital–strategy.ec.europa.eu/es/policies/european–ai–alliance#ecl–inpage–l6gfrxz6(.

Ver Texto

(106)

La Cuarta Asamblea de la AI Alliance tuvo lugar los días 16 y 17 de noviembre de 2023 en Madrid, centrándose en aspectos políticos que buscan posicionar a la UE como líder en IA confiable a nivel mundial. Véase la Declaración sobre el refuerzo y la convergencia de la política digital y marcos regulatorios en materia de AI (Madrid, 16 de noviembre de 2023), que incluye un Anexo relativo a una Propuesta preliminar de los trabajos sobre refuerzo y la política digital y los marcos reguladores sobre las AI que se explorará con todos los países de la UE y América Latina y el Caribe en el contexto de la Alianza Digital. Dichos trabajos comprenden: a) intercambio de mejores prácticas sobre regulación de la IA; b) fomento de un entorno en el que el desarrollo de la IA prospere a través de las diversidades lingüísticas; c) cumplimiento de las directrices éticas esbozadas por la UNESCO para fomentar prácticas de IA responsables e inclusivas; d) definición conjunta de la forma de inversión que se asignará a la Alianza Digital; e) mantenimiento de un diálogo regular para intercambiar información con vistas a la convergencia de las políticas digitales y los marcos normativos en materia de IA. Dentro de ese diálogo, los Estados tendrán bajo su consideración el desarrollo de legislación y, como posibilidad, de sandboxes para IA innovadora y aceleradores innovadores y fiables, y compartir las buenas prácticas y las lecciones aprendidas a este respecto, en particular para ayudar a las nuevas empresas innovadoras y a las pymes a crear IA fiable (https://www.lamoncloa.gob.es/serviciosdeprensa/notasprensa/asuntos–economicos/Documents/2023/171123–Statement%20on%20AI_EU_LAC_Final.pdf(.

Ver Texto

(107)

The Bletchley Declaration by Countries Attending the AI Safety Summit, 1–2 November 2023 (https://www.gov.uk/government/publications/ai–safety–summit–2023–the–bletchley–declaration/the–bletchley–declaration–by–countries–attending–the–ai–safety–summit–1–2–november–2023(. La Declaración es producto de la AI Safety Summit, una cumbre que ha tenido esta tecnología como temática central a la inteligencia artificial y que fue celebrada en Buckinghamshire, Inglaterra. En la cumbre, los presentes coincidieron en la posibilidad de que aparezcan riesgos sustanciales por el uso indebido intencional de la IA y en que existe una especial preocupación por aquellos relacionados con la ciberseguridad, biotecnología y desinformación.

Ver Texto

(108)

(https://european–ai–forum.com/(.

Ver Texto

(109)

(https://www.brookings.edu/projects/the–forum–for–cooperation–on–artificial–intelligence/(.

Ver Texto

(110)

Véase, con carácter general, la obra editada por A. Quintavalla y J. Temperman, Artificial intelligence and human rights, Oxford, Oxford University Press, 2023.

Ver Texto

(111)

COREPER, «Inteligencia artificial: b) Conclusiones relativas al Plan Coordinado sobre la Inteligencia Artificial» (6177/19), Bruselas, 11 febrero 2019.

Ver Texto

(112)

Agencia de los Derechos Fundamentales de la Unión Europea, Getting the Future Right: Artificial Intelligence and Fundamental Rights, 2020, en línea: https://fra.europa.eu/sites/default/files/fra_uploads/fra–2020–artificial–intelligence_en.pdf.

Ver Texto

(113)

Consejo de Europa, Algorithms and Human Rights. Study on the human rights dimensions of automated data processing techniques and possible regulatory implications, DGI(2017)12, marzo de 2018 (https://rm.coe.int/algorithms–and–human–rights–fr/1680795681(.

Ver Texto

(114)

C. Ashraf, «Exploring the impacts of artificial intelligence on freedom of religion or belief online», The international journal of human rights, vol. 26, n^o 5, 2022, pp. 757–791.

Ver Texto

(115)

https://www.defenseurdesdro (...) 71 Comisión de Venecia, Dictamen n^o 1031/2021 sobre la protección jurídica de los ciudadanos, 18 de octubre de 2021, punto 98.

Ver Texto

(116)

Vease P.A. de Miguel Asensio, «Territorialidad de los derechos de autor y mercado único digital», Cuadernos de Derecho Transnacional, vol. 12, n^o 2, 2020, pp. 349–371; G. Finocchiaro, «The regulation of artificial intelligence», AI & Society, 2023 (https://doi.org/10.1007/s00146–023–01650–z(.

Ver Texto

(117)

M. Abdallah y M. Salah, «Artificial Intelligence and Intellectual Properties: Legal and Ethical Considerations», International Journal of Intelligent Systems and Applications in Engineering, vol. 12. 1º, 2023. 368–376 (https://www.ijisae.org/index.php/IJISAE/article/view/3911(.

Ver Texto

(118)

Aunque todavía es un área es proceso en relación con el derecho de propiedad intelectual, se está llevando a cabo una gran cantidad de investigación emergente e interesante con respecto a su impacto en el derecho de patentes en particular. Véase G. Chimuka, «Impact of artificial intelligence on patent law. Towards a new analytical framework – [ the Multi–Level Model(», World Patent Information, vol. 59, december 2019, 101926,

Ver Texto

(119)

Hasta la fecha, la posibilidad de una IA General, lo suficientemente potente como para realizar cualquier tarea intelectual, ha constituido el referente obligado, pero muchos escenarios que requieren una IA más general, capaz de resolver un amplio abanico de tareas sin estar específicamente diseñada para ellas. Para ello se cuenta con los Sistemas de Inteligencia Artificial de Propósito General (GPAIS) referidos a máquinas dotadas de la capacidad de realizar una amplia gama de tareas intelectuales, reflejando las capacidades cognitivas de los seres humanos. A diferencia de la IA especializada diseñada para tareas específicas, la GPAI se esfuerza por emular la inteligencia humana en diversas actividades. Véase I. Triguero et al, «General Purpose Artificial Intelligence Systems (GPAIS): Properties, definition, taxonomy, societal implications and responsible governance», Information Fusion, vol. 103, marzo 2024, 102135 (https://www.sciencedirect.com/science/article/abs/pii/S1566253523004517(.

Ver Texto

(120)

La minería de textos es una metodología consistente en extraer información significativa y relevante de una variedad de documentos textuales heterogéneos, como páginas web, correos electrónicos, redes sociales y artículos de revistas, entre otros. Esta extracción se realiza mediante la identificación de patrones y estructuras dentro del texto, que pueden incluir tendencias en el uso de palabras, relaciones sintácticas, temas recurrentes, sentimientos expresados, entre otros aspectos. Esta metodología se sirve de una variedad de técnicas y herramientas computacionales, como algoritmos de procesamiento de lenguaje natural (PLN), aprendizaje automático, análisis de sentimientos, extracción de información, entre otros, para llevar a cabo su tarea y puede ayudar a los investigadores, empresas y organizaciones a analizar grandes volúmenes de texto de manera eficiente y a obtener información valiosa para la toma de decisiones, la comprensión de tendencias del mercado, la detección de opiniones de los usuarios, entre otros usos. Véase T. Rodríguez Cachón y E.M. Vicente Domingo, Minería de textos y datos como (nuevo) límite al derecho de autor, Madrid, Reus, 2021.

Ver Texto

(121)

P.A. de Miguel Asensio, «Mercado único digital y propiedad intelectual. Las Directivas 2019/789 (LA LEY 8415/2019) y 2019/790 (LA LEY 8414/2019)», LA LEY: Unión Europea, n^o 71, 2019.

Ver Texto

(122)

M. Markellou, S. Antonopoulou y A. Giannakoulopoulos, «AI and Copyright», Recreating Creativity, Reinventing Inventiveness. AI and Intellectual Property Law (N. Koutras y N. Selvadurai, eds.), Londres. Routledge, 2024.

Ver Texto

(123)

Estos modelos han abierto el camino a la «democratización» de la IA, aunque su uso potencial como herramientas de investigación se ha visto ensombrecido por el temor a un mal uso de esta tecnología. Como ejemplo cabe referirse modelos, como Bidirectional Encoder Representations from Transformers (BERT), Generative Pre-trained Transforme GPT (su versión GPT-4 puede generar, editar e iterar con los usuarios en tareas de escritura creativa y técnica, como componer canciones, escribir guiones o aprender el estilo de escritura de un usuario).o Dall–E (su versión Dall-e3 permite plasmar fácilmente sus ideas en imágenes excepcionalmente precisas), que se entrenan con grandes cantidades de datos y pueden adaptarse a una amplia gama de tareas. Véase S. Rossi et al., «Augmenting research methods with foundation models and generative AI», International Journal of Information Management, 2024, 102749 (https://www.sciencedirect.com/science/article/abs/pii/S0268401223001305?via%3Dihub(.

Ver Texto

(124)

M. Barrio Andrés, «ChatGPT y su impacto en las profesiones jurídicas», Diario LA LEY, n^o 10285, Sección Tribuna, 12 de mayo de 2023.

Ver Texto

(125)

El Floating Point Operations per Second (FLOPS) son unidades muy utilizada para medir la potencia que se fija en las operaciones en coma flotante (floating point) por segundo que puede resolver un procesador, lo cual es importante porque los procesadores sólo cuentan con un espacio limitado para almacenar los números con los que trabajan.

Ver Texto

(126)

D. Gray Widder, S. West y M. Whittaker, «Open (For Business): Big Tech, Concentrated Power, and the Political Economy of Open AI», (August 17, 2023).

Ver Texto

(127)

Refiéndose al apocalíptico libro del matemático J.C. Lennox, 2084: Artificial Intelligence and the Future of Humanity, Zondervan, 2020.

Ver Texto

(128)

Estos dos enfoques tienen sus propias ventajas y desventajas. A corto plazo, los modelos estadounidense y chino pueden resultar más beneficiosos en la competencia global en IA. Sin embargo, queda por ver si estos enfoques serán sostenibles a largo plazo. El futuro determinará si el enfoque europeo, basado en una IA más regulada y respaldada por valores éticos, prevalecerá. Véase F. Merz, «L’Europe et la course à l’Intelligence Artificielle», Politique de sécurité: analyses du CSS, N^o 247, junio 2019.

Ver Texto