El Ministerio de Asuntos económicos y transformación digital ha hecho público un borrador del Real Decreto que debe regular el entorno controlado de pruebas (sandbox), de los sistemas de Inteligencia artificial (IA).
Este sandbox fue presentado en Bruselas en junio de 2022 por la Comisión Europea y el Gobierno español, como una iniciativa liderada por España de mano de la Secretaría de Estado de Digitalización e Inteligencia Artificial. Se trata de un proyecto incluido en el Plan Nacional de Recuperación, Transformación y Resiliencia (LA LEY 9394/2021) con un presupuesto de 4,3 millones de euros durante los próximos tres años, hasta 2025, cuya finalidad es proporcionar a las empresas, especialmente a las pymes y a las startups, seguridad a la hora de comenzar a implementar los elementos y otras características de esta tecnologías, como las evaluaciones de conformidad o las actividades posteriores a la comercialización, previstas en el futuro Reglamento sobre IA. Con ello, se pretende garantizar el desarrollo de una tecnología responsable y centrada en el ser humano, mitigando los riesgos potenciales de esta tecnología para la salud seguridad y derechos fundamentales.
El órgano competente para la organización y desarrollo del entorno controlado de pruebas es la Secretaría de Estado de Digitalización e Inteligencia Artificial u órgano que la sustituya.
Este Real Decreto entrará en vigor al día siguiente de su publicación en el «Boletín Oficial del Estado» y se prevé que tenga una vigencia de 36 meses desde su entrada en vigor o hasta que entre en vigor y sea aplicable el Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de IA, lo que quiera que ocurra antes. Es decir, el entorno controlado de pruebas está limitado en el tiempo hasta que se adopte el Reglamento de la Unión Europea por el que se establecen normas armonizadas para la inteligencia artificial y sea aplicable a los proveedores y usuarios de sistemas de IA.
Además, las normas previstas en el presente Real Decreto se entenderán sin perjuicio de las normas definitivas previstas en dichos actos de la Unión Europea. Por tanto, y por lo que respecta a la creación y el funcionamiento del entorno controlado de pruebas, el efecto del presente Real Decreto está limitado en el tiempo hasta que se establezcan las normas de aplicación comunes de la Unión Europea para la creación y el funcionamiento de los entornos aislados controlados, a menos que dichas normas especifiquen otra cosa.
El borrador de Real Decreto consta de 36 artículos, agrupados en 3 títulos: preliminar (I); acceso al entorno controlado de pruebas (II) y participación y coordinación de otras entidades (III), cuyo contenido sintetizamos a continuación, y 4 anexos: 1) Listado de áreas sistemas de inteligencia artificial de alto riesgo específicos; 2) Contenido mínimo de la Memoria Técnica para el acceso al entorno controlado de pruebas; 3) Documentación Técnica y, 4) Lista de legislación de la Unión Europea basada en el nuevo marco legislativo.
1. Objeto, ámbito de aplicación y definiciones
1. El Titulo preliminar (Disposiciones generales) señala como objeto de esta norma el de crear un entorno controlado de pruebas en el que participen diferentes entidades elegidas mediante convocatoria pública, en la que se seleccionen, a modo de ensayo, algunos sistemas de IA que puedan suponer riesgos para la seguridad, la salud y los derechos fundamentales de las personas, con el objetivo de facilitar la implementación de los principios que regirán el diseño, la validación y el seguimiento de dichos sistemas durante su participación en el entorno controlado de pruebas, y que ayudarán a mitigar dichos riesgos.
La participación en este entorno controlado de pruebas se circunscribe a sistemas de IA que sean clasificados de alto riesgo, a sistemas de IA de propósito general, modelos fundacionales, o sistemas de IA generativa, en función de las definiciones que de los mismos establece el art. 3 del borrador
2. Ámbito de aplicación. El real Decreto será de aplicación a las Administraciones Públicas, entidades del sector público, y entidades privadas seleccionadas para el entorno controlado de pruebas de inteligencia artificial.
3. Concepto. El artículo 3 (Definiciones), define al «Entorno controlado de pruebas» como un “entorno controlado, con una duración determinada, que proporciona un contexto estructurado para el desarrollo de las actuaciones necesarias que posibiliten a los sistemas de IA de alto riesgo cumplir con los requisitos establecidos en este Real Decreto, bajo la supervisión del órgano competente”.
En línea con lo previsto en la propuesta de Reglamento de IA, actualmente en tramitación, se entiende por «Sistema de inteligencia artificial de alto riesgo» a aquel que cumpla alguno de los siguientes supuestos:
a) que constituya un producto regulado por la legislación de armonización de la Unión especificada en el Anexo IV del presente Real Decreto
b) que vaya a ser utilizado como un componente de seguridad de un producto regulado por una norma armonizada de la Unión Europea, y que deba someterse a una evaluación de la conformidad por un tercero con vistas a la introducción en el mercado o puesta en servicio de dicho producto con arreglo a la legislación mencionada.
c) que esté mencionado en el Anexo I, siempre que la respuesta del sistema sea relevante respecto a la acción o decisión a tomar, y pueda, por tanto, provocar un riesgo significativo para la salud, la seguridad o los derechos fundamentales.
A estos efectos, el Anexo I se refiere a los sistemas de IA utilizados con las siguientes áreas: 1. Biometría; 2. Infraestructuras críticas; 3. Educación y formación profesional; 4. Empleo, gestión de trabajadores y acceso al autoempleo; 5. Acceso y disfrute de servicios públicos y privados esenciales y sus beneficios; 6. Persecución de delitos; 7. Gestión de la migración, el asilo y el control fronterizo y 8. Administración de justicia.
Por su parte, se entiende por «Sistema de inteligencia artificial de propósito general» aquellos sistemas de inteligencia artificial que, “independientemente de la modalidad en la que se comercialice o se ponga en servicio, incluso como software de código abierto, está destinado por el proveedor del sistema a realizar funciones de aplicación general, como el reconocimiento de texto, imágenes y del habla; la generación a través de un proceso automatizado que utilice algoritmos para producir o manipular textos, audios, imágenes y/o vídeos que no existían previamente; detección de patrones; respuesta a preguntas; traducción y otras. Esto incluye modelos fundacionales y sistemas de inteligencia artificial generativa. Estos sistemas pueden utilizarse en una pluralidad de contextos e integrarse en múltiples sistemas de inteligencia artificial y tienen, en consecuencia, un importante potencial de ser transformados en sistemas de inteligencia artificial de alto riesgo”.
2. Requisitos para la elegibilidad en el entorno controlado de pruebas
Según el art. 5 del borrador, la participación en el entorno controlado de pruebas está abierta “a aquellos proveedores de sistemas de inteligencia artificial y usuarios residentes en España o que tengan un establecimiento permanente en España, o bien, sean parte de una agrupación de entidades, donde el representante de la agrupación o apoderado único siendo integrante de ésta, sea la entidad solicitante y cuyo domicilio o establecimiento principal se encuentre necesariamente en territorio español”
Podrán acceder al entorno controlado de pruebas, en calidad de usuario participante, las personas jurídicas, administraciones públicas y entidades del sector público en España que hagan uso de un sistema de inteligencia artificial de alto riesgo, siempre que el proveedor IA de este sistema acceda también al entorno controlado de pruebas.
El proveedor IA solicitante podrá participar en la convocatoria presentando uno o varios sistemas de inteligencia artificial, siempre y cuando éstos sean diferentes.
Estos sistemas podrán ser nuevos desarrollos o sistemas ya establecidos, valorándose que puedan estar en un estado de desarrollo que atraviese una fase de cambios sustanciales que facilite la introducción de las medidas necesarias para cumplir con la propuesta de Reglamento europeo de Inteligencia Artificial.
A la vez, los sistemas deben haber alcanzado un nivel de desarrollo suficientemente avanzado como para poder comercializarse o ponerse en servicio dentro del marco temporal del entorno controlado de pruebas o a su finalización. La solicitud podrá ser rechazada si el sistema de inteligencia artificial propuesto no está suficientemente maduro.
Exclusiones. Los sistemas de inteligencia artificial participantes en el entorno controlado de pruebas no podrán estar incluidos en los siguientes supuestos:
a) Sistemas de inteligencia artificial desarrollados y puestos en servicio con el solo propósito de investigación y desarrollo con fines científicos.
b) Sistemas de inteligencia artificial comercializados o puestos en servicio para actividades militares, de defensa o seguridad nacional, cualquiera que sea la entidad que desarrolle esas actividades.
c) Sistemas de inteligencia artificial que se sirvan de técnicas subliminales que trasciendan la consciencia de una persona con el objetivo o el efecto de alterar efectivamente su comportamiento de un modo que provoque o pueda provocar, con probabilidad razonable, perjuicios físicos o psicológicos a esa persona o a otra.
d) Sistemas de inteligencia artificial que aprovechen alguna de las vulnerabilidades de un grupo específico de personas debido a su edad o discapacidad o una situación social o económica específica con el objetivo o el efecto de alterar efectivamente el comportamiento de una persona de ese grupo de un modo que provoque o pueda provocar, con probabilidad razonable, perjuicios físicos o psicológicos a esa persona o a otra.
e) Sistemas de inteligencia artificial que tengan el fin de evaluar o clasificar personas físicas durante un período determinado de tiempo atendiendo a su conducta social o a características personales o de su personalidad conocidas o predichas, de forma que la clasificación social resultante provoque una o varias de las situaciones siguientes:
i) Un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente.
ii) Un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos que sea injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de este.
f) Sistemas de identificación biométrica «en tiempo real» para su uso en espacios de acceso público por parte de las fuerzas y cuerpos de seguridad o en su representación, con fines de orden público, salvo y en la medida en que dicho uso sea estrictamente necesario para alcanzar uno o varios de los objetivos siguientes: i) La búsqueda selectiva de posibles víctimas concretas de un delito; ii) La prevención de una amenaza específica e importante para infraestructuras críticas, la vida, la salud o la seguridad física de las personas físicas o la prevención de atentados terroristas,y iii) La localización o identificación de una persona física con el fin de llevar a cabo una investigación penal, o la aplicación de una sanción penal por los delitos mencionados en el artículo 2, apartado 2, de la Decisión marco 2002/584/JAI (LA LEY 8343/2002) del Consejo que estén castigados en España con una pena privativa de libertad de al menos tres años, u otros delitos específicos castigados en el Estado miembro de que se trate con una pena privativa de libertad o una medida de seguridad privativa de libertad de un máximo de al menos cinco años, según determine la legislación de dicho Estado miembro.
3. Procedimiento de admisión en el entorno controlado de pruebas
Se publicarán convocatorias para que aquellos proveedores y usuarios de sistemas de inteligencia artificial que lo deseen puedan solicitar su participación en el entorno controlado de pruebas, iniciándose el procedimiento de admisión en el momento de la presentación de la solicitud. En las convocatorias se podrán especificar las condiciones de acceso.
Una vez recibidas las solicitudes, se procederá a la evaluación de los sistemas de inteligencia artificial recibidos, teniéndose en cuenta factores como el grado de innovación o complejidad tecnológica del producto o servicio; su nivel de impacto social, empresarial o de interés público que presenta el sistema de inteligencia artificial propuesto; su grado de explicabilidad y transparencia del algoritmo incluido en el sistema de inteligencia artificial presentado, o el alineamiento de la entidad y el sistema de inteligencia artificial con la Carta de Derechos Digitales (LA LEY 16317/2021) del Gobierno de España.
Una vez recibida la solicitud y documentación necesaria, el órgano competente emitirá la valoración de cada sistema de inteligencia artificial. La propuesta de resolución se notificará al interesado y se otorgará un trámite de audiencia de quince días, para que alegue lo que estime oportuno.
El órgano competente podrá invitar como observadora a cualquier autoridad competente cuando su participación pueda ser relevante en la evaluación de sistemas de inteligencia artificial en el contexto del entorno controlado de pruebas.
Una vez tenidas en cuenta las alegaciones o en ausencia de ellas, el órgano competente emitirá la pertinente resolución, que se notificará a los interesados siguiendo los trámites legales oportunos.
4. Objetivos del entorno controlado de pruebas
La participación en el entorno controlado de pruebas tendrá como objetivo que el sistema de inteligencia artificial cumpla, durante el transcurso del mismo, con los siguientes requisitos:
a) El establecimiento, implementación, documentación y mantenimiento de un sistema de gestión de riesgo relativo al sistema de inteligencia artificial en cuestión.
b) En caso de sistemas de inteligencia artificial que impliquen entrenamientos con datos, se desarrollarán sobre conjuntos de datos de entrenamiento, validación y pruebas que cumplan los criterios de calidad especificados por el órgano competente.
c) La documentación técnica del sistema de inteligencia artificial se elaborará conforme al Artículo 20 de autoevaluación de cumplimiento. Esta documentación deberá actualizarse a lo largo de la duración del entorno controlado de pruebas.
d) Los sistemas de inteligencia artificial deberán técnicamente permitir el registro automático de eventos (‘logs’) a lo largo del ciclo de vida del sistema. Estos registros serán guardados por el participante.
e) El sistema de inteligencia artificial será diseñado y desarrollado de manera que se asegure que su operación es suficientemente transparente para los usuarios del sistema a efectos de interpretar los resultados del mismo y de que puedan usarlo adecuadamente.
f) El sistema de inteligencia artificial irá acompañado de instrucciones de uso en formato electrónico, que incluyan información sobre las características y prestaciones del sistema que sea concisa, completa, correcta, actualizada, clara, relevante, accesible y comprensible para los usuarios del sistema.
g) Los sistemas de inteligencia artificial se diseñarán y desarrollarán de manera que puedan ser supervisados por personas físicas durante los periodos en que esté en uso. Contendrá interfaces humano-máquina apropiadas a tal efecto.
Además, los sistemas de inteligencia artificial se diseñarán y desarrollarán de manera que consigan, teniendo en cuenta su finalidad prevista, un nivel adecuado de precisión, solidez y ciberseguridad. Estas dimensiones deberán funcionar de manera consistente a lo largo de su ciclo de vida.
El órgano competente podrá ofrecer guías técnicas que ayuden en la implementación de estos requisitos.
5. Desarrollo del entorno controlado de pruebas.
Una vez admitido, el proveedor IA participante llevará a cabo las actuaciones que le permitan cumplir los requisitos descritos en el artículo 11. El órgano competente podrá poner a su disposición guías técnicas de ayuda y asesoría personalizada que faciliten al proveedor IA las tareas que debe realizar en el contexto del entorno controlado de pruebas. La forma de cooperación entre los participantes y el órgano competente se detallará en un plan de desarrollo del entorno controlado de pruebas según se especifique en la convocatoria.
Una vez que el proveedor IA participante haya desarrollado las actuaciones necesarias para que su sistema cumpla con los requisitos que se establecen para los sistemas de inteligencia artificial de alto riesgo descritos en el presente Real Decreto en el artículo 11, este deberá someterse a una autoevaluación de cumplimiento según lo establecido en el artículo 20.
Posteriormente, el participante deberá implementar un sistema de seguimiento posterior a la comercialización, según lo establecido en el artículo 23.
Durante el desarrollo del entorno controlado de pruebas, se establecerán mecanismos de diálogo e intercambio de información entre los participantes y el órgano competente, en base al marco de seguimiento que se facilitará al participante al inicio del entorno controlado de pruebas. Los canales que se deberán utilizar para dicho diálogo se concretarán en la convocatoria. Este marco detallará la información que habrán de transmitir los participantes sobre su experiencia con la ejecución de las guías y sobre las mejoras que consideren que se puedan realizar.
Las guías técnicas que, en su caso, proporcione el órgano competente podrán ser actualizadas por éste y distribuidas a los participantes, así como a otras autoridades relevantes a efectos de consulta, a lo largo del desarrollo del entorno controlado de pruebas.
6. Derechos y obligaciones de los participantes
- Protección de datos personales. Los participantes en el entorno controlado de pruebas respetarán las disposiciones de protección de datos aplicables.
- Responsabilidad de los participantes en el entorno controlado de pruebas. El participante será responsable de los daños sufridos por cualquier persona como consecuencia de la aplicación del sistema de inteligencia artificial en el contexto del entorno controlado de pruebas, siempre que dichos daños deriven de un incumplimiento del participante o cuando medie culpa, negligencia o dolo por su parte.
- Garantías de confidencialidad. La garantía de confidencialidad se aplicará sobre la información que aporten los participantes sobre procedimientos propios de las empresas u otras entidades, planes comerciales, derechos de propiedad industrial e intelectual o secretos empresariales. La información recabada por el órgano competente podrá ser utilizada, cuando se garantice que se ha anonimizado completamente y que respeta los intereses comerciales de los participantes, para la elaboración, por sí mismo o por terceros, de guías de buenas prácticas, guías de implementación de requisitos y elaboración de documentación de conclusiones.
- Modificaciones estructurales. El órgano competente podrá modificar las condiciones iniciales del entorno controlado de pruebas, con la motivación suficiente.
- Contraprestación económica a los participantes. Los participantes en el entorno controlado de pruebas no recibirán ningún tipo de contraprestación económica.
7. Autoevaluación de cumplimiento del entorno controlado de pruebas y seguimiento posterior a la comercialización de los sistemas de inteligencia artificial
Una vez que los participantes hayan cumplido con los requisitos recogidos en el Real Decreto, se realizará una autoevaluación de cumplimiento de los requisitos de los sistemas de inteligencia artificial participantes.
El objetivo de esta autoevaluación es ayudar a los participantes del entorno controlado de pruebas a hacer frente al futuro proceso de evaluación de conformidad que establezca el Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial.
Para la autoevaluación de cumplimiento se valorará el cumplimiento de los requisitos siguiendo las recomendaciones que el órgano competente facilite.
El participante deberá realizar las siguientes acciones para completar la autoevaluación: a) Comprobará la correcta implementación de los requisitos establecidos en el artículo 11. b) Comprobará que el sistema de gestión de la calidad es acorde con las especificaciones que ofrezca el órgano competente. c) Verificará que el diseño y desarrollo del proceso del sistema de inteligencia artificial y su seguimiento posterior a la comercialización son consistentes con lo establecido en la documentación técnica y con las especificaciones ofrecidas por el órgano competente. d) Verificará que la documentación técnica de su sistema de inteligencia artificial incluye el contenido mínimo según especificaciones del órgano competente, y la documentación del cumplimiento de los puntos anteriores.
Una vez que el participante haya finalizado la autoevaluación de requisitos del sistema, presentará en la sede electrónica de la Secretaría de Estado de Digitalización e Inteligencia Artificial la documentación de verificación de los puntos anteriores.
Por otra parte, los proveedores IA participantes documentarán un sistema de seguimiento tras la puesta en marcha del sistema de inteligencia artificial, que sea proporcional a los riesgos y al uso previsto del sistema de inteligencia artificial. Los datos necesarios para desarrollar el sistema de seguimiento tras la puesta en marcha se podrán recolectar de los usuarios del sistema o de otras fuentes relacionadas con dicho sistema durante el entorno controlado de pruebas, lo que permitirá al proveedor IA participante evaluar de forma continua el cumplimiento de los requisitos indicados en el artículo 11.
8. Obligación de notificación de incidencias graves
Los participantes notificarán al órgano competente, a la mayor brevedad desde que sean conocedores del mismo, cualquier incidente grave en los sistemas que pudiera constituir un incumplimiento de las obligaciones de la legislación en vigor.
El órgano competente habilitará un canal de comunicación para que el participante comunique la incidencia acreditando las medidas de mitigación del riesgo detectado. En el caso de los sistemas de inteligencia artificial que por su naturaleza estén sujetos a otra legislación específica, el órgano competente trasladará la notificación a las Autoridades sectoriales competentes.
9. Finalización de la participación en el entorno controlado de pruebas.
La participación en el entorno controlado de pruebas tendrá una duración a especificar en las correspondientes convocatorias.
Previa a la finalización, los participantes entregarán un informe cuyo contenido mínimo se indicará en las guías que ofrezca el órgano competente. Los participantes que hayan completado las fases del entorno controlado de pruebas recibirán un documento acreditativo de su participación en el mismo y de los resultados obtenidos.
El órgano competente se reserva la facultad de abrir nuevas convocatorias en el futuro. Las convocatorias podrán indicar condicionantes específicos como preferencia por el tamaño del proveedor IA solicitante, según número de trabajadores, su ámbito sectorial u otros. 4. Cuando el órgano competente considere que el entorno controlado de pruebas ha cumplido con el objeto indicado en el presente Real Decreto podrá determinar la finalización del mismo y emitirá un comunicado público a tal efecto.
- Finalización anticipada de las pruebas
Podrá declararse la finalización anticipada del entorno controlado de pruebas de manera individualizada, dando por finalizada la prueba sin éxito para ese participante, mediante resolución motivada del órgano competente, tras el oportuno procedimiento, si a juicio de éste concurre alguna de las siguientes circunstancias: a) Se ha producido un incumplimiento del régimen jurídico previsto en el presente Real Decreto, en la convocatoria o en la resolución de admisión. b) Se ha producido un incumplimiento del deber de facilitar información requerida en el marco de seguimiento establecido por el órgano competente. c) Se ha producido un incumplimiento del Capítulo I en el presente real Decreto. d) Se ha cesado en el cumplimiento de alguno de los requisitos iniciales para la elegibilidad para acceso al entorno controlado de pruebas contemplados en el artículo 5. e) Se han producido incidentes graves o errores de funcionamiento en los sistemas de inteligencia artificial. f) Se ha identificado un riesgo no previsto en la memoria técnica. g) Cualquier otra circunstancia que se previera en la convocatoria.
Adicionalmente a los casos indicados, también se declarará la finalización anticipada de las pruebas en el caso de que el proveedor IA no realizase las actuaciones que le permitan dar cumplimiento a los requisitos descritos en el artículo 11 en el plazo establecido en la convocatoria, dejando de formar parte del entorno controlado de pruebas, previo el oportuno procedimiento.
10. Comisión de seguimiento.
Al inicio del entorno controlado de pruebas el órgano competente constituirá la comisión de seguimiento. Entre otras funciones, dicha comisión tendrá por objeto: a) Tomar conocimiento de las solicitudes presentadas que requieran la colaboración de organismos internacionales relevantes, lo que incluye la Comisión Europea y otros organismos de la Unión, así como de autoridades de otros Estados Miembro de la Unión Europea. b) Establecer las relaciones necesarias con dichos organismos para asegurar la participación y facilitar la coordinación de las autoridades supervisoras y, cuando proceda, de las demás autoridades competentes. c) Realizar seguimiento de las actuaciones requeridas a dichos organismos. d) Asesorar y hacer seguimiento de los participantes con respecto a los requisitos del sistema indicados en el artículo 11. e) Realizar cualquier otra actividad o tarea que apoye el buen desarrollo del entorno controlado de pruebas y de la actividad de los participantes en el mismo.
Esta comisión de seguimiento estará integrada por representantes del órgano competente y los diferentes organismos y entidades competentes en la materia. Su presidencia corresponderá a la Secretaría de Estado de Digitalización e Inteligencia Artificial.
- Coordinación con organismos de normalización españoles y europeos
El órgano competente establecerá cauces de colaboración con organismos de normalización españoles y europeos con el fin de contribuir a la redacción de normas técnicas basadas en las experiencias del entorno controlado de pruebas, de tomar en consideración las recomendaciones y deliberaciones de dichos organismos para proporcionar mayor seguridad a los participantes en el mismo, así como de experimentar elementos de normalización en el campo de la inteligencia artificial que ya hayan sido publicados o estén en proceso de desarrollo.