Carlos B Fernández. El Grupo de Trabajo sobre Justicia Digital e Inteligencia Artificial de la Comisión Europea para la Eficiencia de la Justicia (CEPEJ-GT-CYBERJUST), ha elaborado una nota informativa sobre el uso de la IA Generativa en el trabajo de los jueces (“Use of Generative Artificial Intelligence (AI) by judicial professionals in a work-related contex”).
El objetivo de esta nota es presentar una visión preliminar sobre lo que los jueces y otros profesionales del sector público de la justicia, pueden esperar del uso de herramientas de IA generativa en su trabajo.
El documento ofrece una explicación básica del funcionamiento de esta tecnología, junto con una exposición de los riesgos que plantea su uso y, por tanto, en que supuestos debe ser usada y en cuáles no.
¿Qué es la IA Generativa?
Se trata de unos sistemas de software capaces de comunicarse con el usuario en lenguaje natural, el lenguaje que utilizan los seres humanos.
Son capaces de dar respuestas a preguntas relativamente complejas y pueden crear contenidos (proporcionar un texto, una imagen o un sonido) siguiendo una pregunta formulada o unas instrucciones (prompt). Entre estas herramientas se encuentran OpenAI ChatGPT, Copilot, Gemini y Bard, todas ellas en rápido desarrollo.
La IA generativa se basa en una comprensión estadística del lenguaje, para ello aprende patrones y características a partir de grandes colecciones de datos. Su propósito es definir, con la mayor certeza posible, la siguiente palabra, sin conocimiento propio.
Así, cuando el sistema escribe que J.F. Kennedy fue Presidente de los Estados Unidos, no es porque se apoye en una base de conocimientos que establezca un vínculo directo entre estas dos informaciones, sino porque, en los casos que encontró (en los datos de entrenamiento), la asociación Kennedy y Presidente de los Estados Unidos era muy frecuente. Por lo tanto, dedujo que era probable que esta asociación fuera relevante.
En general, los datos de entrenamiento consisten en información encontrada en Internet, en conjuntos de datos seleccionados y en información introducida por otros usuarios en la máquina a través de preguntas.
Gracias a todo ello, la IA generativa parece ofrecer buenos resultados dentro de un marco claramente definido de tareas, como son la traducción de textos; la generación de textos, imágenes o sonidos coherentes (aunque no necesariamente verdaderos); el resumen automático de textos; el análisis semántico y la detección de opiniones y la minería de textos y el acceso a contenidos.
Riesgos del uso de la IA Generativa
1. Potencial producción de información objetivamente inexacta (en forma de respuestas falsas o "alucinaciones" y reflejo de sesgos en los datos).
Las respuestas erróneas que ofrecen estos sistemas pueden tener su origen, en primer lugar, en la utilización de datos de entrenamiento insuficientes o erróneos, ya que los datos falsos conducen a respuestas falsas.
"Alucinación" es una expresión bastante amistosa para referirse a la observación de que algunas respuestas son simplemente inventadas. La razón es que estos sistemas están diseñados para ofrecer siempre una respuesta al usuario, de forma que, si no se encuentra ninguna respuesta, los algoritmos tienden a inventar una respuesta "probable".
Otra razón podría ser el establecimiento de una falsa correlación entre los datos.
Y lo que es más importante, toda inteligencia artificial está profundamente determinada por los datos sobre los que ha sido entrenada: por tanto, nunca es neutral y, al contrario, incorpora todos los sesgos, imprecisiones, lagunas o fallos contenidos en la base de datos de entrenamiento y/o los sesgos culturales de quienes diseñaron el sistema y guiaron su entrenamiento al (in)validar algunas de sus respuestas. Incluso puede haber casos en los que el sesgo se haya incorporado deliberadamente al algoritmo.
Por último, la opacidad sobre la forma en que está programado el algoritmo y cómo están conectados los datos subyacentes, conduce a una mayor incomprensibilidad de la razón de los resultados ofrecidos y, por tanto, a dificultades en la verificación de las respuestas dadas.
2. Posible revelación de datos confidenciales y violaciones de la privacidad
La información introducida en los sistemas de IA Generativa se transmite al proveedor del sistema y puede utilizarse como datos de entrenamiento para resolver futuras consultas de los usuarios. Esto podría dar lugar a una violación de la protección de datos personales o a la divulgación involuntaria de información clasificada o sensible por otros motivos.
Por otra parte, la protección de los datos transmitidos a través de estos sistemas no está garantizada en la mayoría de los casos. Como consecuencia, las conversaciones mantenidas por los usuarios se graban en servidores de empresas, a menudo no europeas, y/o se revenden (o incluso se recuperan mediante un ataque informático, ya que se desconoce el nivel de seguridad de estos servidores).
3. Falta de identificación de la procedencia de la información facilitada y posible violación de la propiedad intelectual y los derechos de autor
En general, estos sistemas adolecen de falta transparencia sobre el origen del material utilizado para su entrenamiento. De hecho, la mayoría de los sistemas no pueden identificar el origen de los textos utilizados para crear los resultados. Esto no sólo puede causar dificultades a la hora de verificar los resultados, sino que también puede dar lugar a infracciones de los derechos de autor. Aunque los marcos normativos difieren de un país a otro, no dejan de aplicarse al uso de la IA, lo que significa que el contenido creado podría considerarse plagio.
4. Capacidad limitada de dar la misma respuesta a una pregunta idéntica
La mayoría de los sistemas de IA generativa contienen un grado de aleatoriedad que les permite proponer diferentes respuestas a una misma pregunta. Estas respuestas pueden variar en función del momento en que se formulen o de matices en la formulación de la pregunta. Por tanto, no es posible garantizar siempre el mismo nivel de calidad de las respuestas.
5. Replicación potencial de los resultados
Un resultado ofrecido por una IA generativa no es en absoluto único y puede ser idéntico o similar al generado para otro usuario, por lo que no debe ocultarse su origen.
Además, y sobre todo en el caso de la justicia, es esencial ser transparente sobre el uso de la IA, pues la relación con el litigante se basa en la confianza.
6. Falta de estabilidad y fiabilidad en procesos críticos y sensibles al tiempo
Se han observado variaciones en los tiempos de respuesta y en la disponibilidad de los servicios, que deben tenerse en cuenta en aquellos procesos que sean sensibles al tiempo.
7. Exageración de los sesgos cognitivos
Si ya la relación entre el ser humano y la máquina está intrínsecamente sesgada por nuestras capacidades cognitivas, la relación con la IA generativa tiende a exagerar estos sesgos, ya que la conversación que se puede establecer con la máquina aumenta su percepción como "humana". Este intercambio no es en absoluto neutral.
¿Cómo utilizar la IA Generativa en el trabajo jurídico?
1. Asegúrese de que el uso de la herramienta está autorizado y es adecuado para el fin deseado.
2. Tenga en cuenta que es sólo una herramienta e intente comprender cómo funciona (sea consciente de los sesgos cognitivos humanos).
3. Dé preferencia a los sistemas que hayan sido entrenados con datos certificados y oficiales, cuya lista sea conocida, para limitar los riesgos de sesgo, alucinación e infracción de los derechos de autor.
4. Facilite a la herramienta instrucciones claras sobre lo que se espera de ella.
A través de esta conversación es como la máquina obtendrá las instrucciones que necesita, por tanto, a diferencia del trabajo habitual con los motores de búsqueda, no dude en entablar conversación con. En particular, es posible pedir aclaraciones o incluso afinar o modificar la petición. Por ejemplo, dar a la máquina un contexto (país, periodo de tiempo), definir la tarea (por ejemplo, escribir un resumen en xx palabras), especificar a quién va dirigido el resultado, cómo debe producirse y el tono que debe adoptar la herramienta, pedir un formato de presentación específico, comprobar que las instrucciones se han entendido correctamente (pidiendo a la máquina que las reformule), proporcionar ejemplos de las respuestas esperadas para preguntas similares para permitir a la herramienta imitar su forma y estilo.
5. Introduzca en su consulta únicamente datos no sensibles e información que ya sea de dominio público.
6. Compruebe siempre la corrección de las respuestas ofrecidas, incluso en el caso de que se cite la fuente (especialmente compruebe la existencia de la dicha fuente).
7. Cuando utilice los resultados generados por el sistema, sea transparente e indique siempre si un análisis o contenido ha sido generado por IA generativa.
8. Reformule el texto generado en caso de que este vaya a incorporarse a un documento oficial.
9. Asuma el control final sobre la solución a adoptar, adoptando una postura crítica ante las propuestas realizadas por el sistema.
¿Cuándo no debe utilizarse la IA Generativa en el trabajo jurídico?
1. En caso de que no conozca, no entienda o no esté de acuerdo con las condiciones de uso del sistema.
2. En caso de que su uso esté prohibido o sea contrario a las normas de su organización.
3. En caso de que no pueda evaluar la exactitud y parcialidad del resultado.
4. En caso de que deba introducir y revelar datos personales, confidenciales, protegidos por derechos de autor u otros datos sensibles.
5. En caso de que deba saber cómo se ha obtenido su respuesta.
6. En caso de que se espere de usted que dé una respuesta genuinamente propia.