I. Introducción. La Inteligencia Artificial como nuevo Deus Ex Machina
Desde tiempos inmemoriales en no pocas obras de teatro o, en general, literarias —y, ya en nuestros días, también cinematográficas— las tramas más complejas y enrevesadas son resueltas finalmente por la intervención de una persona o entidad que, de forma sorprendente, consigue aportar un final feliz a esa difícil situación mediante algún tipo de capacidad o poder sobrenatural. Este elemento es conocido como Deus Ex Machina, y tiene su origen en el teatro griego, donde el dramaturgo Eurípides popularizo este recurso gracias al que una deidad bajaba al escenario ayudado de una máquina y salvaba a los protagonistas de la derrota final, que hasta ese momento parecía asegurada (2) .
En irrupción de la Inteligencia Artificial (IA) en muchos ámbitos de la vida bien podría parecer obra del propio Eurípides, pues alternativas que hasta hace escasas fechas habrían sido vistas como imposibles o impensables hoy parecen asequibles con el avance de esta tecnología. Así es, sin duda la IA está suponiendo una revolución en múltiples ámbitos de nuestras vidas. El uso de algoritmos puede pasar inadvertido o ser en ocasiones desconocido, pero se encuentra ya presente en una cada vez mayor esfera de nuestra existencia: desde las sugerencias realizadas por numerosas páginas web, basadas en anteriores visitas, likes o compras realizadas, hasta los utilizados en el diagnóstico de determinadas enfermedades en el campo médico, la capacidad de proceso de datos y búsqueda de patrones de la IA está llevando a esta tecnología a tener un impacto cada vez mayor en términos tanto cuantitativos como cualitativos.
La realidad anterior también ha llegado al mundo jurídico y, más específicamente, al ámbito judicial, que parece aquejado de una perenne crisis sistémica que le ha acompañado durante las últimas décadas. Efectivamente, si bien el mundo legal se ha caracterizado tradicionalmente por una cierta reticencia a la hora de aplicar las nuevas tecnologías y nunca hacerlo como un early adopter (3) , no está siendo ajeno al gran movimiento generado por el increíble desarrollo de la IA. Ciertamente, las novedades que en los últimos tiempos la tecnología ha aportado en el entorno jurisdiccional han sido relevantes. Entre ellas, sin duda, no podemos dejar de citar especialmente la referida a la digitalización de documentos y el uso cada vez más extendido de plataformas de envío y recepción de los mismos, que ha cambiado la tradicional forma de relacionarse con la Administración de Justicia por medio de escritos en papel. Así mismo, la situación excepcional generada por la pandemia de Covid-19, que en algunos momentos impuso el distanciamiento social como medida para evitar la expansión del virus, deparo un extraordinario auge de la videoconferencia para la celebración de distintos actos procesales, elemento este que, ciertamente, costaba concebir antes de la crítica situación generada por la epidemia de dicho virus (4) .
No obstante, como en otras realidades en las que ya se está utilizando, las aplicaciones que puede aportar la Inteligencia Artificial en el ámbito jurisdiccional no son meramente incrementales, sino que tienen un potencial muy superior, de naturaleza disruptiva o transformativa — al menos parcialmente— de la Administración de Justicia. Así es, el uso de esta tecnología no se proyecta sólo como una simple modificación en la forma de hacer el trabajo tradicional (5) — del papel a lo digital, o de la presencia física a la vídeollamada—, sino que en su aplicación más extrema podría llegar incluso a producir resoluciones sin intervención humana, esto es, a emitir sentencias o laudos de asuntos sin que para ello haya mediado un juez o árbitro físico que actúe sobre lo aportado por el algoritmo, lo que nos obligaría a un replanteamiento general del sistema de resolución de conflictos en su conjunto (6) .
Ante tal posibilidad debemos cuestionarnos si el estado actual de la tecnología y los últimos avances en IA nos permite hablar de forma fundada de la posibilidad de implementar un «Juez Robot» o «Juez IA (7) » que, como el Deus Ex Machina de Eurípides, venga a resolver todos los problemas de la Justicia o, por el contrario, es algo totalmente descartable y, en su caso, visible sólo en un futuro lejano e incierto. El caso afirmativo, más que certezas, nos abriría a nuevos interrogantes: ¿Cómo funcionaría dicho «Juez Robot»? ¿Bajo qué premisas tomaría sus decisiones? ¿Cómo debería estar diseñado el sistema judicial de cara a garantizar un control efectivo de dichas decisiones por parte de jueces humanos? En las próximas páginas procuraremos aportar luz a todas estas dudas, tratando de aproximarnos a la cuestión desde una perspectiva práctica que nos permita comprender los potenciales problemas y las posibles soluciones del uso de la IA en el ámbito aquí analizado. Además, analizaremos las posibilidades que el marco normativo actual permite para este tipo de avances tecnológicos, deteniéndonos especialmente, por su especial impacto a futuro, en el texto de la Propuesta de Reglamento del Parlamento Europeo y del Consejo sobre la llamada Ley de Inteligencia Artificial, aprobado el pasado 14 de junio de 2023.
II. Experiencias de IA y dispute resolution
Como primer paso de cara a conocer si podemos plantearnos la posibilidad de implementar en la praxis un algoritmo con capacidad jurisdiccional decisoria debemos sondear si las posibilidades tecnológicas actuales permiten, de una forma mínimamente lógica y defendible, concebir un algoritmo con una precisión predictiva suficiente como para que sea aceptable dentro del entramado organizativo judicial. Vaya por delante que en absoluto hablamos de generalizar el uso de la Inteligencia Artificial a todas las instancias judiciales o decisionales, ni siquiera a todos los órganos de base dentro del entramado de resolución de conflictos, sino a que algunos de estos puedan, bajo determinadas premisas, ser desarrollados por los mencionados «Jueces IA».
Desde la perspectiva anterior es difícil establecer qué grado de precisión debemos exigir como umbral mínimo de cara a aceptar el uso de la IA en el ámbito jurisdiccional (8) . Partimos de la base de que un buen número de resoluciones judiciales son apelables ante instancias superiores y que, en respuesta a dichos recursos, las sentencias emitidas en primera instancia pueden a su vez ser revocadas. Por otro lado, si bien adquieren firmeza al no haber sido impugnadas, desconocemos cuál hubiese sido la suerte de aquellas resoluciones no apeladas en caso de haberlo sido. Así, no podemos establecer con carácter general un, llamémosle, «grado de fiabilidad» de las resoluciones judiciales emitidas por jueces humanos que pudiéramos contrastar o hacer trasladable, como límite mínimo, a un algoritmo decisorio en el ámbito jurisdiccional.
A la vez que se incrementaba el interés en la IA en el ámbito jurídico, a lo largo de los últimos años se han ido realizando un buen número de experiencias y estudios en relación con el uso de algoritmos de cara a predecir resoluciones judiciales. Si bien es un mundo en constante movimiento y evolución, un análisis de esos estudios puede aportarnos información en relación con el grado de precisión que dichas experiencias han alcanzado. De moverse ésta en un umbral muy bajo podríamos concluir que la ciencia no ha llegado todavía a un nivel en el que podamos plantearnos con una cierta seriedad el uso de algoritmos con capacidad decisoria en el ámbito de referencia, mientras que si el porcentaje de acierto es muy elevado el escenario sería el contrario.
Sin ánimo de ser exhaustivos, un primer análisis a algunas investigaciones publicadas nos permite contemplar estudios predictivos de diferente índole realizados sobre resoluciones judiciales en países tan diversos como, por ejemplo, China (9) — donde se están desarrollando grandes esfuerzos en la materia—, Brasil, Estados Unidos (10) , Singapur (11) , Tailandia (12) , Filipinas (13) , Alemania (14) o las decisiones del Tribunal Europeo de Derechos Humanos (15) , que han centrado no pocos estudios en la materia. La naturaleza y resultados de dichas experiencias son muy dispares, pero traeremos a colación las tres que, en nuestra opinión, han encontrado un eco mayor y tenido una cierta trascendencia en algunas investigaciones posteriores. Se trata de los estudios de ALETRÁS et al. en relación con las sentencias del Tribunal Europeo de Derechos Humanos, de KATZ et al. sobre predictibilidad de sentencias del Tribunal Supremo de los Estados Unidos de América y, por último, el de SULEA et al. analizando sentencias del Tribunal Supremo francés. En el primer caso, ALETRAS y su equipo (16) consiguieron llegar a una predictibilidad media del 79% en relación con el fallo de las sentencias del Tribunal Europeo de Derechos Humanos, mientras que KATZ y su grupo de trabajo (17) logró por medio de su algoritmo un acierto algo inferior, del 70%, a la hora de establecer el fallo de las sentencias del Tribunal Supremo de Estados unidos que sometieron al estudio de la IA. El caso de SULEA (18) es especialmente remarcable, pues la aplicación de el algoritmo utilizado consiguió un muy importante 97% de acierto a la hora de predecir el resultado del fallo de las sentencias del Tribunal Supremo de Francia, nivel que muestra las potencialidades de esta tecnología en el ámbito judicial.
Como hemos podido comprobar, los resultados de los estudios analizados arrojan resultados muy dispares en relación con la predictibilidad de los modelos. En todo caso, algunos de ellos proyectan niveles de acierto notoriamente elevados lo que, conjuntamente con la rapidez con la que se está produciendo el desarrollo tecnológico en el campo de referencia, nos permitiría no rechazar, al menos de forma inicial, que uno de esos algoritmos que alcanza altos niveles de acierto pueda ser implementado como base para un «Juez IA». En cualquier caso, incluso en un escenario de muy alto grado de predictibilidad debemos de ser conscientes de los problemas que puede generar esta tecnología en nuestro ámbito que, si bien tienen proyecciones y graduaciones concretas propias, son en general comunes a los que podemos encontrar en otros ámbitos con un cierto impacto social en los que se aplica la IA.
III. El funcionamiento de la IA. La aproximación probabilística y la ausencia de relevancia. La proyección del pasado hacia el futuro
Uno de los elementos principales a considerar a la hora de analizar el posible uso de la IA en el ámbito de la resolución de conflictos es el propio funcionamiento del algoritmo que estemos utilizando. Una comprensión mínima del funcionamiento de dicho algoritmo se nos antoja como un elemento esencial si queremos detectar los posibles problemas que pueden surgir en su génesis y aplicación para, en su caso, tratar de poner los remedios oportunos y poder validar así su posible uso.
Vaya por delante que no trataremos aquí el problema relativo al control de la IA General, tema de indudable interés pero que excede con mucho el marco y las posibilidades de este trabajo. Nos referimos al momento en el que la IA adquiera una capacidad comprensiva e intelectiva global equiparable o superior a la humana, no sectorial o específica para unos fines concretos, y el reto que supone para el género humano que dicha «superinteligencia (19) » no quede fuera de nuestro control y suponga un riesgo existencial para la propia humanidad (20) . Nos atendremos en este análisis a la «Narrow AI», la Inteligencia Artificial específicamente aplicada al ámbito de la resolución de conflictos, y a las cuestiones problemáticas más comúnmente apuntadas sobre la misma. Así, una vez hayamos obtenido una comprensión mínima de la forma de funcionar del algoritmo podremos detenernos en los principales inconvenientes apuntados para su uso en el ámbito aquí analizado, a saber: los sesgos (bias) —esto es, los «vicios» o «prejuicios» que pueden impregnar los productos o decisiones emitidas por los algoritmos— y el problema de la ausencia de explicabilidad (explainability) de los resultados emitidos por dichos algoritmos — que podamos conseguir una explicación, siquiera mínima, que nos permita conocer los motivos por los que el algoritmo llegó a la misma—.
1. La aproximación probabilística, la ausencia de relevancia y los elementos cualitativos no cuantificables
De cara al análisis del funcionamiento de la IA debemos considerar, en primer lugar, que ésta no funciona como un ingenio mágico que, sin ningún tipo de conexión, antecedente o preparación previa, emite su parecer sobre las cuestiones que son sometidas a su consideración (21) . Efectivamente, dejando a un lado la faceta más tecnológica vinculada a la elección y perfeccionamiento del tipo de algoritmo más adecuado para el objetivo que pretendamos conseguir — tarea esta más técnico-computacional, alejada de nuestro ámbito, por lo que omitiremos su referencia en este momento—, el elemento fundamental en el que está basado el funcionamiento de dicho algoritmo es el conjunto de datos con los que este ha sido entrenado y han servido de base para su «aprendizaje» para que, posteriormente, pueda emitir sus outputs en forma de decisiones o recomendaciones (22) . Dichos datos pueden ser actualizados de forma constante por medio de los propios outputs, lo que retroalimenta el modelo de machine learning.
El dato anterior nos ayuda a entender que, a pesar de que la Inteligencia Artificial no es una rama reciente de la computación —de hecho, su nacimiento encuentra sus raíces en los años 40 y 50 del siglo pasado (23) — su desarrollo exponencial de los últimos años ha sido posible en gran medida gracias al creciente acceso a ingentes cantidades de datos automatizados acaecidos principalmente en las dos últimas décadas (24) . Este elemento, junto al inmenso desarrollo de las capacidades computacionales, han supuesto una revolución en este ámbito, que ha visto incrementada de forma vertiginosa sus capacidades y usos.
Por otro lado, la aportación de determinadas novedades como el machine learning y las redes neuronales también ha supuesto un punto de inflexión en el desarrollo de la IA. Estas innovaciones pueden considerarse una revolución con respecto a sus predecesores, los algoritmos de árboles de decisión, bien conocidos y utilizados todavía en la actualidad pero, en mayor medida, en décadas pasadas en forma de sistemas expertos. En el sentido anterior, respondiendo a su estructura más sencilla diremos que los algoritmos de árboles de decisión se configuran como modelos predictivos que alcanzan su conclusión tras haber pasado los datos aportados por unos filtros clasificatorios previamente programados y estructurados en forma de árbol, en donde la respuesta a cada nodo da paso a una ramificación distinta del árbol en cuestión. La gran ventaja de esta variante de IA es que, además de su sencillez, permite que sus outputs puedan ser «trazados», esto es, se pueda seguir el camino que el algoritmo recorrió para emitir dicho output o resultado. Por lo tanto, los motivos de ese resultado serán escrutables o «explicables» en base a las preguntas que se respondan —o la información que se recabe— en cada uno de los nodos o «ramas del árbol» superadas (25) .
Al contrario que lo anteriormente mencionado para los árboles de decisión, con los datos aportados sobre el asunto y el dataset con el que se han entrenado y preparado los actuales algoritmos de red neuronal o neural network identifican patrones por sí mismos, sin intervención humana (26) . Dichos patrones se establecen dentro de las redes neuronales, por medio de conexiones generadas entre los nodos de dicha red (27) , sin que pueda seguirse el camino tomado por el algoritmo para llegar a su resultado final, lo que genera la conocida como black box o «caja negra». La obtención de esos patrones se realiza en base a una aproximación probabilística totalmente matemática, según la cual el algoritmo busca relaciones entre los datos para proyectar su resultado (28) . Dicha aproximación probabilística se configura, por su propia naturaleza, como un análisis totalmente matemático-cuantitativo, basado en los datos con los que el modelo de IA cuenta. Considerando esta cuestión podemos entender que, en el momento presente, los resultados de la IA no sean tan satisfactorios en ámbitos en los que los elementos cualitativos — de difícil o imposible cuantificación— gozan de una especial trascendencia. Lo anterior viene a mostrar que el algoritmo no es capaz de captar el factor de relevancia (29) de la información si ésta no puede materializarse, a su vez, en datos cuantificables que puedan proyectarla en los patrones que marcan su funcionamiento.
Trasladada al ámbito de la resolución de conflictos, la reflexión anterior nos da píe a destacar que los entornos en los que la IA encontraría una mejor aplicabilidad serían aquéllos en los que — reiterando la idea del párrafo anterior— los elementos cualitativos pueden jugar un papel menos relevante ya que, como hemos indicado, el algoritmo no es capaz de captar el sentido propio de relevancia que dichos elementos cualitativos traerían aparejados (30) . O, por expresarlo en sentido contrario, que el «juez IA» del que venimos hablando tendría una mejor cabida en aquellas situaciones o entornos en los que, por la realidad ordinaria de los mismos, las circunstancias cuantificables gocen de una presencia mayoritaria y preponderante sobre los posibles elementos no cuantificables (31) .
Por otro lado, esta alusión práctica en relación con la visualización del funcionamiento de la IA nos sirve también para ser conscientes de la diferente forma en la que funcionamos máquinas y humanos: mientras que la IA toma sus decisiones creando patrones por medio de aproximaciones matemáticas y aporta sus conclusiones expresando, en su caso, márgenes porcentuales de probabilidad, el razonamiento humano trata de llegar a sus conclusiones ligando determinados hechos por medio de prueba directa o presunciones que permitan conducir a ellas. Si analizamos las pruebas o indicios que un tribunal debe tener de cara, por ejemplo, a romper el principio de presunción de inocencia de un acusado en un asunto penal y poder declararle culpable, los magistrados no expresarán un porcentaje de convencimiento sobre dichas circunstancias. Dicho convencimiento sobre la culpabilidad debe de ser absoluto, debe de ir más allá de toda duda razonable:
«El motivo nos sitúa en el epicentro de un problema complejo sobre el que gira, en muy buena medida, el propio núcleo garantizador del principio de presunción de inocencia como regla de juicio: cuándo puede considerarse satisfecho el estándar más allá de toda duda razonable para fundar una sentencia condenatoria (32) ».
La realidad anterior nos muestra ya de origen la dificultad de aplicar tecnología de IA a la resolución de determinados conflictos, al menos si queremos mantener los estándares y principios que hemos venido siguiendo hasta el momento, en este caso en el ámbito jurisdiccional penal. Ello no quiere decir, no obstante, que aun siendo conscientes de sus limitaciones la denominada «justicia algorítmica» no pueda implementarse en otros contornos o con otras funciones. Como mencionaremos en posteriores apartados, tampoco la justicia humana está exenta de sesgos u otras cuestiones problemáticas lo que, en determinadas circunstancias, puede incluso hacer aconsejable implementar mecanismos tecnológicos que, imbricados convenientemente en un sistema judicial de resolución de conflictos humano-algorítmico, pueda alumbrar en su día una estructura mejor que la actual.
2. El funcionamiento de la IA. El dataset y la proyección del pasado hacia el futuro
Con lo dicho hasta el momento vamos tomando conciencia, entre otras cuestiones, de la trascendencia de los datos con los que el modelo de IA que estemos considerando ha sido entrenado y preparado. Como trataremos más en detalle al analizar los sesgos, la cantidad y calidad de información que conforme el dataset con el que entrenamos el algoritmo va a constituirse como pieza esencial para comprender la precisión y naturaleza de las predicciones que el modelo de IA pueda emitir. Si el algoritmo toma sus datos sin ningún tipo de control del universo de internet no debería sorprendernos que los resultados aportados sean, en muchas ocasiones, simples correlaciones espurias (33) fruto de la propia casualidad, mientras que si el conjunto de información con el que entrenamos el modelo de IA proviene de un cuidado análisis y clasificación previo las posibilidades de que el algoritmo encuentre verdaderos patrones de causalidad — y no de casualidad (34) — con un valor añadido serán muy superiores (35) .
En cualquier caso, la cimentación del funcionamiento del algoritmo sobre datos previamente existentes marca una realidad incuestionable: el algoritmo y sus predicciones se construyen sobre información pretérita y, en este sentido, se configuran como una cristalización del pasado que se proyecta hacia el futuro por medio de las predicciones que la IA realiza en relación con los supuestos sobre los que se le cuestiona. Como veremos, esta vinculación al pasado es significativamente relevante por lo que respecta a la posibilidad de que los outputs de la IA reflejen los sesgos que los datos previos puedan contener, lo que ayudaría a perpetuar dichos sesgos en la medida en la que estos no hayan sido depurados de la información que el algoritmo recibe o de las decisiones que éste toma.
Desde la perspectiva anterior, y aunque a primera vista pueda parecer paradójico, la IA se configura como una tecnología conservadora por lo que respecta a la generación de sus resultados. Así es, en la medida en la que su funcionamiento se encuentra anclado y determinado por información y decisiones pasadas, su capacidad de absorber y proyectar nuevas tendencias, corrientes o cambios sociales, así como su aplicación en escenarios novedosos — piénsese en ámbitos en los que se hayan producido novedades normativas de calado, por ejemplo— queda muy limitada o quedará sujeta, en todo caso, a la producción de un nuevo corpus de datos que pueda recoger dichas novedades y posibilite la «reeducación» del algoritmo en ese sentido (36) . Excluida su producción algorítmica (37) , esos datos producidos conforme a las innovaciones acaecidas — sean sociales, normativas o del tipo que fueren— deben necesariamente encontrar al humano como ente generador y procesador, y proyectan de nuevo la obligada coexistencia de los algoritmos con las personas de cara a poder dotarse de sistemas susceptibles de actualizarse con la sociedad, sus normas y usos. No hablamos, en fin, de sustitución de los humanos que — en nuestro caso, en forma de jueces o árbitros— formarían parte del sistema no ya sólo como usuarios, sino como parte esencial de un entramado que no pretendería una sustitución total que no podría razonablemente darse, sino la cohabitación IA-humanos en aras a aprovechar las potencialidades de unos y otros e imbricarlas de una forma adecuada y socialmente beneficiosa (38) .
IV. Principales problemas relativos al uso de IA en el ámbito de la resolución de conflictos: bias y explainability
Una vez hemos aportado unas pinceladas sobre el funcionamiento de la IA y hemos comprendido, al menos de forma introductoria, la trascendencia de los datos en la conformación de los outputs generados por esta, pasaremos a continuación a analizar los problemas que pueden surgir en su génesis y aplicación para, en su caso, tratar de dar luz sobre los posibles remedios a los mismos. Nos detendremos en los denominados «sesgos» (bias) —esto es, los «vicios» o «prejuicios» que pueden impregnar los productos o decisiones emitidas por los algoritmos— y el problema de la «explicabilidad» (explainability) de los resultados emitidos por dichos algoritmos — que sus resultados contengan una explicación mínima que nos permita conocer los motivos por los que el algoritmo llegó a la misma—, siempre sin perder de vista que tratamos de analizar la aplicabilidad de esta tecnología en el ámbito de la resolución de conflictos desde una perspectiva decisional.
1. Sesgos (bias)
Si bien podríamos decir que la existencia de un sesgo (bias) puede ser algo deliberadamente buscado e introducido para causar un propósito positivo (39) —véanse, por ejemplo, las discriminaciones positivas aceptadas por la normativa y jurisprudencia—, en general cuando hablamos de este término en el ámbito de la IA queremos hacer referencia a aquella tendencia no deseada o voluntariamente pretendida que viene a causar una discriminación sistemática contra ciertas personas o grupos, de tal forma que éstas sufren un perjuicio cuando se toman determinadas decisiones que las afectan (40) .
El hecho de automatizar algorítmicamente las decisiones añade un elemento que incrementa el peligro de falta de control sobre los posibles bias que pueden afectar a las mismas, además de amenazar con conservar y perpetuar los sesgos existentes en la información que haya servido de base para el dataset. Como adelantábamos anteriormente, la IA por medio de redes neuronales y machine learning no permite el conocimiento de los fundamentos que han llevado al algoritmo a hacer una recomendación o a tomar una decisión (41) , pues ese proceso se realiza por medio de una conexión interneuronal que, en su búsqueda de patrones entre los datos, no suministra los vínculos que lo han llevado al output final. En este sentido, la posibilidad de detectar sesgos se antoja a priori compleja, y precisamente por ello se debe poner especial cuidado en el diseño, preparación y entrenamiento del algoritmo. Así, cobran una relevancia singular la calidad y cantidad de los datos utilizados de cara a preparar y entrenar dicho algoritmo, clave fundamental en la que podremos encontrar el origen de no pocos de los bias de las decisiones que puede generar la IA.
En las próximas líneas trataremos de explicar las que creemos carencias más comunes en las bases de datos (datasets) con las que preparamos la IA que pueden generar sesgos discriminatorios: (a) que entrenemos al algoritmo con unos datos incompletos, por insuficientemente numerosos o por reflejar sólo una parte de la realidad del mundo que quiere representarse mediante esos datos; y (b) que contemos con datos que, si bien suficientes, están sesgados en sí mismos, por lo que los resultados que puedan obtenerse en aplicación del algoritmo de IA también se encontraran, a su vez, sesgados. Como veremos, la importancia de fijar el origen del sesgo se antoja fundamental para poder tratar de poner remedio al problema y conseguir una IA más fiable, aunque en ocasiones lo anterior pase por reconocer que también las decisiones humanas están sujetas a dichos sesgos.
A) Datos insuficientes en número
Adelantábamos anteriormente que el primer motivo por el cual podemos encontrarnos con outputs algorítmicos sesgados traería su origen de que el mismo ha sido entrenado con unos datos — dataset— incompletos, al haber sido los datos utilizados insuficientes para poder proceder a un entrenamiento adecuado del modelo de IA. Efectivamente, debemos mencionar que el proceso de entrenamiento y preparación del algoritmo exige de un mínimo de datos previos de cara a que se puedan conseguir resultados de precisión adecuados. Así, una insuficiencia de los mismos incidiría en el trabajo posterior del algoritmo que, sin esa representación mínima del mundo que quiere captar, emitiría unos juicios o recomendaciones potencialmente viciados.
La realidad anterior viene a patentizar un prerrequisito de los sistemas de Inteligencia Artificial que queramos implementar: el acceso previo a datos suficientes. En este sentido, si consideráramos la idea de implementar un sistema de estas características en un ámbito jurídico concreto — pensemos, por ejemplo, en las decisiones de primera instancia resolviendo asuntos contractuales, matrimoniales o de otro tipo— deberíamos asegurarnos el acceso previo y la posibilidad de uso de dichas resoluciones de cara al desarrollo del algoritmo en cuestión (42) .
B) Datos insuficientes por su origen
Por otro lado, si bien los datos pueden ser suficientes en su cantidad, cabe la posibilidad de que los mismos no reflejen la totalidad de las situaciones o casos que deberían considerarse para reproducir fielmente el ámbito que se pretenda, esto es, que los datos con los que preparemos el algoritmo sean el reflejo sólo de una parte de la realidad que se deseaba representar mediante esos datos, lo que generará un sesgo evidente a la hora de juzgar las situaciones correspondientes. Pensamos, por ejemplo, en aquellas situaciones en las que existe una carencia o sobrerepresentación de información sobre un colectivo o un grupo — por encontrarse este infra o sobrerepresentado en el dataset—, lo que bien puede hacer que los resultados finales aportados por la IA reflejen a su vez una tendencia a favor o en contra del mismo.— Piénsese, por ejemplo, en un modelo de IA entrenada para emitir su parecer sobre controversias relativas a asuntos contractuales, pero sólo entrenado con datos sobre asuntos relativos a determinadas cláusulas contractuales y no otras (43) .
Trasladando al entorno jurídico — y, especialmente, al de la resolución de controversias—, la idea de desarrollar un algoritmo con capacidad decisoria para crear un Juez Robot en un ámbito determinado pasaría por configurar una base de datos lo más completa posible de la realidad que se quiere reproducir (44) . En el sentido anterior, podríamos afirmar que las sentencias judiciales de primera instancia de la temática sobre la que queramos configurar el algoritmo conformarían esa primera gran base de datos que, de forma intuitiva, viene a nuestra mente de cara a preparar la Inteligencia Artificial para nuestros usos. Pero más allá de esa información deberíamos preguntarnos qué otra información con trascendencia para captar la totalidad del mundo de las disputas en ese ámbito concreto debe ser considerada. Así, se nos ocurre que, por ejemplo, debería considerarse la posible inclusión de los asuntos de dicha temática resueltos por medio de arbitraje, o aquéllos en los que las partes en conflicto hayan llegado a un acuerdo tras seguir un procedimiento de mediación o plea bargaining (45) . Por otro lado, cabría cuestionarse si del primer grupo tendrían que ser retiradas las sentencias recurridas en apelación — o tal vez aquéllas que, habiendo sido apeladas, han recibido una sentencia estimatoria que revocaba la de instancia—.
En fin, como puede comprobarse, la configuración de la base de datos con la que entrenar y preparar el algoritmo de Inteligencia Artificial debe venir precedida de un esfuerzo reflexivo en relación con la información a incluir en la misma. La información más inmediata y directa a la que tengamos acceso puede reflejar sólo una realidad parcial, sesgada e incompleta de la globalidad que queramos representar lo que, a su vez, generará respuestas sesgadas por parte del algoritmo. El análisis anterior aconseja la participación de personas de diferentes proveniencias y con diferentes sensibilidades, entornos pluridisciplinares capaces de enriquecer y captar los matices que, si bien importantes, pueden no ser percibidos de forma inmediata y, como tal, obviados en la conformación del dataset.
C) Datos sesgados (biased dataset)
Por otro lado, uno de los supuestos más comunes que puede proyectar un posible sesgo en las predicciones del algoritmo viene originado al encontrarse la información viciada o ser tendenciosa (biased information) en la base de datos que sirve para su preparación. Esta cuestión suele constituirse como uno de los problemas más habituales y, en ocasiones, difíciles de evitar, al no ser sencillo detectar o ser conscientes de los sesgos existentes, ni siquiera aquellos que nos afectan a nosotros mismos a la hora de tomar decisiones.
Trataremos de ilustrar la problemática anterior por medio de ejemplos que nos ayuden a entender los sesgos ocultos en la información que utilizaríamos para programar los algoritmos, así como posibles vías para evitar o atenuar el problema. Intentaremos aproximar estos ejemplos a la esfera de la resolución de conflictos, de tal forma que los mismos ayuden a acercar la reflexión a dicho ámbito de referencia.
a) ¿Somos objetivos a la hora de valorar? Valorando saltos de esquí y juzgando con «hambre»
En un interesante estudio realizado por KRUMER, OTTO y PAWLOWSKY se analizaron los sesgos de los jueces de competiciones internacionales de saltos de esquí a la hora de valorar los saltos de los participantes en las mismas (46) . Para ello los investigadores manejaron e el estudio comprendía los datos referidos a 15000 saltos en competiciones internacionales de primer nivel en el período 2010 a 2017 (47) .
Tras el estudio exhaustivo de los saltos mencionados y las valoraciones realizadas por los distintos jueces los investigadores llegaron a la conclusión de que prácticamente la mitad de los jueces favorecían a los saltadores de su misma nacionalidad en una forma que era estadísticamente relevante. Ese sesgo — conocido como nationalistic bias o sesgo nacional— difería de forma notable dependiendo del país de proveniencia de los jueces en cuestión: según el análisis, los más tendentes hacia ese favoritismo fueron los jueces rusos mientras que, por el contrario, en las decisiones tomadas por los jueces fineses y noruegos no se percibe una desviación estadística apreciable (48) .
Con un ejemplo de un ámbito tan específico como el de este deporte podemos comprobar que la conformación de un cuerpo de datos que, ya en sí mismos, contienen vicios o datos tendenciosos — en algunos casos a buen seguro que incluso ignorados por los propios actores— hace que los resultados que pudiéramos obtener en aplicación del algoritmo también lo fueran. No obstante, KRUMER, OTTO y PAWLOWSKY van todavía más allá en su publicación, al sugerir que si esos datos y conclusiones han podido ser extraídos de una competición deportiva cuyo desarrollo y puntuaciones se realizan de una forma abierta, pública y transparente, «este favoritismo grupal puede incluso ser mayor en ambientes menos transparentes en los que también exista un proceso decisional subjetivo, tales como procesos de decisión política, decisiones judiciales dentro de los correspondientes procedimientos legales, gestión de recursos humanos, etc. (49) »
La apelación provocadora de KRUMER y su equipo en relación con la posibilidad de que el ámbito judicial pueda ser un buen caldo de cultivo para decisiones viciadas de favoritismo u otros sesgos ocultos no puede dejarnos indiferentes. Ciertamente, si bien el proceso deductivo-judicial encuentra su colofón y reflejo final formal en la debida motivación expresada en la resolución judicial del asunto — que en principio nos servirá para conocer los motivos por los que se ha llegado a la parte dispositiva y, en su caso, facilitará el recurso posterior contra la misma—, no podemos asegurar que esa motivación expresada y la motivación real que ha conducido al juez a la decisión final estén perfectamente alineadas (50) . Y es que, llegados a este punto, la mente humana funciona también como una especie de «caja negra», que puede ocultar determinados sesgos decisionales (51) — ocultos tal vez para las propias personas decisoras (52) — como, por ejemplo, la tendencia a valorar con una puntuación mayor a «nuestros» saltadores de esquí.
Ahondando en la idea anterior, y entrando en terreno estrictamente jurisdiccional, encontramos ejemplos que demuestran la influencia de factores externos en la toma de decisiones también en el ámbito judicial. Citaremos para ilustrarlo un estudio realizado por DANZINGER, LEVAV y ANNAIN-PESSO en el que analizaron más de 1000 decisiones relativas a libertad condicional resueltas por ocho jueces que presidían parole boards en Israel (53) .
Figura 1 (54) . Proporción de decisiones favorables en porcentaje. Las líneas de puntos marcan las pausas para comer y descansar.
El estudio de DANZINGER, LEVAV y ANNAIN-PESSO ordenó los casos resueltos tomando en consideración las horas en las que las parole boards eran realizadas. Se observó que al inicio de la mañana y tras las dos pausas para comer y descansar que se hacían a lo largo de la jornada el porcentaje de casos resueltos positivamente — y, por lo tanto, las personas que alcanzaban la libertad condicional— era de entre un 65-75%, mientras que a medida que iba avanzando la sesión sin que se produjera descanso el número de personas que obtenían un resultado positivo se reducía de forma notoria y estadísticamente muy significativa hasta, incluso, llegar prácticamente a cero. En resumen, las personas sometidas al criterio de esos jueces en relación con su libertad condicional tenían muchas mayores posibilidades de obtener una resolución favorable si su asunto era valorado al inicio de la jornada o tras las pausas de descanso que si lo era posteriormente — todavía más si se trataba del último candidato antes de la pausa, que casi con seguridad recibía una respuesta desfavorable—.
b) Datos sesgados, IA y resolución de conflictos: una necesaria reflexión
Tanto el estudio de DANZINGER y su grupo como el previo de KRAMER y su equipo nos muestra que, a la hora de tomar decisiones, los humanos — también en el ejercicio de la función jurisdiccional— estamos sujetos a factores, tanto físicos como psicológicos, que pueden inducirnos — y, de hecho, lo hacen— a que dichas decisiones sean sesgadas y no objetivas, esto es, no basadas exclusivamente en los datos que se nos han presentado como objeto de análisis (55) . Y si bien debe evitarse la generalización indiscriminada de conclusiones, no debemos perder de vista esta realidad de potencial sesgo de la información a la hora de conformar un dataset que nos sirva para desarrollar un algoritmo decisional en el ámbito de la resolución de conflictos (56) .
Llegado este punto creemos conveniente sugerir el uso de la propia IA de cara a poder detectar esos sesgos. Su gran capacidad de proceso de datos y de determinación de patrones puede ser de gran ayuda para percibir los bias ocultos en las decisiones pasadas, ser conscientes de los mismos y tratar de ponerlos remedio. En el caso expuesto por DANZINGER, por ejemplo, teniendo en cuenta nuestro sesgo negativo a medida que va avanzando la jornada — y tal vez excesivamente positivo cuando estamos más frescos— podemos reorganizar el trabajo de tal forma que hagamos más pausas o contemplemos un mecanismo de análisis de las decisiones al final de la jornada que nos ayude a reconsiderar las mismas a la luz de estos datos. Todo ello pasa por que seamos conscientes de la existencia de dicho sesgo y la incidencia del mismo en nuestro proceso de toma de decisiones (57) .
En todo caso, retomando nuestra idea principal, siendo conscientes de la necesidad de contar con un conjunto de datos fiables para poder desarrollar un «juez-IA», la posibilidad de que la información de origen cuente con sesgos que se proyecten posteriormente en las decisiones de nuestro algoritmo no puede dejarnos indiferentes y nos compele a una reflexión y decisiones posteriores en relación con dichos datos sesgados. Efectivamente, si como hemos expuesto la IA puede ayudarnos a detectar dichos sesgos en las decisiones pasadas, la cuestión que surge a continuación es cómo debemos actuar una vez hayamos detectado la existencia de esos sesgos en la información. Es este un asunto capital que, si bien de forma inmediata puede parecer de sencilla respuesta dando por sentado que los sesgos deben de ser eliminados, en nuestra opinión entraña una problemática con proyecciones en diferentes facetas muy intrincadas y complejas.
Situándonos en el ámbito de la resolución de controversias, la información recopilada en forma de sentencias judiciales, laudos arbitrales, acuerdos de mediación u otros instrumentos que pudieran ser de interés de cara a la configuración de la base de datos con la que preparar la IA se configuraría como un reflejo del mundo en el que vivimos en la realidad, y los sesgos conformarían una fiel proyección de este. La apuesta por la eliminación de los mismos exigiría una profunda reflexión previa en relación con múltiples condicionantes y circunstancias — como, por ejemplo, su alineamiento con los valores sociales de cada momento—. Se trata de una decisión con unas implicaciones de gran calado, ni mucho menos técnico-científica, sino con posibles proyecciones socio-políticas (58) de entidad suficiente como para que deba de ser tomada por un equipo pluridisciplinar de alto nivel compuesto por personas de diferente formación y procedencia, capaces de comprender las distintas dimensiones y matices de la cuestión y las derivadas que la inclusión o exclusión de determinados datos pueden llevar aparejadas. Por otro lado, debemos asumir que la exclusión de esa información hará que el grado de precisión de la IA (la accuracy del algoritmo) se reduzca, toda vez que se está suprimiendo información que dicho algoritmo procesa de cara a emitir su output o resultado, y esa reducción de información conllevará, a su vez, una pérdida de precisión en su funcionamiento.
En fin, como puede comprobarse nos encontramos ante una cuestión extraordinariamente compleja, que excede con mucho los límites de nuestro análisis para adentrarse en otros ámbitos, como el de la filosofía, la antropología, la sociología o la política, de muy distinta naturaleza y calado y que, como recordábamos, no puede dejarse al albur de decisiones que puedan tomar los tecnólogos o desarrolladores de la Inteligencia Artificial. La implicación de personas de diferente proveniencia se antoja un elemento esencial para, aquí también, conseguir una IA fiable y socialmente aceptable.
2. Explicabilidad de las decisiones de la IA (explainability)
La otra gran carencia de la Inteligencia Artificial por redes neuronales que debe mencionarse es la ausencia de un relato explicativo o de unas referencias motivacionales en relación con las decisiones u outputs emitidos por el algoritmo. En resumen, en aplicación de los datos suministrados el algoritmo de IA emite una recomendación o decisión, un output en respuesta a la cuestión para la que haya sido programado. No obstante, lo que el algoritmo no nos ofrece es una explicación de porqué ha tomado dicha decisión y, lo que todavía tiene más relevancia, tampoco podemos tener acceso al «razonamiento» que ha conducido al algoritmo a la solución aportada (59) . Así, no tenemos conocimiento del razonamiento interno realizado, que se queda como algo opaco e inaccesible, pues sólo conocemos cuáles han sido los datos suministrados (inputs) y las decisiones aportadas (outputs). Como mencionábamos, esta característica es conocida como la «caja negra» o the black box, precisamente por la opacidad con la que la Inteligencia Artificial basada en redes neuronales trabaja de cara a aportar sus resultados.
Efectivamente, como antes adelantábamos, al contrario que lo anteriormente mencionado para los árboles de decisión, con los datos aportados los actuales algoritmos de red neuronal o neural network identifican patrones por sí mismos, sin intervención humana. Dichos patrones se establecen dentro de las redes neuronales, por medio de conexiones generadas entre los nodos de dicha red, sin que pueda seguirse el camino tomado por el algoritmo para llegar a su resultado final, lo que genera la ya citada black box o «caja negra». Este elemento es un obstáculo para el avance de la Inteligencia Artificial en ámbitos en los que los motivos relacionados con la toma de decisiones sí que cuentan y pueden ser tan importantes como la decisión misma — como puede ser, precisamente, el ámbito de la resolución de controversias aquí tratado (60) —. Asimismo, la aceptación social de la Inteligencia Artificial pasa porque la misma sea confiable, y una de las piedras angulares de esa confiabilidad (trustworthiness) es precisamente que las personas puedan llegar a comprender los motivos por los que un algoritmo ha tomado una decisión concreta que les afecte, por lo que un avance en este ámbito se antoja esencial de cara a un mejor acogimiento social de la IA (61) .
A) La XAI y las posibilidades de «abrir» la «caja negra»
A pesar de lo expuesto en el apartado precedente, en los últimos años la importancia otorgada a la implementación de una Inteligencia Artificial cuyos resultados o predicciones puedan ser explicables ha ido ganando terreno y, especialmente en determinados ámbitos, se configura como una premisa para el posible desarrollo de la propia IA a nivel social. Desde la perspectiva anterior, el campo de la Explainable AI (XAI) o IA Explicable ha adquirido una gran relevancia (62) . Como su propio nombre indica, la XAI trata de desarrollar métodos que ayuden a explicar e interpretar los modelos de machine learning superando, al menos parcialmente, la mencionada problemática de la black box. Este campo no se centra tanto en las capacidades predictivas de un modelo, sino en que los motivos que han conducido a dicho modelo a generar un output puedan ser conocidos y comprendidos y, de esta manera, la IA pueda ser confiable desde un punto de vista social (63) .
Si bien existen diferentes aproximaciones a la cuestión (64) , en síntesis diremos que estas «explicaciones» son proporcionadas por «explanation tools (65) », modelos creados para desentrañar las decisiones emitidas por otros modelos o algoritmos. Aunque se podrían citar varios, entre ellos el más conocido es probablemente el Locally-Interpretable Model-agnostic Explanations o LIME (66) . Aunque es un campo en diaria evolución, es importante considerar que dichos modelos sólo son capaces de aportar los factores relevantes utilizados por el sistema para llegar al resultado, y no una explicación completa y desarrollada, en el sentido que solemos entender que viene siendo realizada, por ejemplo, por jueces y tribunales (67) .
B) La IA generativa y la revolución del ChatGPT
Con todo, cualquier referencia presente que se realicé a la Inteligencia Artificial y sus usos no puede obviar el tsunami informativo y mediático producido tras la puesta a disposición del público en abierto en noviembre de 2022 de ChatGPT. Así es, dicho hecho revolucionó el ya de por sí revolucionario mundo de la Inteligencia Artificial, y desde ese momento las noticias sobre esta tecnología y sus aplicaciones son diarias y constantes. En el sentido anterior, debemos calificar ese momento como verdadero hito, pues si bien la trascendencia presente y futura del uso de los algoritmos en muy numerosas tareas ya se encontraba presente, ChatGPT ha servido para expandir y popularizar de una forma extraordinaria su trascendencia y utilidades, así como para incrementar de una forma exponencial la presencia e interés por la IA en distintos ámbitos, entre ellos el jurídico.
ChatGPT es un modelo predictivo de Natural Language Processing (NPL) o Procesamiento de Lenguaje Natural desarrollado por la empresa OpenIA, controlada por Microsoft. El referido modelo de noviembre de 2022 constituía una versión del más genérico modelo GPT-3.5 de dicha empresa que, tras ser utilizado por millones de usuarios en todo el planeta, se convirtió en el paradigma mundial de la IA para el público en general. Entre sus grandes virtudes, esta IA es capaz de generar — de ahí la referencia a la IA Generativa— texto coherente y de una muy buena calidad sobre la temática que le sea formulada, llegando a analizar problemas y aportar soluciones estructuradas y verosímiles ante las cuestiones que le sean planteadas. Estas ventajas encontraban también su reflejo en el ámbito legal y académico, y las experiencias que trataron de testar su valía en dichos espacios no tardaron en llegar: Terwiesch sometió a ChatGPT a cinco problemas de su materia en el MBA de Wharton, alcanzando un nivel general extraordinario, aunque cometiendo en algunas ocasiones errores calificados por el propio autor como propios de nivel escolar (68) . Katz y Bommaritto, por su parte, sometieron al modelo a un cuestionario de preguntas que constituyen parte del examen de acceso a la abogacía en Estados Unidos (BAR), con unos resultados que, si bien muy positivos, en general quedaban lejos de los resultados medios obtenidos por los candidatos humanos en dicho examen (69) . Los mismos autores probaron nuevamente ChatGPT con 200 preguntas test del examen CPA —al que se someten aquellos que quieren acreditarse como public accountants, perfil que en nuestro entorno correspondería al sector de la auditoría, consultoría o asesoría fiscal—, alcanzando una media de acierto que superaba el 50%, un nivel bastante competitivo considerando la tasa anual de candidatos suspendidos en esta prueba (70) .
En cualquier caso, la evolución no se hizo esperar, y pocos meses después (71) se dio a conocer GPT-4, una versión avanzada del modelo anterior que consiguió una mejora sensible de los resultados reportados por su predecesora. Así, centrándonos en lo exclusivamente jurídico, GPT-4 no sólo consiguió unos resultados medios superiores al 75% de acierto en los test correspondientes al examen BAR — por 68% de la media de estudiantes humanos que realiza dicho examen—, sino que incluso logró unos resultados muy satisfactorios cuando fue sometida a la parte del examen que comprendía la elaboración de textos escritos en respuesta a casos prácticos— (Multistate Essay Examination — MEE—) (72) . Estos datos no sólo permiten afirmar que el modelo es susceptible de aprobar el examen BAR, sino que su capacidad de redacción de textos ha alcanzado un nivel verdaderamente remarcable y que, considerando los avances continuos que la disciplina de la IA está desarrollando de forma constante, impulsó a los autores a concluir que ello constituía «el suelo, pero no el techo, de sus aplicaciones futuras (73) ».
Pero el uso práctico de ChatGPT y GPT-4 — y modelos semejantes de otras empresas— en la elaboración de textos, a pesar de su calidad, no deja de generar problemas que, cuando menos, deben ser señalados. En este sentido, no podemos perder de vista que la generación de textos realizada se basa en la predicción de los mismos — esto es, la predicción de qué palabras y frases deben seguir a las anteriores-, tomando en consideración para ello las inmensas bases de datos con las que ha sido entrenado el modelo. Y si bien esta predicción se presenta como un texto verosímil y absolutamente coherente, no quiere decir que en todo caso sea correcto o responda de forma atinada a las cuestiones planteadas. El hecho anterior se ha visto reproducido en varios casos sonados, en los que ChatGPT no solo ha errado a la hora de elaborar un texto, sino que incluso ha llegado a «inventar» citas jurisprudenciales que el tribunal comprobó posteriormente que eran falsas (74) . Todo lo anterior conduce en la actualidad a recomendar un uso prudente de esta tecnología, con un control humano posterior que, desde su experiencia y conocimiento, analice y avale el contenido del escrito elaborado por la IA.
C) Pero… ¿qué «explicaciones» — motivaciones— necesitamos?
La irrupción de ChapGPT y, en general, de la IA con capacidad de generar textos articulados verosímiles y otro tipo de contenidos — Generative AI— puede hacernos pensar que el debate sobre la explicabilidad de los resultados de la IA está encauzado y en vías de solución. Nada más lejos de la realidad: el mismo persiste, pues el fenómeno de la black box sólo ha desaparecido en apariencia, pues seguimos sin conocer los motivos por los cuales el modelo ha generado dicho texto articulado, esto es, porqué ha unido esas palabras y frases y no otras que también podrían haber tenido sentido. En este sentido, si queremos generar confianza en esta tecnología y así poder integrarla de forma transparente y socialmente aceptable, se debe trabajar en desarrollar la explicabilidad de la IA, más si cabe cuando tienen unas consecuencias vinculadas a lo público.
Llegado este punto cabría preguntarse qué entendemos por una explicación, o tal vez mejor, qué tipo de explicaciones requerimos para satisfacer nuestra necesidad de argumentación. Por supuesto, la respuesta va a tener matices subjetivos (75) , pero se intuye que las motivaciones medias exigidas van a variar dependiendo del ámbito decisional en el que nos movamos: desde unas meras referencias para las decisiones con menor trascendencia hasta una motivación más extensa y articulada para aquellas otras de importancia superior.
Trasladando el debate al ámbito de resolución de controversias, cabría cuestionarse si la motivación de las decisiones tomadas resolviendo las mismas debe en todo caso mantener los estándares exigidos actualmente en sede jurisdiccional o si, por el contrario, pudiera en alguna circunstancia, ámbito o instancia específica dar entrada a explicaciones (76) menos extensas que permitieran la implementación de un «juez IA» en el estado actual de la ciencia. En este sentido, no podemos perder de vista la agilidad que aportaría esta alternativa, pues permitiría a las partes del conflicto recibir una respuesta en un breve plazo de tiempo, cuando en la actualidad es muy probable que la resolución al mismo deba demorarse meses o incluso años (77) . Además, considerando el uso extensivo y generalizado de la tecnología en las generaciones más jóvenes, es muy probable que la digitalización y automatización en este ámbito encuentre una mejor acogida entre ese colectivo y que este hecho acarree, a su vez, un más fácil acceso a la justicia por personas que, en la actualidad, la perciben como algo alejado y ajeno. En fin, la IA es una rama en constante y fulgurante desarrollo, y en no demasiado tiempo es muy probable que nos encontraremos con notables mejoras también en el ámbito de la explicabilidad. Es por ello por lo que deberemos estar atentos a la evolución de la IA en este ámbito, que puede abrir interesantes posibilidades de cara a su aplicación práctica en determinados estadios y ámbitos de la estructura judicial o, más en abstracto, del ecosistema general de resolución de conflictos.
V. La integración de la IA en el sistema de resolución de conflictos desde una óptica decisional: la posibilidad de implementar jueces robot o jueces IA en ámbitos concretos
Hasta aquí hemos analizado el funcionamiento de la IA y descrito los principales problemas que debemos afrontar en su uso, tanto en su uso general como por lo que respecta a su posible implementación en el ámbito de la resolución de conflictos. Centrándonos en el terreno jurisdiccional, creemos que confiar plenamente la resolución de un asunto a elementos exclusivamente cuantitativos puede acarrear resultados equivocados, incluso aun cuando los porcentajes puedan marcar una tendencia muy clara a favor de un signo (78) o, en su caso, la capacidad generativa de un modelo pueda aportarnos un escrito razonado sobre el asunto en cuestión. Hemos de recordar que la IA realiza sus predicciones en base a elementos exclusivamente estadísticos, por lo que la información con la que haya sido entrenado el modelo marcará la pauta sobre el resultado emitido por el mismo. Así, en caso de implementarse, dicha carencia haría muy recomendable la apelabilidad de las resoluciones de un Juez IA ante un juez o tribunal humano, de tal forma que en dicho recurso pudiera analizarse específicamente la vertiente más vinculada a la relevancia de determinados datos del asunto que la IA, por su naturaleza, haya podido pasar por alto. El dato anterior proyecta, una vez más, la idea de complementariedad entre el hombre y la IA, superando la concepción más simplista de sustitución del humano por la máquina, de tal manera que la correcta integración de unos y otros pueda generar una mejora (augmentation) general del servicio proporcionado por la Administración de Justicia.
La reflexión anterior, unida a las limitaciones propias de la IA mencionadas a lo largo de los apartados precedentes, puede llevar a cuestionarnos su idoneidad en funciones decisorias y sugerir la conveniencia de su aplicación meramente asistencial, en labores de asesoramiento. En este sentido, el algoritmo podría sugerir el sentido de la decisión, indicar la normativa o jurisprudencia aplicable al caso e incluso, en la medida en que la ciencia lo permita, aportar borradores de resolución que los jueces humanos puedan dar por buenos y, en su caso, firmar.
Si bien a primera vista la propuesta anterior parece que salva los problemas derivados de la naturaleza de la IA, aprovechando las potencialidades de esta para su aplicación humana, la misma no está exenta de inconvenientes. Dejando a un lado la dilación generada por la intervención de los jueces de cara a validar las resoluciones — que ralentizaría la emisión de las mismas, una de las ventajas más evidentes del «Juez IA»— un gran inconveniente lo hayamos en la tendencia psicológica a, una vez superado un cierto umbral de precisión, confiar en los sistemas tecnológicos y a asumir y dar por buenas las recomendaciones de los mismos sin realizar una supervisión y control efectivo sobre aquéllas (79) . Esta es una de las denominadas ironías de la automatización («the ironies of autotomation»), un efecto colateral negativo de la implementación de nuevas tecnologías (80) : en este caso hablamos de la confianza, en ocasiones excesiva (81) , en los avances tecnológicos derivados de la asistencia algorítmica en el proceso decisional judicial, que harían que en un escenario como el descrito el juez, por diferentes circunstancias, no ejerciera una supervisión efectiva de los textos emitidos por la IA. Sobre esta cuestión son especialmente destacables las aportaciones de ZERILLI (82) , que enfatizan la importancia del «control auténtico» o «control efectivo» (meaningful control), que no se limite a una mera supervisión formal, sino que implique que el humano realiza una intervención efectiva y real en relación con lo que el algoritmo le aporta. Los efectos perniciosos podrían extenderse a un proceso de «descualificación» (deskilling) generado por un carácter excesivamente acomodaticio del humano que, con el paso del tiempo, pierde facultades por la falta de uso de sus destrezas en un ámbito específico en el que la solución tecnológica se ha mostrado, en general, especialmente eficaz (83) —una buena muestra de ello la encontramos en la industria aeronáutica con los pilotos automáticos y su efecto sobre las capacidades de los pilotos de aviones (84) —. Cobra especial relevancia, por lo tanto, encontrar el necesario equilibrio entre la deseada confianza en los sistemas tecnológicos que tenemos a nuestra disposición y el ejercicio de un control real en relación con las propuestas que dichos sistemas nos aportan.
Por otro lado, no podemos pasar por alto que, como hemos expuesto de forma previa, la IA funciona buscando patrones entre los datos pasados que conforman su dataset y los del asunto que haya sido sometido a su examen en una suerte de cristalización del pasado hacia el futuro en forma de predicción. Así, concluíamos que, paradójicamente, ese funcionamiento hace que la IA sea una tecnología «conservadora», anclada en las decisiones pasadas, por lo que ante un escenario nuevo — en forma de innovaciones normativas o cambios en los usos y costumbres sociales, por ejemplo (85) — los algoritmos no van a aportarnos soluciones válidas. Este elemento viene a consolidar la necesaria participación humana, pues el juez IA sólo podría responder adecuadamente ante aquellos asuntos que cuenten con una base de datos suficiente que haya servido para preparar el algoritmo de forma adecuada. Una vez más, nos encontramos con una necesaria cohabitación máquinas-humanos (86) , de tal manera que puedan aprovecharse las virtudes de la IA para conseguir diseñar un sistema de resolución de conflictos mejorado desde una perspectiva global. Ese sistema está sin duda por alumbrar, y muy probablemente tendrá una naturaleza evolutiva en la medida en la que las funcionalidades proporcionadas por la IA y su grado de precisión vayan aumentando y posibiliten su aplicación en áreas inicialmente no previstas.
VI. El juez algorítmico en el marco normativo actual: a la espera del Reglamento de Inteligencia Artificial de la Unión Europea
Las ideas y reflexiones anteriores en relación a la IA y su eventual proyección en el ámbito jurisdiccional son una simple muestra del momento de efervescencia total que está experimentando esta tecnología y sus posibles aplicaciones prácticas. La aceleración vivida en los últimos meses en el movimiento de estudio y aplicación de la IA ha sobrepasado las expectativas iniciales y superado a los reguladores que, por su propia naturaleza, siempre se mueven de forma mucho más lenta que los fenómenos disruptivos a los que están llamados a dar respuesta.
Así es, al hablar en el momento presente de regulación de la IA tenemos que hacer referencia más a proyectos que a normas positivas. Además, considerando la enorme trascendencia de la materia en cuestión y su impacto a nivel global, es lógico concluir que el marco regulatorio de referencia vendrá aportado, por lo que a nosotros respecta, desde el nivel comunitario. De hecho, a la espera del Reglamento comunitario al que a continuación haremos alusión, las referencias a nivel español vienen prácticamente a limitarse al casi anecdótico artículo 23 de la Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación (LA LEY 15917/2022) (87) , que expone más como declaración de intenciones que como ejercicio normativo, que las Administraciones Públicas tendrán en cuenta en la implementación algorítmica «criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente»; que «se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio»; que «priorizarán la transparencia en el diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos»; o que «las administraciones públicas y las empresas promoverán el uso de una Inteligencia Artificial ética, confiable y respetuosa con los derechos fundamentales». Como puede comprobarse, todas las indicaciones indicadas en el citado artículo constituyen una serie de objetivos muy loables, pero de escaso o nulo contenido regulatorio.
Centrándonos en el proyecto comunitario antes mencionado, es curioso comprobar cómo el iter legislativo del proyecto de Reglamento sobre IA de la Unión Europea se remonta a abril de 2021 (88) , cuando la Comisión Europea eleva su propuesta e inicia así el procedimiento en cuestión. Decimos lo anterior pues, como hemos expuesto en apartados precedentes, se trata de una materia en revolución contante, en la que en pocos meses nos hemos encontrado con grandes novedades que, como ChatGPT, GPT-4 o, en general, la IA Generativa o los modelos fundacionales, elementos que han cambiado la forma de ver y concebir la IA y su trascendencia en la sociedad actual y futura. Ello da muestras de la dificultad de aprehender regulatoriamente un fenómeno como este, en el que en escasas semanas la información disponible de cara al trabajo legislativo puede quedarse desactualizada y caduca.
En cualquier caso, el pasado 14 de junio de 2023 fueron aprobadas las enmiendas del Parlamento Europeo al proyecto, en lo que ha supuesto un muy trascendente hito en su camino legislativo. Sin ánimo de ser exhaustivos diremos que el texto, muy extenso, regula la IA basándose en el riesgo que puede suponer cada uno de los sistemas y su uso, considerándolos de forma individual y diferenciando entre sistemas prohibidos — pues se considera que generan riesgos inadmisibles y contravienen los valores de la Unión Europea—, de riesgo alto, limitado o mínimo. En concordancia con dicha clasificación, se establecen una serie de requisitos de mayor o menor entidad, dependiendo de la caracterización del sistema. La propuesta es especialmente detallada en los sistemas de alto riesgo y los requisitos que los mismos deben de cumplir para poder operar dentro del territorio de la Unión, aportando como anexo un listado de sistemas a los que se debe categorizar como tal. Considerando la rápida evolución tecnológica y las paralelas innovaciones que puedan producirse en los sistemas y sus usos, se indica que dicho listado debe de ser revisado de forma permanente para su conveniente actualización.
Por lo que a la resolución de conflictos interesa, el uso de IA por parte de autoridades judiciales es una de las actividades calificadas como potencialmente de alto riesgo (89) . De hecho, la redacción del Considerando 40 va todavía más allá pues, tras indicar que procede considerar de alto riesgo los sistemas de IA cuyo objetivo es ser utilizados, directa o indirectamente, por una autoridad judicial o administrativa, o en su nombre, para aplicar «la ley a unos hechos concretos o ser utilizados de forma similar en la resolución alternativa de controversias (90) », parece descartar el uso de IA a la hora de emitir sentencias de forma automatizada, «puesto que la toma de decisiones finales debe seguir siendo una actividad y una decisión de origen humano (91) ». Decimos parece pues la referencia a «que la toma de decisiones finales debe seguir siendo una actividad y una decisión de origen humano» ha sido introducida como enmienda del Parlamento al citado considerando, sin que se haya producido una paralela modificación en la parte dispositiva que venga a prohibir dicho uso — incluyéndolo, por ejemplo, en el elenco de sistemas de IA prohibidos—, lo que arroja dudas sobre la virtualidad real de dicha referencia que residencia en los jueces humanos toda toma de decisión final en los asuntos judiciales.
En cualquier caso, y a la espera del texto final que pueda llegar a ser aprobado, parece que existe un consenso a nivel comunitario de cara a calificar como de alto riesgo los sistemas que puedan coadyuvar al juez en su proceso decisorio — en su labor jurisdiccional o de iuris dictio-, sin que dicha calificación pueda extenderse a aquellos otros de apoyo a tal función, residenciados en la llamada «administración de la Administración de Justicia», que conforman actividades administrativas de apoyo a la actividad judicial cuyo riesgo, entendemos, debe ser incardinado en una categoría inferior (92) .
VII. Conclusiones
La evolución vinculada a la IA acaecida en los últimos años ha hecho que convivamos con esta tecnología en innumerables ámbitos de nuestra vida diaria. Sus funcionalidades son tan numerosas y sus posibilidades tan amplias que nos llevan a hablar de una verdadera revolución, un cambio disruptivo en las formas de hacer que ya está condicionando nuestras vidas y cuyo impacto seguirá en aumento en los próximos años. El sector jurídico no es ajeno a este trascendental momento y, no sin las reticencias propias de un ámbito tradicionalmente conservador, se aprecia una progresiva introducción del uso de algoritmos en distintas tareas y usos. El dato anterior apunta necesariamente a que ingenios de Inteligencia Artificial estarán cada vez más presentes en funciones decisorias, también en el ámbito de la resolución de conflictos.
A lo largo de este estudio hemos planteado la posibilidad y problemática de implementar un algoritmo de IA en tareas decisorias en el campo de la resolución de controversias. Ante este escenario debemos cuestionarnos los potenciales defectos de dicha alternativa y, en su caso, plantear posibles soluciones o alternativas a los mismos. Los dos problemas fundamentales a los que nos hemos referido son los posibles sesgos que pueden afectar a las decisiones emanadas de la IA y las carencias de explicabilidad en dichas decisiones.
Como hemos tratado de mostrar, en gran parte de las ocasiones los bias o sesgos de la IA son herencias de las conductas humanas que, en forma de datos, han alimentado y entrenado el algoritmo. La carencia de una base de datos bien configurada, entendida esta como una representación veraz de la generalidad de situaciones que queremos captar en número suficiente para preparar el algoritmo, se presentaría como el primer problema a evitar: dejar de lado o infrarrepresentar información sobre determinados espacios nos abocaría a obtener unos resultados sesgados hacia uno de los ámbitos presentes en el dataset. Así mismo, los sesgos que puedan encontrarse en los propios datos con los que entrenamos y preparamos el algoritmo también van a determinar la corrección objetiva de sus resultados. En general, al hablarse de bias de la IA se obvia que los mismos vienen originados en numerosas ocasiones no ya por el algoritmo en sí, sino porque la información que, proveniente de fuentes humanas, nos ha servido para preparar dicho algoritmo se encontraba a su vez sesgada. Dicho de otra manera, debemos ser conscientes de que la calidad de la información con la que alimentamos la IA va a condicionar sus resultados: en un mundo de decisiones humanas sesgadas no podemos culpar a la IA que se prepara con esa información de emitir propuestas que reflejen dichos sesgos.
La gran capacidad de proceso y tratamiento de datos actual y las posibilidades que ofrece la propia IA de cara a la búsqueda de patrones pueden ayudar en la tarea de detectar sesgos en las bases de datos que pretendamos utilizar. En este sentido, un modelo de IA podría ser diseñado y entrenado para buscar esos posibles patrones de comportamiento existentes en las decisiones o juicios humanos pasados que, posteriormente, pretendamos utilizar como base de datos del algoritmo de resolución de conflictos. Una vez detectados debería realizarse una reflexión profunda, en primer lugar, sobre su conveniencia o no — pues puede haber sesgos aceptados e incluso potenciados, como las políticas de discriminación positiva— y, posteriormente, sobre la posibilidad de tomar medidas para su eliminación del dataset. Hemos de reiterar aquí la trascendencia de ese paso, pues la supresión de esa información sesgada de los datos con los que pretendemos preparar el algoritmo manifiesta una manipulación de la realidad del mundo presente, una alteración de los hechos vinculados a las decisiones pasados tomados por los humanos que, si bien en abstracto puede generar un cierto consenso, aplicada en concreto se proyectará en su uso algorítmico con unos resultados, nos guste o no, al menos parcialmente diferentes a las que los humanos — en este caso, los jueces o árbitros— estaban tomando hasta la fecha. Este impacto modificatorio de la realidad puede, en ocasiones, proyectarse en alternaciones socio-políticas de magnitud, lo que nos conmina a que las decisiones de supresión de información de cara a la eliminación de sesgos no queden nunca en manos de los programadores de IA, sino en equipos pluridisciplinares de nivel compuestos por profesionales de múltiples disciplinas (sociólogos, juristas, psicólogos…) que puedan entender las diferentes vertientes de los problemas que ello puede aparejar (93) . En todo caso, no podemos perder de vista la posible existencia de otra información que, si bien no directa, conduzca o aproxime a la que pretendamos suprimir para eliminar el sesgo. Este tipo de datos, conocidos como proxies, son mucho más difíciles de detectar y su supresión podría generar otros problemas añadidos al correcto funcionamiento de la IA.
Por otro lado, si bien IA Generativa puede proporcionar textos articulados con un relato plausible, ello no implica que el dilema de la black box haya desaparecido del mundo de los algoritmos. Así es, el texto emitido por modelos como ChatGPT nos proporciona un relato, pero no nos permite conocer los motivos por los cuales el modelo ha optado por unas alternativas y no por otras, esto es, no permite que el algoritmo aporte con sus decisiones una motivación de las mismas por medio de la cual podamos conocer las razones que han conducido a dicho outcome o solución final. En este sentido, si bien se están produciendo progresos en este campo y se ha incrementado el interés en la explicabilidad de la IA (Explainable AI), considerando nuestra tradición jurídica y el desarrollo expositivo que suelen tener las resoluciones judiciales (94) , todavía estamos lejos de obtener del algoritmo una explicación que pueda cumplir esos estándares (95) . En este momento cabría preguntarse si para determinados ámbitos concretos, en aras a la eficiencia, no podríamos aceptar un nivel de explicabilidad inferior que, permitiendo conocer los elementos fundamentales que fundaron la decisión y a sabiendas de que esta puede ser revisada ante un tribunal humano, pudiera ser emitida por un «Juez IA». Lo anterior aceleraría los plazos de resolución en el ámbito en cuestión de una forma extraordinaria, aliviando el exceso de asuntos que hace que su consecución se demore, en algunos casos, hasta períodos inaceptables (96) , y queremos subrayar que no se aplicaría a una generalidad de asuntos, sino algunos ámbitos identificados en los que, por primar elementos cuantificables en detrimento de los caulitativos, esta alternativa pueda funcionar de una forma más adecuada.
En fin, el impacto que la IA pueda tener en la resolución de controversias está todavía por determinar y, a buen seguro, seguirá evolucionando a lo largo de los próximos años (97) , como bien puede apreciarse incluso en el Proyecto de Reglamento de IA de la Unión Europea y las enmiendas introducidas al mismo. Nos movemos en un mundo cada vez más inmerso en tecnologías diversas, en el que las nuevas generaciones pueden sentirse alejadas de los juzgados e instituciones tradicionales, pero muy próximos a sus dispositivos electrónicos y proclives a su uso para una multitud de cuestiones (98) . La IA supone una verdadera revolución, toda vez que permite la toma de decisiones de forma autónoma y, como hemos visto, en ocasiones con un muy alto grado de precisión en relación con las decisiones pasadas tomadas por los tribunales humanos. En cualquier caso, esta tecnología no está exenta de riesgos y problemas, que aconsejan que la misma sea introducida de forma progresiva y siempre en un sistema que garantice no sólo la presencia sino la prevalencia humana en la supervisión y control de las decisiones, sea de forma directa o por medio de los posibles recursos contra las resoluciones algorítmicas.
No sabemos cómo serán los juzgados del futuro, como tampoco podíamos imaginar que en un plazo muy reducido de tiempo nos encontraríamos realizando juicios por videoconferencia, tal y como sucedió en determinados momentos a lo largo de la pandemia de Covid-19. Probablemente en unas décadas — años, tal vez— vivamos una realidad bien diferente a la actual, con determinados asuntos resueltos por jueces AI insertos en una justicia con prevalencia humana, en la que los juicios presenciales se reserven para las cuestiones de mayor relevancia (99) , mientras que el resto se ventilan en sesiones por videoconferencia o con presencia virtual por medio de realidad aumentada (100) . La sociedad y sus formas de interactuar están evolucionando de una forma vertiginosa. La Justicia debe, a su vez, adaptarse a dichos cambios (101) si no quiere ser vista como una estructura obsoleta, un elemento disfuncional y desfasado dentro del Estado, alejado de los ciudadanos y ciudadanas que forman parte de esa sociedad (102) .
VIII. Bibliografía
ALETRAS, N./TSARAPATSANIS, D./PREOTIUC-PIETRO, D./LAMPOS, V., «Predicting judicial decisions of the European Court of Human Rights: a Natural Language Processing perspective», en PeerJ Computer Science, 2:e93, 2016.
ATKINSON, K./BENCH-CAPON, T./BOLLEGALA, D., «Explanation in AI and Law: Past, Present and Future», en Artificial Intelligence, Volume 289, December 2020.
BAINBRIDGE, LISANNE, «Ironies of Automation», en Automatica, Vol. 19, No. 6. 1983.
BIBAL, A./ LOGNOUL, M./ STREEL, A./ FRÉNAY, B., «Legal requirements on explainability in machine learning», en Artificial Intelligence & Law, 29 Issue 2, 2021.
BOMMARITO II, M. y KATZ, D.M., 2022. GPT takes the bar exam. arXiv preprint arXiv:2212.14402.
BOMMARITO, J., BOMMARITO, M., KATZ, D.M. y KATZ, J., 2023. Gpt as knowledge worker: A zero-shot evaluation of (ai) cpa capabilities. arXiv preprint arXiv:2301.04408.
BOSTROM, Nick, Superintelligence: Paths, Dangers, Strategies, OUP Oxford, 2014.
BRYNJOLFSSON, ERIK, «The Turing Trap: The Promise & Peril of Human-Like Artificial Intelligence», en Daedalus, Vol. 151, Issue 2, 1 Mayo 2022.
BURRELL, JENNA, «How the machine ‘thinks’: Understanding opacity in machine learning algorithms», en Big Data & Society, January-June 2016, 1-12, 2016.
CASNER, S./ GEVEN, R./ RECKER, M./ SCHOOLER, J., «The Retention of Manual Flying Skills in the Automated Cockpit en Human factors, no 56, 2014.
COECKELBERG, Mark, AI Ethics, MIT Press, Cambridge, 2020.
CROOTOF, REBECCA, «Cyborg Justice and the Risk of Technological-Legal Lock-In», en Columbia Law Review Forum, Vol. 119, November 2019.
DANZIGER, S./ LEVAV, J./ AVNAIM-PESSO, L., «Extraneous factors in judicial decisions», en Proceedings of the National Academy of Sciences, 108 (17), Apr 2011.
DEEKS, ASHLEY, «The Judicial Demand for Explainable Artificial Intelligence», en Columbia Law Review, Vol. 119, No. 7, pp. 1829-1850.
DONOGHUE, JANE, «The Rise of Digital Justice: Courtroom Technology, Public Participation and Access to Justice», en The Modern Law Review, Vol. 80, Issue 6.
DOSHI-VELEZ, F./KORTZ, M./BUDISH, R./BAVITZ, C./GERSHMAN, S./O'BRIEN, D./SCHIEBER, S./WALDO, J./WEINBERGER, D./WELLER, A./WOOD, A., «Accountability of AI Under the Law: The Role of Explanation», en Berkman Research Center Publications (Forthcoming).
ELLENBERG, Jordan, How not to be wrong. The Power of Mathematical Thinking, The Penguin Press, New York, 2015.
FRIEDMAN, B.ATYA y NISSEMBAUM, HELEN, «Bias in computer systems», en ACM Transactions on Information Systems, Volume 14, Number 3, July 1996.
GAL, MICHAL Y LYNSKEY, ORLA, Synthetic Data: Legal Implications of the Data-Generation Revolution (April 10, 2023). (2023) 109 Iowa Law Review, Forthcoming, LSE Legal Studies Working Paper No. 6/2023, Available at SSRN: https://ssrn.com/abstract=4414385 or http://dx.doi.org/10.2139/ssrn.4414385
GARRETT, BRANDON y RUDIN, CYNTHIA, «Glass Box Artificial Intelligence in Criminal Justice», December 1, 2022.
HOWE, J.S.T./KHANG, L.H./ CHAI, I.E., «Legal Area Classification: A Comparative Study of Text Classifiers on Singapure Supreme Court Judgments», en Proceedings of the Natural Legal Language Processing Workshop 2019, Minneapolis, Association for Computational Linguistics, 2019.
KAHNEMAN, D./SIBONY, O./ SUNSTEIN, C., Noise. A Flaw in Human Judgment, Ed. William Collins, London, 2021.
KAHNEMAN, Daniel, Pensar Rápido, Pensar Despacio, Ed. Debate, Barcelona, 2012.
KATZ, D.M./BOMMARITO, M./BLACKMAN, J., «A General Approach for Predicting the Behavior of the Supreme Court of the United States», PLoS ONE 12(4): e0174698, 2017.
KATZ, D.M./BOMMARITO, M./GAO, S./ARREDONDO, P., GPT-4 Passes the Bar Exam (March 15, 2023). Available at SSRN: https://ssrn.com/abstract=4389233 or http://dx.doi.org/10.2139/ssrn.4389233.
KAUFMAN, A.R./KRAFT, P./SEN, M., «Improving Supreme Court Forecasting Using Boosted Decision Trees», Political Analysis, vol. 27, 2019.
KAUR, ARSHDEEP y BOZIC, BOJAN, «Convolutional Neural Network-based Automatic Prediction of Judgments of the European Court of Human Rights.», en Irish Conference on Artificial Intelligence and Cognitive Science, 2019.
KOWSRIHAWAT, K./VATEEKUL, P./BOONKWAN, P., «Predicting Judicial Decisions of Criminal Cases from Thai Supreme Court Using Bi-directional GRU with Attention Mechanism», en 2018 5th Asian Conference on Defense Technology (ACDT), 2018.
KRUMER, A./OTTO, F./PAWLOWSKI, T., «Nationalistic bias among international experts: Evidence from professional ski jumping», en Scandinavian Journal of Economics, vol. 124, issue 1, 2022.
LI, S./ZHANG, H./YE, L./GUO, X./FANG, B., «MANN: A Multichannel Attentive Neural Network for Legal Judgement Predictions», IEEE Access, vol. 7, 2019.
LINARDATOS P./ PAPASTEFANOPOULOS, V./ KOTSIANTIS, S,. «Explainable AI: A Review of Machine Learning Interpretability Methods», en Entropy, 23(1), 18, 2021.
LIU, ZHENYU y CHEN, HUANHUAN, «A Predictive Performance Comparison of Machine Learning Models for Judicial Cases», en 2017 IEEE Symposium Series on Computational Intelligence (SSCI), 2017.
LONG, S./TU, C./LIU, Z./SUN, M., «Automatic Judgment Prediction via Legal Reading Comprehension», en SUN, M., HUANG, X., JI, H., LIU, Z., LIU, Y. (eds), Chinese Computational Linguistics. CCL 2019. Lecture Notes in Computer Science, vol. 11856. Springer, 2019.
MCCARTHY, J., MINSKY, M. L., ROCHESTER, N., & SHANNON, C. E., «A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31», 1955, AI Magazine, 27(4), 12, 2006.
MEDVEDEVA, M./VOLS, M./WIELING, M., «Judicial Decisions of the European Court of Human Rights: Looking into the Crystal Ball», en Proceedings of the Conference on Empirical Legal Studies in Europe 2018, 2018.
MESKE, C./ BUNDE, E./ SCHNEIDER, J./ GERSCH, M., «Explainable Artificial Intelligence: Objectives, Stakeholders, and Future Research Opportunities», en Information Systems Management, Vol 39, Issue 1, 2022.
MITTELSTANDT, B./ RUSSELL, C./ WACHTER, S., «Explaining Explanations in AI», en FAT 19: Proceedings of the Conference on Fairness, Accountability, and Transparency, January 2019.
O’SULLIVAN, CONOR y BEEL, JOERAN, «Predicting the Outcome of Judicial Decisions made by the European Court of Human Rights», en 27th AIAI Irish Conference on Artificial Intelligence and Cognitive Science, 2019.
PLOUS, SCOTT, «The Psychology of Prejudice, Stereotyping, and Discrimination», en PLOUS (ed.), Understanding Prejudice and Discrimination, McGraw-Hill, New York, 2003.
RIBEIRO, M.T./ SINGH, S./ GUESTRIN C., «Why should I trust you?: Explaining the predictions of any classifier», en Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining; San Francisco, CA, USA. 13— 17 August 2016.
RUDIN, CYNTHIA, «Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead», en Nature Machine Learning, Vol. 1, May 2019.
RUSSELL, StuarT, Human Compatible: Artificial Intelligence and the Problem of Control, Penguin Ed., London, 2019.
SILBERG, Jake y MANYIKA, James, «Notes from the AI frontier: Tackling bias in AI (and in humans)», McKinsey Global Institute, 2019.
SOURDIN, Tonia, Judges, Technology and Artificial Intelligence. The Artificial Judge, Edward Elgar Publishing, Cheltenham (UK), 2021.
SOURDIN, TONIA y CORNES, RICHARD, «Do Judges Need to be Human? The Implications of Technology for Responsive Judging», en SOURDIN Y ZARISKI (eds.), The Responsive Judge (Ius Gentium: Comparative Perspectives on Law and Justice, vol 67), Springer, 2019.
SULEA, O.M./ZAMPIERINI, M./VELA, M./VAN GENABITH, J., «Predicting the Law Area and Decisions of French Supreme Court Cases», en Proceedings of the International Conference Recent Advances in Natural Language Processing, INCOMA Ltd., Varna, 2017.
SURDEN, HARRY, «Ethics of AI in Law: Basic Questions», en DUBBER, M. D./ FRANK, P/ SUNIT, D. (eds), The Oxford Handbook of Ethics of AI. online edn, Oxford Academic, 9 July 2020.
SURDEN, HARRY, «Machine Learning and Law», en Washington Law Review, Vol. 89, 2014.
SUSSKIND, Richard, Online Courts and the Future of Justice, Oxford University Press, Oxford, 2019.
TERWIESCH, Christian, «Would Chat GPT Get a Wharton MBA? A Prediction Based on Its Performance in the Operations Management Course», Mack Institute for Innovation Management at the Wharton School, University of Pennsylvania, 2023.
THALER, Richard H.. y SUNSTEIN, Cass R., Un pequeño empujón. El impulso que necesitas sobre salud, dinero y felicidad, Ed. Taurus, 2009.
UNIVERSITY OF DENVER, Eighteen Ways Courts Should Use Technology to Better Serve Their Customers, University of Denver, October 2018.
VIGEN, Tyler, Spurious Correlations, Hachette Books, New York, 2015.
VISENTIN, A./NARDOTTO, A./O´SULLIVAN, B., «Predicting Judicial Decisions: A Statistically Rigorous Approach and a New Ensemble Classifier», en 2019 IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI), 2019.
VIRTUCIO, M./ABOROT, J./ABONITA, J.K./AVIÑANTE, R./COPINO, R.J./NEVERIDA, M./OSIANA, V./PERENO, E./SYJUCO, J./TAN, G.B., «Predicting Decisions of the Philippine Supreme Court Using Natural Language Processing and Machine Learning», en 2018 42nd IEEE International Conference on Computer Software & Applications, 2018.
WALTL, B./BONCZEK, G./SCEPANKOVA, E./LANDTHALER, J./MATTHES, F., «Predicting the Outcome of Appeal Decisions in Germany´s Tax Law», en 9th International Conference on Electronic Participation (ePart), St. Petersburg, 2017.
WU, TIM, «Will Artificial Intelligence eat the Law? The rise of Hybrid Social-Ordering Systems», en Columbia Law Review, V. 119, N. 7, 2019.
ZAVRŠNIK, ALES, «Algorithmic Justice: Algorithms and Big Data in Criminal Justice Settings», en European Journal of Criminology 1, 2019.
ZALNIERIUTE, M./ BENNETT MOSES, L./ WILLIAMS, G., «The Rule of Law and Automation of Government Decision-Making», en Modern Law Review, Vol. 82, Issue 3, Mayo 2019.
ZELEZNIKOW, JOHN, «Using Artificial Intelligence to provide Intelligent Dispute Resolution Support», Group Decision and Negociation 30, 2021.
ZERILLI, J./KNOTT, A./MACLAURIN, J./GAVAGHAN, C., «Algorithmic Decision-Making and the Control Problem», en Minds & Machines, 29, 2019.
ZERILLI, John, A Citizen´s Guide to Artificial Intelligence, The MIT Press, Cambridge, 2021.