Carlos B Fernández. El Centro para una Inteligencia Artificial centrada en el Ser Humano (Human Centered AI, HAI) de la Universidad de Stanford, acaba de publicar la edición 2024, la séptima, de su informe sobre IA, el 2024 AI Index Report.
Se trata probablemente del informe más relevante del mundo, por lo amplio y actualizado de su contenido, sobre la situación de la IA.
El documento rastrea, coteja, destila y visualiza datos relacionados con la IA con la finalidad de proporcionar datos imparciales, rigurosamente verificados y de amplia procedencia para que los responsables políticos, investigadores, ejecutivos, periodistas y el público en general adquieran un conocimiento más profundo y matizado del complejo campo de la IA.
Según sus autores, esta edición es la más completa realizada hasta la fecha y llega en un momento en el que la influencia de la IA en la sociedad nunca ha sido tan pronunciada.
Por ello, este año, han ampliado su alcance para incluir tendencias esenciales como los avances técnicos en IA, la percepción pública de la tecnología y la dinámica geopolítica que rodea su desarrollo.
Además, con más datos originales que nunca, esta edición presenta nuevas estimaciones sobre los costes de formación en IA, análisis detallados del panorama responsable de la IA y un capítulo completamente nuevo dedicado al impacto de la IA en la ciencia y la medicina.
En total, el informe alcanza las 512 páginas, estructuradas en 9 capítulos: Investigación y desarrollo; Rendimiento técnico; IA responsable; Economía; Ciencia y medicina; Educación; Política y gobernanza; Diversidad y Opinión pública.
CONCLUSIONES DEL INFORME
Las principales conclusiones de esta edición son:
1. La IA supera a los humanos en algunas tareas, pero no en todas.
La IA ha superado el rendimiento humano en varias pruebas de referencia, como la clasificación de imágenes, el razonamiento visual y la comprensión del inglés. Sin embargo, se queda atrás en tareas más complejas, como las matemáticas de alto nivel, el razonamiento visual basado en el sentido común y la planificación.
2. La industria sigue dominando la investigación de vanguardia en IA.
En 2023, la industria produjo 51 modelos notables de aprendizaje automático, mientras que el mundo académico sólo contribuyó con 15 de ellos. También hubo 21 modelos notables resultantes de colaboraciones entre la industria y el mundo académico en 2023, un nuevo máximo.
3. Los modelos de IA más avanzados son cada vez más caros.
Según las estimaciones de AI Index, los costes de formación de los modelos de IA de vanguardia (denominados Frontier models o medelos de frontera) han alcanzado niveles sin precedentes. Por ejemplo, se calcula que el GPT-4 de OpenAI alcanzó los 78 millones de dólares en costes de computación para su entrenamiento, mientras que el Gemini Ultra de Google alcanzó los 191 millones de dólares.
4. Estados Unidos aventaja a China, la UE y el Reino Unido como principal fuente de los mejores modelos de IA.
En 2023, los 61 modelos de IA más notables procedían de instituciones con sede en Estados Unidos, muy por encima de los 21 de la Unión Europea y los 15 de China.
5. Se carece de métodos de evaluación sólidos y estandarizados sobre la responsabilidad de los LLM.
Según los datos del informe, se aprecia una importante falta de estandarización en los informes sobre IA responsable. Los principales desarrolladores, incluidos OpenAI, Google y Anthropic, prueban principalmente sus modelos con diferentes puntos de referencia de IA responsable. Esta práctica complica los esfuerzos para comparar sistemáticamente los riesgos y limitaciones derivados del uso de los mejores modelos de IA.
6. Se dispara la inversión en IA generativa
A pesar del descenso de la inversión privada en IA el año pasado, la financiación de la IA generativa se disparó en 2023, casi octuplicándose desde 2022, hasta alcanzar los 25.200 millones de dólares. Los principales actores en el espacio de IA generativa, incluidos OpenAI, Anthropic, Hugging Face e Inflection, informaron de la concertación de rondas sustanciales de recaudación de fondos.
7. Los datos están ahí: La IA hace que los trabajadores sean más productivos y genera un trabajo de mayor calidad.
En 2023, varios estudios evaluaron el impacto de la IA en la mano de obra, sugiriendo que la IA permite a los trabajadores completar tareas más rápidamente y mejorar la calidad de su producción. Estos estudios también demostraron el potencial de la IA para reducir las diferencias de cualificación entre los trabajadores poco cualificados y los muy cualificados. En paralelo, otros estudios advierten de que el uso de la IA sin la supervisión adecuada puede reducir el rendimiento.
8. El progreso científico se acelera aún más gracias a la IA.
En 2022, la IA comenzó a hacer avanzar los descubrimientos científicos. Sin embargo, 2023 vio el lanzamiento de aplicaciones de IA relacionadas con la ciencia aún más significativas: desde AlphaDev, que hace más eficiente la clasificación algorítmica, hasta GNoME, que facilita el proceso de descubrimiento de materiales.
9. Aumenta drásticamente la regulación sobre IA en Estados Unidos.
El número de normativas relacionadas con la IA en Estados Unidos ha aumentado significativamente en el último año y en los últimos cinco años. En 2023, había 25 normas relacionados con la IA, frente a solo uno en 2016. Solo el año pasado, el número total de normas relacionadas con la IA creció un 56,3%.
10. La gente de todo el mundo es más consciente del impacto potencial de la IA, y está más nerviosa.
Una encuesta de Ipsos muestra que, en el último año, la proporción de quienes piensan que la IA afectará drásticamente a sus vidas en los próximos tres a cinco años ha aumentado del 60% al 66%. Además, el 52% expresa nerviosismo ante los productos y servicios de IA, lo que supone un aumento de 13 puntos porcentuales desde 2022. En Estados Unidos, los datos de Pew sugieren que el 52 % de los estadounidenses afirman sentirse más preocupados que entusiasmados con la IA, lo que supone un aumento con respecto al 38 % de 2022.
PRINCIPALES CONTENIDOS
Capítulo 1: Investigación y desarrollo
1. La industria sigue dominando la investigación de vanguardia en IA
En 2023, la industria produjo 51 modelos notables de aprendizaje automático, mientras que el mundo académico sólo contribuyó con 15. También hubo 21 modelos notables resultantes de colaboraciones entre la industria y el mundo académico en 2023, un nuevo máximo.
2. Más modelos fundamentales y modelos fundamentales más abiertos.
En 2023, se publicaron un total de 149 modelos fundamentales, más del doble que en 2022. De estos modelos recién publicados, el 65,7% eran de código abierto, frente a solo el 44,4% en 2022 y el 33,3% en 2021.
3. Los modelos más avanzados (de frontera) son mucho más caros
Según las estimaciones de AI Index, los costes de entrenamiento de los modelos de IA más avanzados han alcanzado niveles sin precedentes. Por ejemplo, el GPT-4 de OpenAI utilizó un valor estimado de 78 millones de dólares en computación para entrenarse, mientras que el Gemini Ultra de Google alcanzó los 191 millones de dólares.
4. Estados Unidos encabeza el desarrollo de los mejores modelos de IA, frente a China, la UE y el Reino Unido
En 2023, los 61 modelos más notables de IA se originaron en instituciones con sede en Estados Unidos, superando con creces los 21 de la Unión Europea y los 15 de China.
5. Se dispara el número de patentes de IA
De 2021 a 2022, aumento de forma muy relevante la concesión de patentes de IA a nivel global, en un 62,7%. Desde 2010, el número de patentes de IA concedidas se ha multiplicado por más de 31.
6. China domina las patentes de IA .
En 2022, China superó significativamente a los Estados Unidos lideró los orígenes globales de patentes de IA con un 61,1%, frente al 20,9% de las patentes de IA de procedencia norteamericana. Desde 2010, la participación de Estados Unidos en las patentes de IA ha disminuido del 54,1%.
7. Se dispara la investigación en IA de código abierto
Desde 2011, el número de proyectos relacionados con la IA en GitHub (una plataforma para desarrollo de IA en código abierto), ha experimentado un aumento constante, pasando de 845 en 2011 a aproximadamente 1,8 millones en 2023. En particular, hubo un fuerte aumento del 59,3% en el número total de proyectos de IA de GitHub solo en 2023. El número total de estrellas para proyectos relacionados con la IA en GitHub también aumentó significativamente en 2023, más que triplicándose de 4,0 millones en 2022 a 12,2 millones
8. El número de publicaciones sobre IA sigue aumentando
Entre 2010 y 2022, el número total de publicaciones sobre IA casi se triplicó, pasando de aproximadamente 88.000 en 2010 a más de 240.000 en 2022. El aumento en el último año fue de un modesto 1,1%.
Capítulo 2: Rendimiento técnico
1. La IA supera a los humanos en algunas tareas, pero no en todas.
La IA ha superado el rendimiento humano en varias pruebas de referencia, como la clasificación de imágenes, el razonamiento visual y la comprensión del inglés. Sin embargo, se queda atrás en tareas más complejas, como las matemáticas de competición, el razonamiento visual de sentido común y la planificación.
2. Llega la IA multimodal.
Tradicionalmente, los sistemas de IA han tenido un alcance limitado: los modelos lingüísticos destacan en la comprensión de textos, pero flaquean en el procesamiento de imágenes, y viceversa. Sin embargo, los últimos avances han conducido al desarrollo de potentes modelos multimodales, como Gemini de Google y GPT-4 de OpenAI. Estos modelos demuestran flexibilidad y son capaces de manejar imágenes y texto y, en algunos casos, incluso pueden procesar audio.
3. Surgen puntos de referencia más exigentes.
Los modelos de IA han alcanzado la saturación de rendimiento en pruebas de referencia establecidas como ImageNet, SQuAD y SuperGLUE, lo que ha llevado a los investigadores a desarrollar otras más exigentes. En 2023, surgieron varias pruebas de rendimiento nuevas y exigentes, como SWE-bench para codificación, HEIM para generación de imágenes, MMMU para razonamiento general, MoCa para razonamiento moral, AgentBench para comportamiento basado en agentes y HaluEval para alucinaciones.
4. Mejor IA significa mejores datos, lo que significa... una IA aún mejor.
Se están utilizando nuevos modelos de IA como SegmentAnything y Skoltech para generar datos especializados para tareas como la segmentación de imágenes y la reconstrucción 3D. Los datos son vitales para las mejoras técnicas de la IA. El uso de la IA para crear más datos mejora las capacidades actuales y allana el camino para futuras mejoras algorítmicas, especialmente en tareas más difíciles.
5. La evaluación humana está de moda.
Con modelos generativos que producen texto, imágenes y otros contenidos de alta calidad, la evaluación comparativa ha empezado a cambiar lentamente hacia la incorporación de evaluaciones humanas como la Chatbot Arena Leaderboard en lugar de clasificaciones informatizadas como ImageNet o SQuAD. La revisión pública sobre la IA se está convirtiendo en una consideración cada vez más importante a la hora de seguir el progreso de la IA.
6. Gracias a los LLM, los robots se han vuelto más flexibles.
La fusión de la modelización del lenguaje con la robótica ha dado lugar a sistemas robóticos más flexibles como PaLM-E y RT-2. Más allá de sus capacidades robóticas mejoradas, estos modelos pueden hacer preguntas, lo que supone un paso importante hacia robots que puedan interactuar más eficazmente con el mundo real.6. Gracias a los LLM, los robots se han vuelto más flexibles. La fusión de la modelización del lenguaje con la robótica ha dado lugar a sistemas robóticos más flexibles como PaLM-E y RT-2. Más allá de sus capacidades robóticas mejoradas, estos modelos pueden hacer preguntas, lo que supone un paso importante hacia robots que puedan interactuar más eficazmente con el mundo real.
7. Más investigación en agentes inteligentes ((agentic AI)
La creación de agentes de IA, sistemas capaces de funcionar de forma autónoma en entornos específicos, ha sido durante mucho tiempo un reto para los informáticos. Sin embargo, las nuevas investigaciones sugieren que el rendimiento de los agentes autónomos de IA está mejorando. Los agentes actuales pueden dominar juegos complejos como Minecraft y abordar con eficacia tareas del mundo real, como las compras en línea y la ayuda a la investigación.
8. Los LLM cerrados superan con creces a los abiertos.
En 10 pruebas de IA seleccionadas, los modelos cerrados superaron a los abiertos, con una ventaja media del 24,2%. Las diferencias en el rendimiento de los modelos cerrados y abiertos tienen importantes implicaciones para los debates políticos sobre IA.
Capítulo 3: IA responsable
1. Existe una grave carencia de evaluaciones sólidas y estandarizadas de la responsabilidad de la IA.
Una nueva investigación del Índice de IA revela una importante falta de estandarización en los informes sobre IA responsable. Los principales desarrolladores, como OpenAI, Google y Anthropic, prueban principalmente sus modelos con diferentes puntos de referencia de IA responsable. Esta práctica complica los esfuerzos para comparar sistemáticamente los riesgos y limitaciones de los mejores modelos de IA.
2.Los deepfakes políticos son fáciles de generar y difíciles de detectar.
Los deepfakes políticos ya están afectando a las elecciones en todo el mundo, y las investigaciones recientes sugieren que los métodos de deepfake de IA existentes funcionan con distintos niveles de precisión. Además, nuevos proyectos como CounterCloud demuestran la facilidad con la que la IA puede crear y difundir contenido falso.
3. Los investigadores descubren vulnerabilidades más complejas en los LLM.
Anteriormente, la mayor parte de los esfuerzos de los equipos de seguridad (Red Teams) rojos para probar modelos de IA se centraban en probar mensajes adversos que intuitivamente tenían sentido para los humanos. Este año, los investigadores han descubierto estrategias menos obvias para conseguir que los LLM muestren un comportamiento dañino, como pedir a los modelos que repitan infinitamente palabras aleatorias.
4. Los riesgos de la IA se están convirtiendo en una preocupación para las empresas de todo el mundo.
Una encuesta mundial sobre IA responsable destaca que las principales preocupaciones de las empresas relacionadas con la IA incluyen la privacidad, la seguridad de los datos y la fiabilidad. La encuesta muestra que las organizaciones están empezando a tomar medidas para mitigar estos riesgos. A nivel mundial, sin embargo, la mayoría de las empresas hasta ahora solo han mitigado una pequeña parte de estos riesgos.
5. Los LLM pueden generar material protegido por derechos de autor.
Numerosos investigadores han demostrado que los resultados generativos de los LLM más populares pueden contener material protegido por derechos de autor, como extractos de The New York Times o escenas de películas. La cuestión de si estos resultados constituyen una violación de los derechos de autor se está convirtiendo en una cuestión jurídica central.
6. Los desarrolladores de IA obtienen una baja puntuación en transparencia, con consecuencias para la investigación.
El Índice de Transparencia de los Modelos Fundamentales, recientemente introducido, muestra que los desarrolladores de IA carecen de transparencia, especialmente en lo que se refiere a la divulgación de datos de entrenamiento y metodologías.Esta falta de apertura obstaculiza los esfuerzos por comprender mejor la solidez y seguridad de los sistemas de IA.
7. Los riesgos extremos de la IA son difíciles de analizar.
En el último año, ha surgido un importante debate entre académicos y profesionales de la IA sobre la importancia de centrarse en los riesgos inmediatos de los modelos, como la discriminación algorítmica, frente a las posibles amenazas existenciales a largo plazo. Resulta difícil distinguir qué afirmaciones tienen fundamento científico y deben servir de base para la formulación de políticas. Esta dificultad se ve agravada por la naturaleza tangible de los riesgos a corto plazo ya presentes, en contraste con la naturaleza teórica de las amenazas existenciales.
8. El número de incidentes relacionados con la IA sigue aumentando.
Según la AI Incident Database, que realiza un seguimiento de los incidentes relacionados con el uso indebido de la IA, en 2023 se registraron 123 incidentes, lo que supone un aumento de 32,3 puntos porcentuales con respecto a 2022. Desde 2013, los incidentes de IA se han multiplicado por más de veinte. Un ejemplo notable incluye deepfakes de Taylor Swift generados por IA y sexualmente explícitos que fueron ampliamente compartidos en línea.
9.ChatGPT está sesgado políticamente
Los investigadores han descubierto un sesgo significativo en ChatGPT hacia los demócratas en Estados Unidos y el Partido Laborista en el Reino Unido. Este hallazgo suscita preocupación sobre el potencial de la herramienta para influir en las opiniones políticas de los usuarios, especialmente en un año marcado por importantes elecciones mundiales.
Capítulo 4: Economía
1. Se dispara la inversión en IA generativa
A pesar del descenso de la inversión privada en IA el año pasado, la financiación de la IA generativa se disparó, casi octuplicándose desde 2022 hasta alcanzar los 25.200 millones de dólares. Los principales actores en el espacio de la IA generativa, incluidos OpenAI, Anthropic, Hugging Face e Inflection, informaron rondas sustanciales de recaudación de fondos.
2. Estados Unidos incrementa su liderazgo en inversión privada en IA
En 2023, Estados Unidos vio cómo sus inversiones en IA alcanzaban los 67.200 millones de dólares, casi 8,7 veces más que China, el siguiente mayor inversor. Por contra, la inversión privada en IA en China y la Unión Europea, incluido el Reino Unido, disminuyó un 44,2% y un 14,1%, respectivamente, desde 2022, Estados Unidos experimentó un notable aumento del 22,1% en el mismo período de tiempo.
3. Menos puestos de trabajo relacionados con la IA en Estados Unidos y en todo el mundo.
En 2022, los puestos relacionados con la IA representaron el 2,0% de todas las ofertas de empleo en Estados Unidos, una cifra que se redujo al 1,6% en 2023.Este descenso en las ofertas de empleo relacionadas con la IA se atribuye a un menor número de anuncios de las principales empresas de IA y a una menor proporción de roles tecnológicos dentro de estas empresas.
4. La IA reduce los costes y aumenta los ingresos.
Una nueva encuesta de McKinsey revela que el 42% de las organizaciones encuestadas informan de reducciones de costes gracias a la implantación de la IA (incluida la IA generativa), y el 59% informan de aumentos de ingresos.En comparación con el año anterior, hubo un aumento de 10 puntos porcentuales en los encuestados que informaron de una disminución de los costes, lo que sugiere que la IA está impulsando importantes ganancias de eficiencia empresarial.
5. La inversión privada total en IA vuelve a disminuir, mientras que aumenta el número de empresas de IA de nueva financiación
La inversión privada mundial en IA ha caído por segundo año consecutivo, aunque menos que el fuerte descenso de 2021 a 2022. El recuento de empresas de IA recién financiadas se disparó a 1.812, un 40,6% más que el año anterior.
6. Repunta la adopción de la IA por las organizaciones
Un informe de McKinsey de 2023 revela que el 55% de las organizaciones utilizan ahora la IA (incluida la IA generativa) en al menos una unidad de negocio o función, frente al 50% en 2022 y el 20% en 2017. 7. China domina la robótica industrial. Desde que superó a Japón en 2013 como principal instalador de robots industriales, China ha ampliado significativamente la brecha con la nación competidora más cercana. En 2013, las instalaciones de China representaron el 20,8% del total mundial, una cuota que aumentó hasta el 52,4% en 2022.
Capítulo 7: Política y gobernanza
1. Aumenta considerablemente el número de normativas sobre IA en Estados Unidos
El número de normativas relacionadas con la IA ha aumentado significativamente en el último año y en los últimos cinco años. En 2023, había 25 normas relacionadas con la IA, frente a solo uno en 2016. Solo el año pasado, el número total de regulaciones relacionadas con la IA creció un 56,3%.
2. Estados Unidos y la Unión Europea avanzan en una acción política histórica sobre IA
En 2023, los responsables políticos de ambos lados del Atlántico presentaron propuestas sustanciales para avanzar en la regulación de la IA. La Unión Europea llegó a un acuerdo sobre los términos de la Ley de IA, una legislación histórica promulgada en 2024. Mientras tanto, el presidente Biden firmó una Orden Ejecutiva sobre IA, la iniciativa política de IA más notable en Estados Unidos ese año.
3. La IA capta la atención de los responsables políticos estadounidenses
El año 2023 fue testigo de un notable aumento de la legislación relacionada con la IA a nivel federal, con 181 proyectos de ley propuestos, más del doble de los 88 propuestos en 2022.
4. Los responsables políticos de todo el mundo no pueden dejar de hablar de la IA
Las menciones a la IA en los procedimientos legislativos de todo el mundo casi se han duplicado, pasando de 1.247 en 2022 a 2.175 en 2023. La IA se mencionó en los procedimientos legislativos de 49 países en 2023. Además, al menos un país de cada continente debatió sobre IA en 2023, lo que subraya el alcance verdaderamente global del discurso político sobre IA.
5. Más organismos reguladores centran su atención en la IA.
El número de agencias reguladoras estadounidenses que emitieron normativas sobre IA aumentó de 17 en 2022 a 21 en 2023, lo que indica una creciente preocupación por la regulación de la IA entre una gama más amplia de organismos reguladores estadounidenses. Algunas de las nuevas agencias reguladoras que promulgaron reglamentos relacionados con la IA por primera vez en 2023 incluyen el Departamento de Transporte, el Departamento de Energía y la Administración de Seguridad y Salud Ocupacional.