La IA cataliza el colapso de sistemas cuyos incentivos ya estaban mal alineados.
Por ejemplo, el sistema educativo premia el rendimiento en los exámenes en lugar del dominio de los temas evaluados. Los estudiantes, entonces, usan la IA para responder exámenes en lugar de para aprender. La academia premia la publicación de artículos matemáticos en lugar del aprendizaje sobre un dominio, por lo que los académicos usan la IA para acelerar la producción de artículos que no necesariamente contribuyen a la comprensión de los temas estudiados. El mercado premia varias externalidades negativas, tales como inundar internet de publicidades o producir noticias falsas que generen reacciones y visitas, por lo que el uso de IA está arruinando varios entornos de internet. La IA acelera los procesos y tareas fomentados por un ecosistema, lo que implica catalizar la destrucción de sistemas mal alineados.
En cambio, el desarrollo de la IA puede trae beneficios cuando los incentivos están bien alineados. El uso de modelos de visión con fines diagnósticos, o los modelos que predicen el plegamiento de proteínas, son ejemplos de la aceleración de actividades que ya eran fomentadas por el sistema y que a la vez son favorables para la humanidad.
Lo anterior no sólo impacta en cómo los modelos de IA son usados, sino también en qué modelos se desarrollan y cómo se mejoran, porque el desarrollo de sistemas está guiado e incentivado por los casos de uso esperados.
Eso significa que necesitamos un sistema adecuado para el desarrollo de la IA, porque tener los incentivos bien o mal alineados será cada vez más impactante.