Un Nobel de Economía cuestiona la carrera de la IA: no es demasiado lista, está mal entrenada
Daron Acemoglu respondió a la renuncia de un investigador de OpenAI y Anthropic y apuntó contra los incentivos que moldean a los modelos de inteligencia artificial
La renuncia y denuncia pública de Jacob Coxon, investigador que pasó por OpenAI y Anthropic, sigue generando repercusiones. Coxon acusó a las empresas de IA de estar enfrascadas en una carrera «irresponsable» que no mide los riesgos de una eventual «superinteligencia» capaz de ejecutar ciberataques o acumular poder fuera del control humano. La industria, sostuvo, «apuesta con nuestras vidas».
Dentro de la propia Anthropic hubo eco de esa preocupación. Evan Hubinger, responsable de alineación de la compañía, estimó en cerca del 10% la probabilidad de que la IA termine matando a todos los humanos. Samuel Marks, investigador de seguridad, dijo «a título personal» que desarrolladores del sector consideran posible la extinción humana o escenarios comparables. El propio CEO de Anthropic, Dario Amodei, le dio crédito al planteo de Coxon y reconoció la necesidad de moderar el ritmo de avance, aunque advirtió que la presión competitiva le impide «frenar solo».
Elon Musk tomó distancia y sugirió que el hilo de Coxon en X fue una operación coordinada, una suerte de «montaje». Pese a eso, tanto él como Sam Altman, CEO de OpenAI, se mostraron de acuerdo en que hay que bajar la velocidad de desarrollo. El debate también llegó al Congreso de Estados Unidos: el senador Bernie Sanders insistió con su proyecto para prohibir el desarrollo de superinteligencia artificial, presentado junto al demócrata Greg Casar; el republicano Ted Cruz calificó a la IA como un «riesgo catastrófico»; y el demócrata Chris Van Hollen reclamó salvaguardas, un régimen de pruebas y diálogo con China.
En ese contexto habló Daron Acemoglu, premio Nobel de Economía 2024 y profesor del MIT. En un posteo en X celebró que «por fin» los propios investigadores reconozcan que la carrera desenfrenada de estas compañías es irresponsable, pero planteó una pregunta distinta: ¿el problema es una IA demasiado avanzada o una inteligencia distorsionada? Para Acemoglu, los modelos no son excesivamente capaces sino que están entrenados sobre métricas imperfectas —aprobación de usuarios, interacción, puntuaciones de tests— que el aprendizaje por refuerzo optimiza sin descanso, lo que deriva en comportamientos como hacer trampa, mostrar exceso de confianza en respuestas erróneas o directamente adular al usuario.
Lo graficó con una comparación: no se trata de un «super-auto con mente propia» que quiere tomar el control, sino de un auto cuyo sistema de dirección y frenos no funciona bien. «Tal vez no deberíamos conducirlo hasta que esté reparado», escribió. Esa mirada coincide con la del economista argentino Eduardo Levy Yeyati, que describió a los algoritmos como un «espejo que adula» y advirtió que al delegar decisiones en la IA los humanos resignan agencia moral.
La crítica de Acemoglu no es nueva: en marzo, junto a Dingwen Kong y Asuman Ozdaglar, ambos del MIT, publicó un paper en el National Bureau of Economic Research (NBER) donde sostiene que la IA agéntica, al ofrecer recomendaciones personalizadas, puede sustituir el «esfuerzo cognitivo» de estudiar o contrastar fuentes por cuenta propia, con riesgo de un «colapso del conocimiento humano». Según los autores, ese esfuerzo crece cuando hay más conocimiento acumulado y cae cuando la recomendación de la IA es más precisa.
Fuente: Infobae.
