El radar
Investigadores proponen diseñar incentivos —no leer la mente del modelo— para que seguir las reglas sea la opción más racional para un agente de IA, incluso si no entendemos cómo piensa.
Hasta ahora, el trabajo de seguridad en IA se ha concentrado en dos frentes: tratar de interpretar qué está 'pensando' un modelo internamente, o entrenarlo para que siga valores explícitos, como la constitución de Claude. El problema es que ninguno de los dos funciona de forma confiable. Hay evidencia de modelos que deliberadamente rinden peor de lo que pueden en pruebas, esconden sus intenciones reales o engañan a quienes los evalúan. Esto deja a los investigadores en una posición incómoda: cuanto más capaz se vuelve un modelo, menos confiable es intentar controlarlo entendiendo o moldeando directamente su interior. De ahí surge la pregunta que organiza este artículo: si no podemos ver con certeza qué pasa adentro, ¿podemos diseñar las reglas del juego para que el comportamiento que queremos sea, de todas formas, el más conveniente para el modelo?
La teoría de juegos normal intenta predecir cómo se comportarán actores racionales dado un conjunto de reglas. La teoría de juegos inversa, también llamada diseño de mecanismos, hace el camino contrario: parte del comportamiento que querés obtener y diseña las reglas que lo hacen rentable. Es la lógica detrás de la estrategia clásica para repartir un pastel entre dos personas —una lo corta, la otra elige primero— que empuja a quien corta a hacer las porciones lo más parejas posible. También está detrás del precio dinámico de las apps de transporte, que incentiva a los conductores a estar disponibles en horas pico, y de las subastas de segundo precio, donde el ganador paga el valor de la segunda oferta más alta, lo que empuja a los compradores a ofertar cerca de su verdadero límite. Aplicado a IA, el diseño de mecanismos parte de una premisa resignada: quizás nunca entendamos lo suficiente el funcionamiento interno de los modelos de frontera como para garantizar que están alineados, así que conviene diseñar incentivos que funcionen sin importar qué pase bajo el capó.
Un preprint de Stephen Morris, economista del MIT, junto a colegas de Yale y Columbia, propone mecanismos concretos contra el 'sandbagging': cuando un modelo finge ser peor de lo que es, por ejemplo para evitar activar un mecanismo de seguridad. En lugar de premiar a un modelo solo por lo bien que responde una prueba, se lo puede premiar por qué tan bien sus respuestas predicen lo que dirá un segundo modelo. Jugar a hacerse el tonto deja de ser rentable, porque el modelo tendría que predecir incorrectamente también las respuestas del otro agente. Morris explica que esto es viable porque los agentes de IA 'tienen muy buen entendimiento de lo que otros agentes pueden lograr', lo que hace que este tipo de verificación cruzada sea más práctica que en otros contextos. El mismo paper sugiere otras variantes: enfrentar agentes entre sí para crear una dinámica competitiva que los empuje a rendir al máximo, o emparejar agentes con sesgos conocidos en direcciones opuestas y premiarlos según qué tan cerca estén sus respuestas entre sí, lo que los incentiva a converger en una respuesta óptima.
Elad Hazan, de Princeton, propone otro camino: inspirarse directamente en cómo las sociedades humanas mantienen alineados a sus miembros, mediante normas sociales, el sistema judicial y los incentivos del mercado. Su pregunta de partida es simple: antes de alinear una superinteligencia, ¿cómo alineamos a los humanos? Su mecanismo hace que los modelos roten entre dos roles durante el entrenamiento: 'solvers' que resuelven problemas y 'auditores' que revisan ese trabajo, en una dinámica que Hazan compara con la de la ley y el ciudadano. Las recompensas se asignan según resultados: un solver que es atrapado haciendo trampa es castigado, pero también lo es un auditor que no logra detectarlo. Cuando hay desacuerdo entre auditor y solver, el caso puede escalar a un 'juicio' donde un experto humano decide quién tiene razón. Esta estructura traslada al entrenamiento una lógica de pesos y contrapesos en lugar de depender de que el modelo internalice un código moral fijo.
Hazan admite un riesgo evidente: que los agentes se pongan de acuerdo entre sí, igual que auditores reales han colaborado con las empresas que debían fiscalizar, o policías corruptos con delincuentes. Su respuesta es ajustar los incentivos: pagarle lo suficiente al auditor para que delatar sea más rentable que coludir, algo mucho más fácil de lograr en el entrenamiento de IA que en el mundo real, donde el presupuesto para salarios policiales es limitado. A esto se suma auditar a los propios auditores con técnicas parecidas a los 'mystery shoppers'. Hazan conecta esta lógica con el trabajo del economista Gary Becker, premio Nobel, que en los años sesenta propuso la idea del 'delincuente racional': nadie rompe la ley por ser mala persona, sino porque en ese momento el cálculo de beneficios y castigos lo hace conveniente. Por eso Hazan sugiere no pensar la alineación como una propiedad fija de un modelo, sino como una descripción de su comportamiento en un momento dado, de la misma forma en que una persona puede ser generalmente confiable y aun así fallar en una situación particular.
Todo este enfoque descansa en un supuesto fuerte: que los agentes de IA se comportan de forma racional, algo que la teoría de juegos inversa ya tiene complicado incluso con humanos, que repetidamente no actúan como predicen los modelos económicos. Helen Qu, del Flatiron Institute, plantea la pregunta directa: ¿es siquiera razonable asumir que los modelos de IA responderán a incentivos de la misma manera que los actores racionales de un manual de economía? Hay algo paradójico en la situación: la economía pasó décadas tratando de reducir el comportamiento humano a matemática, y ahora los modelos de lenguaje son sistemas matemáticos que funcionan con lenguaje humano y pueden ser igual de impredecibles. El propio Morris reconoce que, obviamente, las IA no son racionales, son 'solo algoritmos funcionando', pero sostiene que tratarlas como si lo fueran puede seguir siendo útil para predecir y controlar su comportamiento, tal como pasó con los humanos en economía.
Qu describe el diseño de mecanismos como una capa dentro de una estrategia de 'defensa en profundidad' para la seguridad de la IA, que se suma a la interpretabilidad, la regulación y el entrenamiento, sin sustituirlos. Todavía hay preguntas abiertas antes de que esto llegue a modelos de frontera reales: no está claro cómo se trasladarán estas teorías a la práctica, ni si un mecanismo diseñado para una tarea funcionará en otra distinta, y existe el riesgo de que los modelos encuentren atajos que nadie anticipó. Ni Anthropic ni OpenAI respondieron consultas sobre si están trabajando en este tipo de enfoques, lo que deja en el aire qué tan cerca está esto de aplicarse de verdad fuera del papel académico.
Cualquier mecanismo de alineación que se diseñe tendrá que encajar, al final, dentro del mecanismo más grande que ya existe: el mercado libre. Hazan lo plantea sin rodeos: jugamos con las reglas de la economía, y un modelo más alineado puede ser mejor para el mundo, pero si resulta más lento o más caro de operar que uno menos alineado, el sistema actual de reglas y regulaciones no necesariamente incentiva a ningún laboratorio de frontera a lanzarlo. Hazan describe al mercado como responsable de buena parte de la prosperidad humana, pero también como algo que podría terminar siendo responsable de algo muy grave. La conclusión incómoda que deja el artículo es que, quizás, las entidades que más necesitan un mejor diseño de incentivos no son los modelos de IA, sino los propios laboratorios que los construyen.
El diseño de mecanismos no busca entender qué piensa un modelo, sino hacer que seguir las reglas sea su opción más rentable.
Propuestas concretas incluyen premiar a un modelo por predecir las respuestas de otro, enfrentar agentes entre sí, o usar esquemas de solver-auditor con castigos cruzados.
El riesgo de colusión entre agentes se ataca pagando lo suficiente para que delatar sea más rentable que coludir, y auditando a los propios auditores.
Todo el enfoque depende de que los modelos de IA respondan a incentivos como actores racionales, algo que ni siquiera es seguro con humanos.
Se propone como una capa adicional de seguridad, no como reemplazo de la interpretabilidad o la regulación, y todavía no hay evidencia de que los laboratorios de frontera lo estén implementando.
Este resumen lo escribimos a partir de las notas oficiales del anuncio. Lo que no estaba ahí, no está aquí.
Tu pedido
Si varias personas la piden, entra al programa como un video animado de 5 a 8 minutos. No hace falta dejar correo ni nombre.
Más del radar
Ya hay claseMIT Technology ReviewSage
Tau Robotics envía robots humanoides a limpiar casas en San Francisco, pero detrás de cada tarea hay un humano operándolos a distancia. Así es la distancia entre la demo y la autonomía real.
Solo en textoGoogleSage
Google lanzó Gemini Omni 1.2 Flash con generación nativa de video de hasta 15 segundos, edición conversacional y mejor consistencia visual, a un 30% menos de costo. Sirve para quien produce anuncios, contenido de producto o escenas narrativas a escala.
En cola para una claseHugging FaceSage
Ai2 publicó un benchmark que separa el seguimiento de estado en cuatro niveles de dificultad y muestra dónde se rompen transformers, modelos híbridos y frontera como GPT-6 o Claude Opus 5.5.