La cornisa quien decide asomarse al borde

El Riesgo No Elegido

Forzar límites cuando el costo es distribuido entre quienes no tienen elección de hacerlo

Documento de sesión — 10 de septiembre de 2026 (continuación del 9/9)

Nota de método: [D] dato verificado y de consenso, con fuente. [I] inferencia razonable que extiende un dato verificado. [C] conjetura, planteada explícitamente como tal. Este documento retoma la sesión anterior ("Del Gradiente a la Piel Social") en el punto donde quedó abierta, a partir de un caso de actualidad concreto.

1. El disparador: renuncia en Anthropic

Jacob Coxon, investigador que trabajó en pretraining en OpenAI y Anthropic, renunció y publicó que ambas compañías creen sinceramente que la IA podría matarnos a todos antes de que termine la década, y que están atrapadas en una carrera por llegar primero de la que ninguna se puede bajar unilateralmente.

Evan Hubinger, responsable de investigación en alineación en Anthropic, confirmó en público que coincide con Coxon y que calcula una probabilidad superior al 10% de catástrofe existencial en la próxima década. Agregó explícitamente que no tienen un plan para resolver la alineación de la superinteligencia ni están claramente encaminados a tenerlo. [D]

Este dato reencuadra el diagnóstico de sinpienso usado hasta ahora: aquí no falta metacognición, el responsable de alineación mide el riesgo con un número. La carrera continúa no por ignorancia sino porque ningún actor puede frenar solo sin perder frente al que no frena.

2. La trampa multipolar y el precedente nuclear

El mecanismo se identificó como dilema de seguridad o trampa multipolar: cada actor, racional en su propio cálculo (si freno y el otro no, pierdo), produce en conjunto un resultado que ninguno de ellos, por separado, quiere.

Precedente histórico exacto: los físicos del Proyecto Manhattan advirtieron sobre el arma que acababan de construir (petición de Szilard, 1945) y fundaron después el Boletín de Científicos Atómicos con el Reloj del Apocalipsis, el mismo gesto que hoy repiten Coxon y Hubinger. [D]

El Tratado de No Proliferación Nuclear frenó parcialmente esa carrera con reglas verificables entre estados rivales sin confianza mutua, un equivalente a Ostrom impuesto desde el conflicto, no desde la buena voluntad. La disanalogía señalada: el material fisible es escaso e inspeccionable (se cuentan centrifugadoras); el conocimiento que mueve la carrera de IA es software y método, sin el mismo cuello de botella físico verificable. [I]

3. Eficacia y eficiencia: dos distinciones distintas

Se identificaron dos pares de conceptos con el mismo nombre y distinto contenido. La versión económica: eficacia es llegar a la meta sin juzgar el costo, eficiencia es llegar gastando lo justo. La versión de gestión (Drucker), la que Carlos usa: eficacia es hacer lo correcto (la pregunta por el qué), eficiencia es hacerlo bien (la pregunta por el cómo).

Con la definición de Drucker, la medicina actual se describe como muy eficiente (ejecución técnica de alto nivel) y poco eficaz (no se pregunta si tratar la cronicidad en vez de restaurar la función biológica es lo correcto), retomando el informe de Goldman Sachs de 2018 ya incorporado a la serie.

La carrera de IA queda descripta con la misma asimetría: eficiencia altísima en velocidad de avance técnico, eficacia dudosa porque la pregunta por si correr así es lo que hay que hacer quedó subordinada a la pregunta por quién llega primero. [I]

4. Por qué una carrera posicional no admite eficiencia real

Dinámica de la Reina Roja (Van Valen, 1973): en una carrera armamentista biológica, cada bando corre solo para sostener su posición relativa; nadie gana terreno absoluto y todo el gasto se destina a no quedar atrás, nunca a mejorar en términos reales. [D]

Bienes posicionales (Fred Hirsch): objetos cuyo valor depende enteramente de la posición relativa de quien los tiene (prestigio, preponderancia, "llegar primero"). Perseguir un bien puramente posicional no puede ser eficiente en términos de sistema, porque en cuanto un competidor iguala el gasto anterior, ese gasto queda anulado y hay que repetirlo. [D]

Síntesis: el propósito no desapareció, fue sustituido por una meta de estructura posicional (llegar antes), y una meta posicional es, por definición, incapaz de admitir eficiencia, porque esta última presupone un resultado medible en términos absolutos.

5. Ley, evasión y moral tributaria

Se sometió a prueba la idea de que ninguna ley supera en resultado a la lealtad de grupo tipo Dunbar (menos de 150 personas), salvo cuando el coordinador es el dinero.

Corrección: la ley con dientes reales sí coordina muy por encima de Dunbar entre desconocidos (impuestos, contratos, el propio Tratado de No Proliferación). El problema específico de la carrera de IA es que esa ley todavía no existe, no que la ley en general pierda siempre frente al vínculo directo. [I]

La investigación sobre moral tributaria (Torgler y otros) muestra que la evasión no crece solo con la carga impositiva; crece cuando la carga alta se combina con la percepción de que el sistema es injusto, que el estado desperdicia lo recaudado, o que otros también evaden. No es la tasa lo que rompe el cumplimiento, es la ruptura de reciprocidad percibida. [D]

6. Los doce apóstoles: una tercera vía de coordinación

Frente a la ley y el dinero como únicas vías identificadas para coordinar más allá de Dunbar, se reconoció una tercera: la convicción compartida. Doce personas, muy por debajo del número de Dunbar, dieron origen a un movimiento que hoy organiza la vida de miles de millones sin ley punitiva ni pago de por medio.

Lectura de la cruz como mapa: el eje vertical (propósito, lo que trasciende al individuo) y el horizontal (el vínculo social) se cruzan en el punto donde se paga el costo, no donde se lo declama. El principio viajó porque llegó con el costo ya pagado en el relato, no como enunciado abstracto. [I]

Primum non nocere como principio internalizado no puede evadirse de la forma en que se evade una ley escrita, porque no hay afuera contra el cual hacer trampa. Pero no es inmune a la captura: la medicina lo sostiene hace dos mil años y hoy convive con la cronicidad rentable ya documentada, el mismo vaciamiento de reverberancia ya visto en el Decálogo y las 613 mitzvot. [I]

7. La trampa de non nocere sin buscar la prevención

Se identificó una asimetría dentro del propio principio: no tener intención de dañar (cumplido) no equivale a buscar activamente la prevención del daño (no cumplido). Hubinger lo dice sin necesidad de interpretación: no hay plan para resolver la alineación, y no están claramente encaminados a tenerlo. Es la misma estructura que la medicina eficiente y poco eficaz, la mitad negativa del juramento sostenida, la mitad positiva ausente.

8. Jugar en la cornisa: edgework y normalización de la desviación

Edgework (Stephen Lyng): ciertas personas buscan voluntariamente el borde entre el orden y el caos porque ahí sienten dominio total sobre algo genuinamente peligroso, la misma estructura psicológica de la selfie al borde del acantilado. [D]

Normalización de la desviación (Diane Vaughan, sobre el desastre del Challenger): un riesgo conocido y señalado por los propios ingenieros deja de sentirse como riesgo porque los intentos anteriores no fallaron, y el borde se corre un poco más cada vez, hasta que cae. [D]

Ambos marcos comparten una condición que los vuelve moralmente tolerables: quien arriesga y quien puede perder son la misma persona (el que se saca la selfie, la tripulación de la nave).

9. Cierre: el riesgo sin voluntad de quien lo porta

La precisión final de la sesión rompe esa condición de base. En la carrera de IA, quien juega en la cornisa (unos pocos miles de personas con la necesidad psicológica bien documentada de sostenerse en el filo) no es quien puede caer si el borde cede. Quien cae, sin haber elegido subir a la cornisa, sin voz, sin salida y sin sanción propia, es la especie entera.

Esta estructura, riesgo sin consentimiento del que lo porta, es la misma que la del arma impuesta identificada al inicio de la serie de sesiones (sin voz, sin salida, sin sanción), con una diferencia de origen: no hay aquí intención de imponer, hay una necesidad psicológica individual de sostenerse en el borde, exportada sin pedir permiso a quienes miran desde abajo sin saber que también están parados en la cornisa.

Pendiente señalado por el autor para una futura presentación: desarrollar el significado de forzar límites cuando el costo de ese forzamiento se distribuye entre quienes no tuvieron elección ni voluntad de asumirlo.