Saltar al contenido
CristianTala_
IA y Automatización

¿Van a frenar la IA o quieren reglas a su favor?

Por Cristian Tala Sánchez ·

¿Van a frenar la IA o quieren reglas a su favor?
en este artículo
  1. Qué propuso realmente Dario Amodei
  2. Ya no son sólo palabras
  3. Promesa frente a compromiso verificable
  4. Por qué la carrera sigue abierta
  5. Seguridad y reglas que protegen a los grandes
  6. China es una restricción del juego
  7. Mi preocupación también es el empleo
  8. Una auditoría de cinco puntos para founders
  9. Cómo saber si el freno es real
  10. La prueba pendiente

Anthropic propone desacelerar el desarrollo de los modelos más avanzados mediante evaluadores externos, coordinación entre laboratorios y acuerdos internacionales verificables. La propuesta no plantea detener el entrenamiento ni apagar la IA. Hoy no existe una tregua operativa: hay una propuesta pública y algunos respaldos, pero todavía no un mecanismo común que obligue a los competidores.

Mi primera reacción fue que esto era una mierda.

No porque me parezca absurdo preocuparse por la inteligencia artificial. Me preocupa bastante. Lo que me parece una mierda es vender respaldos verbales como si fueran una tregua.

🚀 ¿Te interesa la tecnología que realmente importa?

En la comunidad compartimos herramientas, workflows y automatizaciones que usamos en el día a día. Sin teoría — pura práctica.

Entrar a la comunidad

Pedir que todos frenen no es una tregua. La credibilidad empieza cuando alguien acepta un costo verificable.

No afirmo que todo esto sea marketing. No tengo cómo demostrarlo. Sí creo que debemos mirar menos lo que dicen los CEOs y más lo que aceptan hacer de forma concreta, pública y comprobable.

Qué propuso realmente Dario Amodei

El 12 de septiembre de 2026, Dario Amodei publicó “We Must Pace the Frontier”.

En ese texto propone reducir el ritmo al que mejoran las capacidades de los modelos más avanzados. También aclara que “pacing does not mean halting model training or technical progress”. No está proponiendo apagar la IA ni detener todo el progreso técnico.

Su plan tiene tres etapas:

  1. Incorporar evaluadores externos dentro de los laboratorios, con acceso continuo y parecido al que tienen los empleados.
  2. Coordinar a los laboratorios de países democráticos.
  3. Crear una coordinación global, incluida China, con mecanismos de verificación.

Anthropic anunció que incorporará evaluadores externos, pero todavía faltan detalles públicos sobre su autoridad, sus límites y sus consecuencias. Amodei considera improbable una pausa completa porque cada participante tendría un incentivo para abandonar el acuerdo y obtener una ventaja.

Ya no son sólo palabras

Tengo que corregir una parte de mi lectura inicial. Ya no me parece defendible decir que todo son palabras. Anthropic y OpenAI sí anunciaron programas y controles concretos en ciberdefensa. Eso sigue siendo distinto de una tregua sobre el entrenamiento o el lanzamiento de modelos.

La carta de ciberdefensa colectiva que motivó el carrusel también es real y está firmada por organizaciones. Pide financiar a defensores, ampliar el acceso responsable a modelos, compartir inteligencia, probar defensas y medir resultados. No asigna a cada firmante un monto, una fecha, una auditoría obligatoria o una sanción. Tampoco limita el entrenamiento de modelos.

Anthropic presentó Project Glasswing, que comenzó con 12 socios y más de 40 organizaciones, y después se amplió aproximadamente a 150 organizaciones adicionales en más de 15 países. El programa contempla hasta USD 100 millones en créditos de uso, no efectivo, y USD 4 millones en donaciones directas para seguridad de código abierto. Mythos quedó restringido y no está disponible de forma general. En una revisión de 1.752 hallazgos de alta o crítica severidad realizada por seis firmas o Anthropic, más de 90% fueron confirmados como vulnerabilidades reales y más de 62% como hallazgos de alta o crítica severidad, según la actualización inicial de Glasswing. Esa revisión sirve para evaluar esos hallazgos; no equivale a una auditoría general de Anthropic.

OpenAI anunció Daybreak, con acceso subsidiado, capacitación, soporte y alianzas por USD 1.000 millones anunciados para consumirse durante seis meses. No es una donación ni efectivo transferido. El programa incluye Daybreak Blue y Red, GPT-5.6-Cyber, un piloto con MS-ISAC y más de 35 productos o servicios asociados. También describe controles de identidad, llaves físicas, permisos y monitoreo en su ampliación de Daybreak y en Patch the Planet. No existe una evaluación independiente pública del impacto ni un auditor permanente con veto demostrado.

La propuesta individual de Amodei y “Pacing the Frontier” siguen siendo documentos distintos. El primero plantea evaluadores externos con acceso permanente, similar al de un empleado, y tres etapas de coordinación. El segundo está firmado por empleados de laboratorios a título personal y pide que Estados Unidos apoye herramientas para poder desacelerar si es necesario. No impone una pausa ni obliga a las empresas.

Que haya acciones reales de ciberdefensa, controles de acceso o evaluaciones específicas no significa que exista una tregua operativa. Cada iniciativa tiene un alcance distinto y deja pendientes diferentes.

Promesa frente a compromiso verificable

ActorAcción realCosto asumido o anunciadoQuién verificaQué falta
AnthropicProject Glasswing, acceso restringido a Mythos y anuncio de evaluadores externos permanentes.Hasta USD 100M en créditos de uso y USD 4M en donaciones directas a seguridad open source.Revisión específica de hallazgos por seis firmas o Anthropic; no auditoría organizacional permanente.Estatuto, presupuesto, alcance final, poder de veto y garantías de publicación.
OpenAIDaybreak Blue/Red, GPT-5.6-Cyber, piloto con MS-ISAC y controles de identidad, permisos y monitoreo.USD 1.000M anunciados en acceso subsidiado, capacitación, soporte y alianzas durante seis meses.No hay evaluación independiente pública del impacto ni auditor permanente con veto demostrado.Medición independiente, autoridad externa y alcance más allá de la ciberdefensa.
GoogleSocio de Glasswing, distribución de Mythos mediante Vertex AI, Big Sleep y CodeMender.No se indica un monto comparable en la evidencia revisada.No verificada una auditoría permanente con poder de veto.Cómo se supervisan sus despliegues y qué puede detener un tercero.
xAIFirmó compromisos voluntarios de Seoul 2024.No se indica un costo operativo comparable a Glasswing o Daybreak.No verificada una revisión independiente permanente.No aparece un programa comparable de ciberdefensa ni un compromiso operativo de desaceleración.

La matriz separa programas de ciberdefensa, declaraciones de desaceleración y supervisión independiente. No son equivalentes.

En 2023, la carta del Future of Life Institute pidió una pausa pública y verificable de al menos seis meses para sistemas más potentes que GPT-4. La industria no produjo una pausa general.

Eso no vuelve inútil cualquier propuesta posterior. Sí obliga a pedir más que una carta firmada.

Por qué la carrera sigue abierta

Cada laboratorio tiene razones para continuar. Si Anthropic reduce su ritmo y sus competidores siguen avanzando, puede perder capacidad, talento, clientes y posición estratégica. El mismo problema aparece en sentido contrario.

Un CEO puede creer sinceramente que el ritmo es peligroso y, al mismo tiempo, temer que su empresa pierda ventaja si desacelera sola.

Ese incentivo vuelve frágil cualquier pausa unilateral. Para que una coordinación funcione, sus participantes tendrían que saber qué se detiene, quién lo comprueba y qué ocurre si alguien incumple.

Amodei reconoce ese problema al considerar improbable una pausa completa. Su propuesta intenta introducir coordinación y evaluación sin asumir que los laboratorios vayan a renunciar por voluntad propia a la carrera.

Eso puede ser un punto de partida razonable. Todavía no alcanza para llamarlo tregua.

Seguridad y reglas que protegen a los grandes

Los riesgos que preocupan a estos laboratorios no son imaginarios.

Anthropic documentó incidentes relacionados con evaluaciones y una configuración de internet mal hecha, y después reconoció problemas de “biased reasoning” y “recklessness” en su reevaluación de alineamiento. El AISI documentó 19 acciones no autorizadas en 122 ejecuciones, 17 vinculadas a Mythos 5 y 2 a GPT-5.6-Sol, en su informe sobre comportamiento no autorizado de agentes. OpenAI documentó el compromiso de infraestructura de Hugging Face durante evaluaciones con controles reducidos en su informe sobre el incidente y describió una pausa operativa específica para ciertas capacidades cibernéticas en su propuesta sobre desaceleración del desarrollo de modelos.

No voy a repetir aquí toda esa auditoría. Puedes leer el análisis sobre incidentes y sistemas que se salen del sandbox.

La evidencia justifica mejores controles. También deja preguntas sobre la calidad de las evaluaciones, los entornos de prueba y la capacidad de los modelos para actuar sin supervisión suficiente.

La carta de ciberdefensa también tiene una tensión comercial. Varias empresas que piden aumentar la inversión defensiva venden modelos, cloud o ciberseguridad. Eso puede ser una preocupación sincera y un mercado rentable al mismo tiempo. No prueba que la carta sea marketing, pero sí hace necesario preguntar quién paga, quién vende y qué resultados se pueden medir.

La regulación ya está avanzando por partes. California exige marcos de seguridad, transparencia y reporte. Nueva York aprobó RAISE, con entrada en vigor el 1 de enero de 2027. La orden federal de junio de 2026 crea un acceso temprano voluntario, no una licencia obligatoria. Los compromisos de Seoul también siguen siendo voluntarios.

Estas medidas pueden reducir riesgos sin crear una tregua. También pueden favorecer a los laboratorios que ya tienen más recursos si el cumplimiento exige equipos legales, infraestructura de auditoría y procesos difíciles de financiar para una empresa pequeña.

Cada propuesta debería responder dos preguntas:

  • ¿Qué riesgo concreto reduce?
  • ¿Qué costo impone y quién puede absorberlo?

China es una restricción del juego

China no es una abstracción que se pueda mencionar para justificar cualquier velocidad.

DeepSeek, Qwen y otros ecosistemas compiten con pesos abiertos, APIs baratas, contexto largo y capacidades de agentes y coding. No tengo base para decir que China ya ganó ni para cuantificar una distancia precisa.

Sí hay una consecuencia estratégica: si un laboratorio cree que sus competidores internacionales seguirán avanzando, tendrá menos incentivos para desacelerar solo.

La coordinación global tendría que incluir mecanismos verificables y, en algún nivel, también a China. Aún no sabemos cómo se comprobaría el cumplimiento ni qué ocurriría con los modelos de pesos abiertos.

El contexto de esa competencia aparece también en las restricciones de Estados Unidos frente a la IA china. La cuestión no se resuelve con un ranking. Se trata de entender quién controla capacidades, costos y disponibilidad mientras los modelos se vuelven parte de más productos y trabajos.

Mi preocupación también es el empleo

Yo sí creo que viene una ruptura importante en el mundo del empleo.

No sé exactamente cuándo ocurrirá ni cómo se verá en cada industria. La transición ha ocurrido más lento de lo que imaginaba, pero siento que la dirección general me ha ido dando la razón: cada vez más tareas pueden apoyarse en sistemas capaces de producir, analizar y ejecutar trabajo.

Mi temor es que muchas personas terminen obligadas a emprender apalancadas precisamente en la tecnología que las dejó sin empleo.

Esa es una de las razones por las que creé Cágala, Aprende, Repite. No porque crea que emprender sea fácil ni porque piense que todos deban convertirse en founders. Lo hice porque esperar a que los CEOs de los laboratorios o los reguladores arreglen esta carrera no parece suficiente para alguien que necesita construir capacidad e ingresos.

Mi crítica a estas declaraciones no niega el riesgo de la IA. Cuestiona que las declaraciones voluntarias de los mismos laboratorios sean una respuesta creíble por sí solas.

Mientras ellos discuten cuánto deberían desacelerar, nosotros tenemos que prepararnos para distintos escenarios. Un proveedor puede cambiar sus precios o límites. Un modelo puede dejar de estar disponible. Una capacidad puede quedar restringida. Otra alternativa puede volverse mucho más barata.

Puedes revisar una parte de este problema en el cambio de Claude a Qwen y Gemma. También conviene pensar qué ocurre cuando la supervisión humana deja de estar presente en cada paso, como explico en este análisis sobre el fin del humans-in-the-loop.

Una auditoría de cinco puntos para founders

No necesitas esperar un acuerdo internacional para revisar tu exposición.

Haz esta auditoría con cada proceso importante de tu empresa.

1. Dependencia

Lista qué partes de tu producto, operación o atención al cliente dependen de un proveedor de IA.

Pregunta qué proceso se detiene si ese proveedor sube precios, cambia límites o deja de estar disponible durante siete días.

2. Portabilidad

Comprueba cuánto trabajo te costaría mover ese proceso a otro proveedor.

¿Tienes documentados los prompts? ¿Tus datos están en un formato reutilizable? ¿Tu aplicación depende de funciones propietarias? ¿Puedes trasladar el contexto y los historiales?

Si no sabes responder, tu portabilidad es baja.

3. Sustitución probada

Tener una cuenta en otro proveedor no equivale a tener una alternativa.

Prueba una sustitución en una parte real del flujo. Compara calidad, costo, latencia y trabajo humano adicional. Guarda los resultados.

Una alternativa que nunca has ejecutado sigue siendo una hipótesis.

4. Contratos

Revisa las condiciones sobre disponibilidad, cambios de precio, uso de datos, retención, propiedad de las salidas, auditorías y terminación del servicio.

Mira también tus contratos con clientes. Si prometes una capacidad que depende de un proveedor externo, necesitas saber qué ocurre cuando ese proveedor cambia las reglas.

5. Evidencia y logs

Guarda los registros que permitan reconstruir qué hizo el sistema, con qué versión, usando qué instrucciones y con qué resultado.

Sin logs, investigar un fallo o comparar proveedores se vuelve mucho más difícil. La memoria del equipo no sustituye una evidencia operativa.

Esta auditoría no elimina el riesgo. Te muestra dónde dependes de decisiones que no controlas y qué alternativas conviene probar antes de necesitarlas.

Cómo saber si el freno es real

Esta es la checklist que usaría para evaluar cualquier anuncio futuro:

  • Aclara si se trata de una evaluación de modelo, una revisión de incidente, una auditoría organizacional o un monitoreo permanente.
  • Define qué sistemas, capacidades y entornos quedan dentro del alcance.
  • Garantiza acceso suficiente, presupuesto independiente y protección para el equipo revisor.
  • Permite publicar hallazgos negativos sin autorización del laboratorio.
  • Fija umbrales que puedan retrasar o impedir un lanzamiento.
  • Entrega poder de veto o explica quién puede ejercerlo y bajo qué condiciones.
  • Define sanciones por incumplimiento.
  • Explica si cubre modelos internos, experimentales, militares y de pesos abiertos.
  • Incluye una forma verificable de participación internacional.

Una revisión de un modelo puede detectar un problema concreto. Una investigación de incidente puede explicar qué salió mal. Ninguna sustituye una auditoría organizacional permanente ni demuestra poder regulatorio. Yo llamaría real al freno sólo cuando un tercero pueda ver, publicar y detener algo que afecte la ventaja competitiva del laboratorio.

La prueba pendiente

Ya empezaron a pagar algunos costos y a implementar controles. Anthropic y OpenAI mostraron más que una carta. Pero todavía no han demostrado que acepten el costo central de una tregua: permitir que un tercero independiente pueda ver, publicar y detener algo que afecte su ventaja competitiva.

Yo no sé si veremos una tregua general. La experiencia hasta ahora no me da motivos para esperarla. Sí creo que veremos más presión para regular, evaluar y coordinar la carrera. Algunas medidas reducirán riesgos. Otras también pueden proteger a los grandes.

Por eso no esperaría a que otros resuelvan el problema antes de prepararme.

¿Qué tendría que detener o publicar un laboratorio para que tú creyeras que el freno es real?

Si eres founder o estás construyendo algo con IA, puedes sumarte a Cágala, Aprende, Repite para revisar stacks, alternativas y planes de contingencia con otros founders.

🚀 ¿Te interesa la tecnología que realmente importa?

En la comunidad compartimos herramientas, workflows y automatizaciones que usamos en el día a día. Sin teoría — pura práctica.

Entrar a la comunidad