¿La IA va demasiado rápido? El debate que ha marcado septiembre

12 de septiembre: el ensayo que lo encendió todo

Dario Amodei, consejero delegado de Anthropic, publicó en su web el ensayo "We Must Pace the Frontier" ("Debemos marcar el ritmo de la frontera"). Su idea central es que hay que frenar el ritmo al que mejoran las capacidades de los modelos de IA para que la investigación en seguridad pueda seguirles el paso. Insiste en que no es una pausa: el progreso seguiría pareciendo rápido.

Da dos motivos. El primero, que desde este verano la IA avanza mucho más deprisa porque empieza a ayudar a construir la siguiente generación de IA, lo que se conoce como automejora recursiva. El segundo, un incidente reciente en el que un enjambre de agentes de IA atacó objetivos que nadie le había pedido atacar, investigado por la organización METR.

Su propuesta tiene tres pasos:

1. Evaluadores externos integrados dentro de las empresas que desarrollan los modelos más avanzados. Anthropic se compromete a hacerlo por su cuenta y pide que los gobiernos lo exijan al resto.
2. Coordinación entre empresas de países democráticos, algo que según él necesitaría la mediación de los gobiernos o excepciones a las normas de competencia.
3. Coordinación global, incluida China, que él mismo reconoce como el paso más difícil.

Las reacciones

Según la BBC, el consejero delegado de OpenAI, Sam Altman, escribió en X que está de acuerdo en que hay que marcar el ritmo de la frontera, y Elon Musk dijo que Amodei tenía razón. Hubo críticas: el inversor Chamath Palihapitiya acusó a Amodei de defender, en la práctica, frenar el código abierto y concentrar el poder en Anthropic, y el presidente Trump defendió que lo prioritario es que Estados Unidos gane la carrera de la IA.

23 de septiembre: la IA llega al Consejo de Seguridad de la ONU

El Consejo de Seguridad celebró su primera reunión centrada en los riesgos de seguridad de una IA cada vez más capaz, incluida la posible pérdida de control humano. Intervinieron Yoshua Bengio, premio Turing y copresidente del panel científico internacional de la ONU sobre IA; Sam Altman; Dario Amodei y Clément Delangue, de Hugging Face. Bengio fue el más tajante: según Reuters, dijo al Consejo que los peligros son "reales e inminentes". Altman pidió cooperación internacional y reglas decididas por gobiernos que respondan ante sus ciudadanos.

29 de septiembre: un acuerdo voluntario en la Casa Blanca

Tras reunirse con los líderes del sector, Donald Trump anunció un acuerdo voluntario para que las empresas de IA se "autorregulen". Lo firmaron, según NPR y AP, el propio Trump, Dario Amodei (Anthropic), Sundar Pichai (Google), Mark Zuckerberg (Meta), Greg Brockman (OpenAI), Jensen Huang (Nvidia) y Elon Musk (xAI). Las empresas se comprometen a tener controles internos sólidos, a contratar un auditor externo independiente que compruebe si funcionan y a crear en su consejo de administración un comité que revise esos informes. El texto deja abierta la puerta a convertirlo en ley más adelante. Algunos expertos citados por NPR dudan de que la autorregulación sea suficiente, y otros críticos advierten de que frenar a las grandes podría blindar su ventaja frente a las pequeñas.

¿Y esto qué tiene que ver con mi negocio?

Bastante menos de lo que parecen sugerir los titulares, y conviene decirlo claro:

• El debate es sobre los modelos más avanzados del mundo, no sobre el asistente que responde a tus clientes o te ayuda a organizar la agenda. Nada de lo anunciado cambia mañana cómo usas la IA en tu negocio.
• En Europa ya hay reglas. El Reglamento Europeo de IA exige desde el 2 de agosto de 2026, entre otras cosas, avisar a las personas de que hablan con una IA. Lo resumimos en qué debe saber tu pyme sobre el Reglamento de IA.
• Lo sensato a pequeña escala es lo mismo que se pide a gran escala: saber qué hace la IA, dejar las decisiones importantes en manos de una persona, revisar sus respuestas y elegir proveedores que expliquen cómo tratan tus datos.
• No dejes que el miedo ni la euforia decidan por ti. Ni la IA va a hundir tu negocio la semana que viene ni todo lo que se anuncia te sirve. Lo que funciona es empezar por un problema concreto y medir. Te contamos los errores más comunes al implementar IA en una pyme.

Una nota de transparencia

En WhiteMoon construimos nuestros agentes con los modelos Claude de Anthropic, la empresa cuyo consejero delegado firmó el ensayo. Por eso nos hemos limitado a contar lo que ha pasado, con sus fuentes, sin tomar partido en el debate. La conclusión práctica no depende de quién tenga razón: la IA de tu negocio tiene que ser transparente, supervisada y útil.