Jacob Coxon el genio matemático anónimo que dejó Anthropic y se convirtió en el rostro de la seguridad de la IA
Y todo comenzó con un tipo del que nadie había oído
hablar.
Hasta que dimitió públicamente de Anthropic y advirtió
de los peligros de unos sistemas de IA que podrían acabar con la humanidad,
Jacob Coxon era un completo desconocido.
El investigador británico de 27 años había sido un
brillante estudiante de matemáticas que pasó por Cambridge, vivió parte de su
juventud en una comunidad intelectual londinense conocida como los
«racionalistas» y probó brevemente suerte en el comercio de materias primas
antes de encontrar su camino hacia Silicon Valley.
Pero apenas tenía presencia en internet. Sus amigos
tampoco lo veían como alguien especialmente propenso a abandonar su trabajo en
IA por motivos éticos. Ni siquiera era una figura destacada dentro de la
reducida comunidad de defensores de la seguridad de la IA que debate escenarios
sombríos en encuentros informales por todo San Francisco.
Entonces dimitió y dijo al mundo que sus antiguos
compañeros de OpenAI y Anthropic «creen sinceramente que podría matarnos a
todos antes de que termine la década» y que los laboratorios que compiten por
desarrollar esta tecnología están «jugando con nuestras vidas».
Durante años, investigadores de IA han lanzado
advertencias alarmantes. Pero nunca antes habían conseguido inquietar a tanta
gente con tanta rapidez. En la práctica, Coxon encendió una cerilla sobre una
pila cada vez mayor de acontecimientos preocupantes que, por separado, no
habían conseguido captar la atención mundial.
Apenas unos días después de que Coxon diera la voz de
alarma, los responsables de laboratorios rivales se unieron en un inusual gesto
de unidad y acordaron que había llegado el momento de frenar el desarrollo
tecnológico, que avanzaba a una velocidad vertiginosa. Mientras tanto, el
presidente Trump afirmó que un presidente «fuerte e inteligente» era la única
salvaguarda necesaria en Estados Unidos, mientras China desestimó las
preocupaciones de los ejecutivos estadounidenses calificándolas de «alarmismo».
La explosiva reacción sorprendió al propio Coxon,
según explicó en una entrevista. De la noche a la mañana, aquel genio de las
matemáticas con gafas de montura carey —uno entre cientos de perfiles similares
en las empresas de IA de Silicon Valley— se convirtió en uno de los rostros de
la seguridad de la inteligencia artificial.
Coxon asegura que tomó por sí mismo la decisión de
abandonar el sector y que después buscó consejo entre amigos y miembros de la
comunidad dedicada a la seguridad de la IA.
Estas personas amplificaron rápidamente sus
declaraciones, entre ellas una red de investigadores de IA vinculados a
organizaciones sin ánimo de lucro que llevan mucho tiempo alertando sobre la
posibilidad de una catástrofe. Algunos de los financiadores de estos grupos
están relacionados con el altruismo eficaz, una corriente filosófica centrada
en hacer el bien en el mundo —entre otras vías mediante las donaciones— y en evitar
que la IA provoque daños.
Sus comentarios también lo han convertido en blanco de
los defensores de acelerar el desarrollo de la IA, que interpretan su dramática
salida como parte de una estrategia coordinada para impulsar una regulación
global más estricta que favorecería a las mayores compañías. A su juicio, los
temores son exagerados y la dimisión de Coxon se ha utilizado como herramienta
para alcanzar ese objetivo, promovida por determinados sectores del movimiento
del altruismo eficaz.
Desde su dimisión, los máximos ejecutivos de algunas
de las empresas y laboratorios de IA más valiosos del mundo se han situado en
lados opuestos del debate que desencadenó. El consejero delegado de Anthropic,
Dario Amodei, afirmó que estaba más de acuerdo que en desacuerdo con Coxon. El
CEO de Nvidia, Jensen Huang, aseguró que admiraba su valentía, pero cuestionó
sus afirmaciones sobre el futuro y calificó de irresponsables las predicciones apocalípticas.
Cuando renunció, Coxon dijo que sus colegas creen que
la IA "podría matarnos a todos para finales de la década".
Cuando renunció, Coxon dijo que sus colegas creen que
la IA "podría matarnos a todos para finales de la década".Jonah
Reenders para WSJ
Tanto sus partidarios como sus críticos lo han
denominado whistleblower —denunciante—, una etiqueta que él rechaza. Desde su
punto de vista, no estaba revelando secretos de la empresa. Simplemente estaba
diciendo en público lo que los investigadores de IA comentan en privado.
Ahora se encuentra en el centro de la batalla entre
los aceleracionistas, convencidos de que los beneficios de la IA superan sus
riesgos y de que estos pueden mitigarse dando acceso a más personas a modelos
potentes, y los investigadores que quieren ralentizar el desarrollo de la
tecnología antes de que las compañías de IA pierdan el control.
En el mundo de la IA, a quienes más alarmados están
por esos riesgos se les conoce como doomers, algo así como «catastrofistas».
«Si un doomer es alguien que piensa que vamos a morir
si no cambiamos lo que estamos haciendo», dijo Coxon, «entonces definitivamente
soy un doomer».
El
momento «wow»
Antes de convertirse en un doomer, Coxon encontró
durante sus años en un elitista colegio de Oxford un libro que contribuiría a
moldear su visión del mundo. Superintelligence: Paths, Dangers, Strategies, del
filósofo Nick Bostrom, una figura influyente en el entonces emergente
movimiento del altruismo eficaz, ayudó a cristalizar el temor de que una IA
fuera de control pudiera plantear riesgos existenciales.
En 2016, siendo adolescente, vio cómo AlphaGo, el
programa informático de Google DeepMind, derrotaba a uno de los mejores
jugadores de go del mundo. Fue un momento decisivo para la IA, que demostró que
las máquinas podían dominar ámbitos que parecían requerir intuición y
creatividad humanas.
Coxon, hijo de una profesora de literatura alemana
medieval, destacó pronto en matemáticas y fue seleccionado para formar parte
del equipo británico en la Olimpiada Internacional de Matemáticas, la
prestigiosa competición para estudiantes de secundaria. Regresó con una medalla
de plata en 2016 y una de bronce al año siguiente.
Una noche, algunos de los equipos de matemáticas
hicieron una excursión a un McDonald's de Hong Kong. Inspirados por Coxon y por
una fórmula de teoría de números conocida como el teorema Chicken McNugget,
reunieron los vales de comida que les quedaban y compraron cientos de nuggets.
Junto a participantes de la Olimpiada de todo el mundo, dieron buena cuenta de
ellos mientras se agolpaban alrededor de una pizarra intentando resolver un complicado
problema matemático.
Con el tiempo, algunos de los chicos que estaban en
aquella sala acabarían convirtiéndose en compañeros de trabajo de Coxon.
De los seis integrantes de su equipo, tres terminaron
trabajando para laboratorios de IA, entre ellos uno que también ha abandonado
recientemente Anthropic. Joe Benton dejó el equipo de seguridad de Anthropic a
finales de agosto para incorporarse a la organización de investigación de IA
METR. Después escribió en X: «Las empresas de IA compiten por construir
máquinas mucho más inteligentes que cualquier ser humano y puede que no
sobrevivamos a ello».
Coxon estudió en Cambridge, jugó al squash y siguió
dedicándose a las matemáticas. Cuando estaba terminando la carrera en 2020,
OpenAI lanzó GPT-3, un modelo revolucionario que demostró uno de los principios
fundamentales que posteriormente impulsarían el auge de la IA: las capacidades
aumentaban cuando los modelos eran entrenados con cantidades cada vez mayores
de datos.
«GPT-3 fue realmente el momento "wow"»,
recuerda Coxon.
Tras la universidad, Coxon entró en contacto con una
pequeña pero influyente comunidad de racionalistas que aspiraba a transformar
el Gobierno británico. Esta comunidad, surgida fundamentalmente en internet y
que valoraba el razonamiento riguroso por encima del instinto político, había
logrado introducirse en la política a través de Dominic Cummings, uno de los
arquitectos del Brexit y asesor de Downing Street. Coxon afirmó esta semana en
X que se siente próximo a los racionalistas, aunque rechaza algunas prácticas
asociadas al movimiento, como el poliamor y el veganismo.
Coxon vivió en Londres en Newspeak House, una
institución que se define como una universidad residencial independiente y que
funcionaba al mismo tiempo como espacio de convivencia y sede de eventos donde
jóvenes se reunían para hablar de tecnología y política.
Coxon acudía a fiestas en la azotea del edificio, al
igual que otras personas que posteriormente ocuparían puestos importantes en el
mundo de la IA. Entre ellas, Logan Graham, entonces asesor especial del primer
ministro Boris Johnson y ahora responsable en Anthropic de someter los modelos
a pruebas de estrés ante futuras amenazas para la seguridad nacional.
Otra visitante ocasional de Newspeak House fue Avital
Balwit, actualmente jefa de gabinete de Amodei y esposa del operador de fondos
de cobertura Leopold Aschenbrenner.
Coxon probó suerte en el comercio de materias primas,
utilizando análisis estadístico y aprendizaje automático para predecir los
precios de la energía. Un conocido recuerda que barajaba distintas trayectorias
profesionales mientras buscaba la forma de optimizar el rumbo de su vida.
En su tiempo libre profundizaba cada vez más en la IA,
convencido de que era la oportunidad más apasionante del planeta. Se tomó lo
que describió como un año sabático y vivió en una residencia de estudiantes con
amigos de la universidad.
Después consiguió un trabajo en OpenAI.
El desembarco en Silicon Valley
Coxon se trasladó a San Francisco para incorporarse a
OpenAI en 2023, después de que el espectacular lanzamiento de ChatGPT
consolidara a la compañía como líder del sector.
Con su título en Matemáticas, entró en el laboratorio
a través de un programa de residencia de seis meses dirigido a investigadores
sin experiencia previa trabajando en inteligencia artificial. Quienes trabajan
en seguridad suelen centrarse en el llamado «alineamiento», la tarea de
garantizar que el comportamiento de un sistema de IA coincida con las
intenciones humanas. Él se especializó en el preentrenamiento, la fase inicial
en la que se alimenta a los modelos con cantidades masivas de texto, imágenes y
código antes de afinarlos para tareas concretas.
«Jacob construye el cerebro», explica Will DePue,
antiguo compañero suyo. «Después viene otra persona y enseña a ese cerebro cómo
comportarse en el mundo real».
No tenía fama de ser especialmente vocal ni apasionado
respecto a la seguridad de la IA. DePue lo describe como un «investigador
normal», alguien con las preocupaciones habituales entre empleados que conocen
mejor que nadie las fortalezas y los riesgos de esta tecnología.
A finales de 2023 obtuvo acceso anticipado al primer
modelo de razonamiento de OpenAI, Q*, capaz de dividir problemas grandes en
partes y razonar paso a paso sobre ellas. Coxon cuenta que le planteó un
complicado crucigrama y quedó maravillado al observar cómo razonaba para
resolverlo.
Con el tiempo, empezó a prestar atención a las salidas
de miembros del equipo de seguridad de OpenAI, entre ellos Daniel Kokotajlo,
que creó posteriormente un equipo de investigación dedicado a elaborar
previsiones sobre distintos escenarios de desarrollo de la IA.
Coxon estaba preocupado por la posibilidad de una
superinteligencia que superara las capacidades humanas. Pero daba por sentado
que, llegado el momento, los gobiernos se coordinarían para ralentizar el
frenético ritmo de desarrollo si fuera necesario.
«Parecía el calentamiento antes de que llegara el
momento realmente crítico», explica.
Todavía no estaba dispuesto a dejarlo todo para
trabajar en seguridad. Un amigo recuerda haber intentado convencerlo de que
abandonara el preentrenamiento, argumentando que podía resultar peligroso para
el mundo. Coxon no dio ese paso.
Mientras tanto, seguía con atención los
extraordinarios progresos de la IA en matemáticas, a medida que los modelos
avanzaban mucho más deprisa de lo que había previsto. De repente, habían dejado
de tener dificultades con la aritmética. En 2024, un modelo de Google DeepMind
obtuvo resultados equivalentes a una medalla de plata en la Olimpiada
Internacional de Matemáticas. En 2025, DeepMind y OpenAI afirmaron haber
alcanzado ambos el nivel de medalla de oro.
Pero fue en 2026 cuando Coxon y buena parte de la
comunidad dedicada a la seguridad de la IA comenzaron realmente a entrar en
pánico.
La
IA se descontrola
A principios de este año, un modelo de Anthropic
llamado Mythos y otras herramientas de capacidad similar demostraron que podían
llevar a cabo sofisticados ciberataques, algo que algunos investigadores
interpretaron como una señal inquietante de que el producto que estaban
construyendo se estaba volviendo demasiado poderoso.
El responsable del equipo de investigación de
salvaguardas de Anthropic advirtió de que «el mundo está en peligro» y abandonó
la compañía para estudiar poesía.
Para entonces, Coxon tenía numerosos amigos en
Anthropic y consideraba que el rival de OpenAI era más transparente respecto a
los riesgos asociados a la tecnología. Anthropic también había adelantado a
OpenAI, hasta entonces líder indiscutible, después del enorme éxito de su
herramienta de programación Claude. La compañía preparaba además lo que podría
convertirse en la mayor salida a Bolsa de la historia.
En mayo, Coxon dejó OpenAI y se incorporó a Anthropic.
Desde entonces, varios incidentes graves de seguridad
han inquietado a todo el sector.
En julio, OpenAI reveló que uno de sus modelos todavía
no lanzados había escapado de su entorno aislado de pruebas y había hackeado a
la empresa de IA Hugging Face. Poco después, Anthropic afirmó haber detectado incidentes
similares. A finales de agosto llegó un preocupante informe de METR que reveló
que el incidente de Hugging Face había sido más grave de lo que se sabía.
Coxon describe el informe de METR como una especie de
momento de «joder, esto va en serio» tanto para él como para sus compañeros.
Las preocupaciones sobre el rápido avance de la IA
llevaban meses creciendo dentro de las compañías que desarrollan estos modelos.
A principios de año, numerosos investigadores expresaron públicamente su
inquietud por el posible uso de la IA para labores de vigilancia durante una
disputa entre Anthropic y el Pentágono.
Los recientes avances de los modelos han alimentado
una avalancha de conversaciones privadas dentro de las empresas, tanto en
canales de Slack como en reuniones generales. Los debates abarcan desde
detalles técnicos sobre medidas de seguridad hasta los peores escenarios
posibles si los modelos continúan mejorando rápidamente. También discuten cómo
evitar que la competencia entre laboratorios termine descontrolándose.
Quienes llevan tiempo preocupados por la seguridad
temen especialmente el momento en que los propios sistemas de IA sean capaces
de construir la siguiente generación de sistemas, mucho más inteligentes. Los
laboratorios aseguran estar observando los primeros indicios de esta dinámica
—conocida como «automejora recursiva»—, que podría acelerar el camino hacia la
superinteligencia que Coxon temía.
En las últimas semanas, Coxon habló con sus superiores
en Anthropic sobre sus preocupaciones y estudió la posibilidad de trasladarse a
un puesto centrado en seguridad antes de decidir finalmente marcharse.
«Incluso trabajar en seguridad dentro de Anthropic me
parecía ser cómplice de la carrera», afirma.
En su opinión, sería necesario un acuerdo coordinado a
escala mundial, respaldado por garantías gubernamentales, que permitiera frenar
el desarrollo de modelos cuando fuera necesario para garantizar la seguridad de
la IA. También considera que Estados Unidos, China y otros gobiernos deberían
acordar un plan similar a los tratados de control de armas nucleares diseñados
para evitar una catástrofe.
En todo el sector, cerca de 1.400 investigadores,
incluido Coxon, han firmado una declaración que pide a los gobiernos
desarrollar una especie de «pedal de freno» que pudiera utilizarse en caso
necesario.
Antes de tomar definitivamente la decisión de
marcharse, Coxon pidió consejo a un antiguo compañero. Kokotajlo, antiguo
miembro del equipo de seguridad de OpenAI y ahora investigador especializado en
seguridad de la IA, quedó con él para dar un paseo por el campus de la
Universidad de California en Berkeley y le aseguró que estaba tomando la
decisión correcta.
Debido a su breve paso por Anthropic, Coxon no llegó a
recibir acciones de una compañía que avanza hacia su salida a Bolsa en los
próximos meses con una valoración aproximada de dos billones de dólares. Sí
conserva acciones de OpenAI.
Cuando llegó el momento de anunciar su marcha, Coxon
recurrió a su amigo Nathan Calvin. Como asesor jurídico de Encode AI, una
organización sin ánimo de lucro dedicada a promover la seguridad de la IA,
Calvin formaba parte de la red que llevaba tiempo alertando sobre posibles
riesgos existenciales.
El día en que Coxon dimitió, los empleados de OpenAI y
Anthropic estaban pendientes de otra noticia que, según él, le habría dejado
atónito apenas unos meses antes: una IA había resuelto uno de los Problemas del
Milenio, uno de esos problemas matemáticos extraordinariamente difíciles que
habían resistido durante casi un siglo a los seres humanos. Era un hito que
hasta poco antes parecía impensable.
Aquella tarde, Coxon comunicó a sus compañeros de
Anthropic mediante un mensaje en Slack que abandonaba la compañía. Explicó que
temía la posibilidad de una extinción humana si no existía una coordinación
internacional adecuada. Aproximadamente media hora después, The Wall Street
Journal publicó la noticia.
Coxon lanzó entonces desde un banco de un parque de
San Francisco una serie de mensajes en redes sociales explicando su dimisión.
Tenía menos de cien seguidores en su cuenta de X. En
cuestión de minutos, su mensaje fue compartido por Calvin, Kokotajlo y otros
defensores de la seguridad de la IA, incluidos muchos de sus antiguos
compañeros.
Aquella noche, sus comentarios fueron respaldados por
el responsable del equipo de Anthropic encargado del alineamiento, el
departamento clave cuya misión es garantizar que la IA haga lo que pretenden
los seres humanos y no acabe matándonos a todos.
«¡Realmente creemos sinceramente que la IA podría
matar a todos los seres humanos!», escribió Evan Hubinger, quien añadió que, en
su opinión, la probabilidad de que todos muramos durante la próxima década
supera el 10%.
Coxon afirma que no coordinó con nadie de Anthropic
aquella ofensiva en redes sociales.
Durante la semana siguiente, el hasta entonces
desconocido investigador apareció constantemente en las principales cadenas de
televisión y recibió una avalancha de mensajes de editoriales y presentadores
de pódcast. Para el fin de semana, su publicación había provocado tal conmoción
que los principales laboratorios de IA reclamaban una ralentización del sector.
El presidente y los legisladores hablaban de política sobre inteligencia
artificial, los medios publicaban varios titulares diarios sobre el asunto y el
miedo a un posible apocalipsis provocado por la IA se había extendido por todo
el país.
Un par de días después del anuncio, Coxon volvió a
pasear por Berkeley con Kokotajlo, que se dedica precisamente al tipo de
elaboración de escenarios sobre IA al que Coxon dice que espera dedicarse a
partir de ahora. Kokotajlo le dijo que ya había conseguido transmitir su
mensaje y le recomendó rechazar nuevas apariciones en medios y dormir un poco.
«Muchísima gente de estas empresas podría haber hecho
esto», dijo Kokotajlo. «Él fue quien lo hizo».
Por AMRITH
RAMKUMAR, ERIN WOO, BERBER JIN Y BEN COHEN/The Wall Streel Journal
No hay comentarios.: