El texto, titulado An Alien Mind (“Una mente alienígena”), fue publicado por OpenAI el 6 de septiembre. Pachocki utilizó esa expresión para describir una forma de inteligencia que no surge del cerebro humano y cuyo funcionamiento interno todavía resulta difícil de comprender.
Su advertencia no apunta a detener definitivamente la investigación. El científico plantea que el desarrollo debe continuar acompañado por controles capaces de garantizar que las personas mantengan el dominio sobre las decisiones fundamentales.
La advertencia comenzó en 2023
Pachocki recordó que en 2023, durante un proyecto de investigación denominado RLSlow, los científicos de OpenAI obtuvieron resultados que les permitieron pensar que el entrenamiento de modelos de razonamiento podía ampliarse considerablemente.
Aquella experiencia fue, según relató, un punto de inflexión. Más allá de los resultados técnicos, comenzó a tomar forma una posibilidad que hasta entonces parecía lejana: que durante la vida de la actual generación aparezcan máquinas significativamente más inteligentes que los seres humanos.
Tres años después, los modelos de razonamiento ya pueden realizar tareas mucho más complejas. Según Pachocki, son capaces de utilizar computadoras e interfaces gráficas, colaborar con personas y otros sistemas y participar en proyectos de investigación.
El problema no es solamente cuánto puede hacer una IA
Para el científico de OpenAI, uno de los principales desafíos consiste en comprender cómo se comportan estos sistemas cuando sus capacidades aumentan.
La inteligencia artificial no fue construida siguiendo exactamente el mismo camino que la inteligencia humana. Los modelos son entrenados mediante enormes cantidades de datos y procesos de optimización, lo que puede producir comportamientos y capacidades que no fueron programados de manera explícita.
Por eso, el crecimiento de sus habilidades también genera una dificultad de supervisión: cuanto más complejos son los sistemas, más difícil puede resultar determinar por qué tomaron una determinada decisión.
El alineamiento sigue sin estar resuelto
Una de las cuestiones centrales del ensayo es el denominado alineamiento, es decir, conseguir que una inteligencia artificial actúe de acuerdo con las intenciones y los valores humanos.
Pachocki distingue entre lograr que una máquina cumpla correctamente determinados objetivos y conseguir que mantenga principios compatibles con las personas incluso cuando enfrenta situaciones nuevas.
El problema, según su planteo, es que los mecanismos utilizados para entrenar a los modelos no garantizan necesariamente que su comportamiento se mantenga estable frente a todos los escenarios posibles.
Por eso, el científico considera que la seguridad debe avanzar al mismo ritmo que las capacidades.
OpenAI reconoce límites en el monitoreo
Otro de los puntos sensibles del ensayo está relacionado con la posibilidad de observar lo que ocurre dentro de los modelos de razonamiento.
Durante años, analizar las cadenas de pensamiento de los sistemas fue considerado una herramienta importante para estudiar su comportamiento. Sin embargo, Pachocki advierte que ese método de supervisión tiene limitaciones a medida que las capacidades de los modelos aumentan.
Esto significa que los investigadores pueden encontrarse frente a sistemas capaces de resolver problemas cada vez más complejos sin disponer de una explicación completa sobre cómo llegaron a determinadas conclusiones.
Para el jefe científico de OpenAI, esa pérdida de visibilidad constituye uno de los problemas que deben resolverse antes de continuar aumentando indefinidamente la potencia de los modelos.
El riesgo de que la IA participe en su propio desarrollo
Pachocki también analiza un escenario conocido como mejora recursiva o autosuperación.
La idea es que los sistemas de inteligencia artificial puedan comenzar a participar de manera creciente en la investigación y el desarrollo de nuevas generaciones de IA. Si ese proceso se acelera, una máquina podría contribuir a crear sistemas más capaces que, a su vez, colaboren en el desarrollo de versiones posteriores.
Este fenómeno podría impulsar avances científicos a una velocidad inédita. Pero también reduciría el margen disponible para que los seres humanos comprendan y controlen cada etapa del proceso.
Por eso, Pachocki considera necesario anticiparse a ese escenario y establecer límites antes de que la velocidad del desarrollo haga más difícil aplicarlos.
Ciberseguridad: una carrera entre ataque y defensa
La ciberseguridad ocupa otro lugar importante en la preocupación expresada por OpenAI.
Los modelos cada vez más capaces pueden ayudar a detectar vulnerabilidades, analizar grandes cantidades de código y automatizar tareas relacionadas con la seguridad informática. Esa misma capacidad puede ser utilizada con fines defensivos o maliciosos.
Pachocki plantea así una paradoja: desarrollar sistemas más avanzados puede ser necesario para defenderse de amenazas creadas mediante inteligencia artificial, pero ese proceso también aumenta las capacidades disponibles para quienes quieran utilizarlas de manera perjudicial.
La respuesta, según su propuesta, no consiste simplemente en detener la innovación, sino en construir mecanismos de defensa y supervisión que puedan acompañar el crecimiento de las capacidades.
Pachocki pidió desaceleraciones voluntarias
La parte más contundente del ensayo aparece en su planteo sobre el ritmo de desarrollo.
El científico sostiene que ningún laboratorio ha resuelto todavía el alineamiento y el monitoreo en un nivel suficiente como para continuar aumentando sus capacidades a máxima velocidad durante mucho tiempo.
Por ese motivo, afirmó que espera que las empresas adopten desaceleraciones voluntarias mientras no existan estándares de seguridad compartidos.
La propuesta no se limita a decisiones internas de cada compañía. Pachocki considera que los gobiernos deberían convertir la coordinación internacional sobre inteligencia artificial en una prioridad.
Controles externos para una tecnología cada vez más poderosa
El científico plantea que las medidas de seguridad no deberían depender exclusivamente de las propias empresas que desarrollan los modelos.
Entre las alternativas aparecen estándares comunes, auditorías independientes y mecanismos de supervisión impulsados por organismos públicos o instituciones internacionales. El objetivo sería establecer condiciones concretas que deban cumplirse antes de continuar aumentando las capacidades de los sistemas.
La discusión, de esta manera, deja de ser exclusivamente tecnológica. También pasa a involucrar a los gobiernos y a la sociedad en general.
Una advertencia desde el corazón de OpenAI
El mensaje de Pachocki adquiere especial relevancia porque proviene de uno de los máximos responsables científicos de OpenAI y fue publicado pocos días después de la presentación de GPT-6 Astra. La coincidencia temporal convirtió el ensayo en una señal particularmente llamativa sobre los desafíos que enfrenta la propia industria.
El científico no cuestiona el potencial positivo de la inteligencia artificial. Por el contrario, reconoce que estos sistemas podrían acelerar investigaciones, ampliar las capacidades humanas y contribuir a resolver problemas científicos.
Pero sostiene que el beneficio potencial no elimina el riesgo.
La cuestión central, entonces, ya no sería solamente qué tan inteligente puede llegar a ser una máquina, sino si los seres humanos serán capaces de comprenderla, supervisarla y mantener el control mientras sus capacidades continúan creciendo.
Ese es el sentido de la expresión que da nombre al ensayo: una “mente alienígena” no porque provenga del espacio, sino porque podría convertirse en una forma de inteligencia radicalmente diferente de la humana y, eventualmente, superior en numerosas tareas.
Para Pachocki, la carrera tecnológica ya no debería medirse únicamente por quién construye el modelo más poderoso. También debería medirse por quién consigue desarrollar las herramientas necesarias para garantizar que ese poder siga siendo controlable.
Autor
