NUEVA YORK.- Tres de las figuras más poderosas de la carrera global por la inteligencia artificial —los jefes de Anthropic y OpenAI y Elon Musk— coincidieron este sábado en una advertencia poco habitual dentro de una industria marcada por la competencia feroz: es necesario bajar el ritmo en el desarrollo de los modelos más avanzados para ganar tiempo y reforzar las medidas de seguridad.
El primero en plantearlo fue Dario Amodei, director ejecutivo y cofundador de Anthropic, la empresa detrás del chatbot Claude. Horas después, Sam Altman, CEO de OpenAI y uno de sus principales rivales, respaldó públicamente su propuesta y anunció que su compañía adoptará una de las medidas sugeridas por Amodei: permitir que evaluadores independientes tengan un nivel de acceso similar al de los empleados para supervisar los riesgos de sus sistemas.
“Coincido con Dario en que necesitamos moderar el ritmo en la frontera de la IA”, escribió Altman. El empresario aseguró que el asunto había sido uno de los principales temas de discusión dentro de OpenAI durante las últimas semanas y calificó como “una gran idea” la incorporación de supervisores externos. “Nosotros haremos lo mismo. Pronto tendremos más para compartir”, agregó.
Poco después se sumó Elon Musk, dueño de xAI y creador del chatbot Grok, quien también respaldó el planteo de Amodei. “Dario tiene razón”, escribió escuetamente en X.
El pronunciamiento conjunto supone una señal llamativa en un sector en el que las principales compañías compiten por lanzar modelos cada vez más poderosos. OpenAI ya había informado en agosto que había desacelerado temporalmente parte del entrenamiento de sus modelos de frontera para reforzar sus sistemas de monitoreo, alineación y seguridad después de una serie de incidentes y ante indicios de que sus próximos sistemas podrían alcanzar capacidades críticas en materia de ciberseguridad.
En su ensayo, publicado este sábado, Amodei fue más lejos y pidió que las compañías actúen con mayor cautela frente a una tecnología cuyos riesgos, advirtió, crecen a medida que aumenta su poder.
“Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido y debemos hacer un uso inteligente del tiempo que ganemos”, escribió Amodei en una entrada de blog.
Su ensayo se produce después de que Anthropic publicara el jueves un informe de inteligencia sobre amenazas en el que se detallaba cómo varios actores habían utilizado sus modelos de IA “Claude” para actividades que iban desde el desarrollo de armas y operaciones cibernéticas hasta la vigilancia y el fraude.
“La IA conlleva riesgos y, dado que es una tecnología tan poderosa, estos riesgos son graves”, indicó. “No construir la tecnología priva a la humanidad de beneficios o simplemente pone la IA en manos de poderes autoritarios, mientras que construirla demasiado rápido es imprudente. Hemos tratado de buscar una vía intermedia”, dijo Amodei, que cofundó Anthropic junto con su hermana Daniela en 2021.
“Pero en los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia”, afirmó.
Amodei aclaró que no estaba pidiendo que se detuviera el entrenamiento de los modelos ni el progreso técnico, sino que se garantizara que las empresas se tomaran el tiempo necesario para ajustar y proteger sus modelos, y que evaluadores independientes confirmaran estas medidas.
Como parte del marco de tres pasos que propone, el empresario afirmó que Anthropic incorporaría evaluadores externos permanentes en el seno de las empresas punteras de IA, con acceso a las herramientas pertinentes y a los procesos internos de evaluación de riesgos.
Varios incidentes en los que agentes de IA de desarrolladores como OpenAI —rival de Anthropic— vulneraron o intentaron acceder a sistemas externos agravaron la preocupación por la creciente capacidad de los modelos de IA y la capacidad de los desarrolladores para controlarlos.
El creador de Claude dijo que las empresas de IA deberían colaborar de forma voluntaria para establecer normas, ya que un número cada vez mayor de legisladores estadounidenses está pidiendo nuevas normas que regulen los sistemas de IA.
La de Amodei se une a otras advertencias desde que debutó ChatGPT en noviembre de 2022, incluyendo del propio CEO de OpenAI, Sam Altman, preocupado por una posible extinción de la humanidad provocada por la IA; o de Geoffrey Hinton, premio Nobel de Física, considerado el “padre de la IA”, que alertó sobre el riesgo inminente de desplazamiento masivo de empleos por parte de la IA. También Elon Musk, cofundador de OpenAI, pidió en su momento frenar el desarrollo de la IA por seis meses para evaluar su impacto (aunque luego lanzó su propia compañía, xAI).
Además, el texto de Amodei surge luego de que un joven investigador de Anthropic, Jacob Coxon, renunciara a la empresa e indicara que la carrera para mejorar estos sistemas conlleva peligros que sus propios creadores admiten en privado. “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”, escribió Coxon esta semana.
El precedente
Las recientes advertencias siguen los pasos de una carta publicada a fin de marzo último, donde más de mil personalidades del mundo académico y corporativo relacionado con la inteligencia artificial pidieron hacer una pausa de medio año en el desarrollo de los diferentes sistemas de inteligencia artificial generativa. En esa carta, la figura más visible es la de Musk, un eterno público opositor de estas herramientas (lo que no evita que esté desarrollando una similar).
En el caso de esa carta, sorprendió la presencia de Altman, el principal beneficiado por la reciente popularidad de este tipo de herramientas de generación de contenido asistido por computadora.
Altman tuvo, en las últimas semanas, una posición ambivalente: frente al Senado de Estados Unidos pidió regulaciones para el desarrollo de la inteligencia artificial pero también amenazó con irse del mercado europeo si las reglas eran demasiado estrictas.
Agencias AFP y Reuters