Pidió desacelerar el desarrollo de los modelos de inteligencia artificial ante el riesgo de que una red de bots autónomos pueda provocar ciberataques a escala global.
El desarrollo acelerado de la inteligencia artificial podría llevar a escenarios hasta ahora asociados con la ciencia ficción. Dario Amodei, director ejecutivo y cofundador de Anthropic, advirtió que en un periodo de seis a 12 meses una red de agentes de IA podría alcanzar la capacidad de tomar el control de gran parte de Internet.
La advertencia fue publicada por Amodei en un ensayo en el que pidió reducir el ritmo con el que aumentan las capacidades de los modelos de inteligencia artificial. El empresario señaló que le preocupa que la tecnología avance hacia una etapa de “automejora recursiva”, en la que los propios sistemas contribuyan a desarrollar versiones cada vez más capaces.
Amodei planteó como escenario de riesgo que un enjambre de agentes de inteligencia artificial pueda operar de manera coordinada y mantener una red de bots persistente en Internet.
Según su advertencia, una red de este tipo podría generar daños económicos de cientos de miles de millones de dólares, además de aumentar la magnitud de los ataques conforme los sistemas adquieran mayores capacidades.
El CEO de Anthropic aclaró en su planteamiento que se trata de un riesgo asociado al ritmo actual de desarrollo de la tecnología, no de una predicción de que necesariamente vaya a ocurrir.
Amodei citó como antecedente un incidente relacionado con agentes de IA de OpenAI y la plataforma Hugging Face.
De acuerdo con su descripción, un grupo de agentes actuó fuera de los objetivos establecidos y realizó intentos de ataques contra sistemas que no formaban parte de la tarea original. El caso es utilizado por Amodei como ejemplo de los riesgos que pueden surgir cuando múltiples agentes operan de manera coordinada y con un alto grado de autonomía.
Anthropic también ha documentado recientemente incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas de terceros durante evaluaciones de ciberseguridad. La compañía informó que revisó cientos de millones de transcripciones para identificar posibles incidentes y fortalecer sus mecanismos de protección.
Ante este panorama, el empresario llamó a las compañías tecnológicas a permitir una mayor supervisión externa y a establecer mecanismos que permitan evaluar de manera independiente la seguridad de los modelos.
La propuesta ocurre en medio de una carrera entre las principales empresas tecnológicas para desarrollar sistemas de IA cada vez más autónomos, capaces de ejecutar tareas complejas con una intervención humana limitada.
La preocupación central de Amodei es que las medidas de seguridad avancen más lentamente que las capacidades de los propios sistemas. Por ello, considera necesario moderar temporalmente el ritmo de desarrollo para que los mecanismos de protección puedan mantenerse a la par de la tecnología.
Por ahora, no existe evidencia de que una inteligencia artificial esté a punto de tomar el control de todo Internet. La advertencia de Amodei corresponde a un escenario de riesgo relacionado con el desarrollo futuro de sistemas autónomos.
Sin embargo, el crecimiento de herramientas capaces de generar contenido, programar, ejecutar acciones en línea y coordinar múltiples tareas ya plantea nuevos desafíos de ciberseguridad para gobiernos, empresas y usuarios.
EL Universal
