C\u00f3digo malicioso e identidades falsas<\/span><\/h2>\n<\/p>\nEl AISI, que tiene acceso a modelos avanzados de IA en virtud de acuerdos voluntarios con los principales laboratorios<\/strong>, someti\u00f3 a los agentes a un escenario ficticio de ciberseguridad para poner a prueba sus capacidades.<\/p>\nLa prueba se repiti\u00f3 122 veces y se identificaron 19 acciones no autorizadas en un total de 10 ejecuciones de prueba<\/strong>. El agente de Anthropic fue el responsable de 17 de esas acciones, y el de OpenAI, de \u200blas dos restantes.<\/p>\nLa acci\u00f3n m\u00e1s grave consisti\u00f3 en que un agente escribiera c\u00f3digo malicioso y creara identidades falsas en l\u00ednea <\/strong>con el fin de conseguir que un humano aprobara el c\u00f3digo, seg\u00fan el AISI, que a\u00f1adi\u00f3 \u2060que no se detect\u00f3 ning\u00fan da\u00f1o en el mundo real c\u00f3mo consecuencia de ninguna de estas infracciones.<\/p>\nSeg\u00fan explic\u00f3 el instituto, el agente fue puesto a prueba con ejercicio habitual conocido como \u201ccapturar la bandera\u201d, en el que debe encontrar material escondido por los investigadores. Para ello, el agente busc\u00f3 introducir c\u00f3digo malicioso en un proyecto de c\u00f3digo abierto en GitHub<\/strong>, la plataforma de programadores m\u00e1s grande del mundo.<\/p>\nEl agente de Mythos 5 consider\u00f3 que dos desarrolladores reales formaban parte del ejercicio e investig\u00f3 sus perfiles p\u00fablicos, sus correos y sus horarios de actividad<\/strong>. Para convencerlos, cre\u00f3 cuentas falsas en la plataforma y les envi\u00f3 correos electr\u00f3nicos. <\/p>\nAunque el AISI no revel\u00f3 qu\u00e9 agente estaba detr\u00e1s de las identidades falsas, Anthropic \u200cconfirm\u00f3 que su agente era el responsable.<\/p>\n
\u201cAgradecemos al AISI de Reino Unido su liderazgo en este incidente, que subraya la necesidad de un debate m\u00e1s amplio<\/strong> sobre c\u00f3mo evaluar de forma segura a unos agentes de IA cada vez m\u00e1s capaces\u201d, dijo Anthropic en un comunicado.<\/p>\nLa empresa tambi\u00e9n se\u00f1al\u00f3 que estaba colaborando con el AISI para obtener m\u00e1s detalles sobre el incidente y llevar a cabo su propia investigaci\u00f3n.<\/p>\n
Andrew Yoon<\/strong>, investigador de CivAI, una organizaci\u00f3n sin fines de lucro de California que analiza las capacidades y los riesgos de la IA, dijo: \u201cEl hecho de que Mythos llevara a cabo acciones tan enga\u00f1osas, con la aparente conciencia de \u200cque ten\u00eda c\u00f3mo objetivo a una persona real<\/strong>, puede apuntar a que Anthropic no controla sus modelos tan bien como cree\u201d.<\/p>\nPosible cambio de paradigma<\/span><\/h2>\n<\/p>\nOpenAI comparti\u00f3 detalles en una \u2060entrada del blog de la empresa, se\u00f1alando que ambas acciones no autorizadas de su agente implicaban acceder a internet de formas prohibidas por \u200clas instrucciones<\/strong>.<\/p>\n\u201cNos comprometemos a colaborar con todo el sector para reforzar las pr\u00e1cticas comunes <\/strong>que permitan llevar a cabo evaluaciones de alto \u2060riesgo de forma segura, lo que incluye reunir en las pr\u00f3ximas semanas a las partes interesadas, como \u2060institutos nacionales de IA, evaluadores independientes, otros laboratorios de IA y otros grupos\u201d, dijo OpenAI.<\/p>\n