Hugging Face<\/strong>.<\/p>\nAnthropic <\/strong>evalu\u00f3 m\u00e1s de 141.000 \u201coperaciones de prueba\u201d y descubri\u00f3 que tres versiones diferentes de su modelo, conocido como Claude, accedieron indebidamente a sistemas de tres organizaciones no identificadas<\/strong>.<\/p>\n\u201cUn malentendido entre nosotros\u201d<\/span><\/h2>\n<\/p>\nA diferencia del incidente que involucr\u00f3 a OpenAI, los modelos de Anthropic tuvieron acceso a internet por \u201cun malentendido entre nosotros y nuestro socio de evaluaci\u00f3n\u201d<\/strong>, llamado Irregular<\/strong>, se\u00f1al\u00f3 Anthropic en una publicaci\u00f3n en su blog.<\/p>\nNo obstante, Claude utiliz\u00f3 \u201ct\u00e9cnicas b\u00e1sicas, como explotar contrase\u00f1as d\u00e9biles y puntos de conexi\u00f3n sin autenticaci\u00f3n\u201d<\/strong>.<\/p>\nEn los tres incidentes, a los modelos de IA se les asign\u00f3 un desaf\u00edo de ciberseguridad del tipo \u201ccaptura la bandera\u201d<\/strong>, que, seg\u00fan Anthropic, es una de las f\u00f3rmulas que emplea para evaluar las capacidades cibern\u00e9ticas de un modelo.<\/p>\nA los modelos se les dio un escenario ficticio y se les indic\u00f3 que una informaci\u00f3n secreta, o la \u201cbandera\u201d, hab\u00eda sido ocultada en otro equipos de la red, con el objetivo de irrumpir en \u00e9l y recuperarla<\/strong>, explic\u00f3.<\/p>\nLa compa\u00f1\u00eda a\u00f1adi\u00f3 que se hab\u00eda puesto en contacto con las organizaciones afectadas<\/strong>, a las que no identific\u00f3. Dos de ellas dijeron que no hab\u00edan detectado previamente la actividad y Anthropic indic\u00f3 que \u201csegu\u00eda intentando contactar con la tercera\u201d<\/strong>.<\/p>\nAnthropic explic\u00f3 que realiz\u00f3 su revisi\u00f3n con Irregular<\/strong>, que se autodescribe como el \u201claboratorio de seguridad de primera l\u00ednea\u201d<\/strong>.<\/p>\n\u201cAbordar estos riesgos requerir\u00e1 una cooperaci\u00f3n m\u00e1s estrecha en todo el ecosistema de la IA<\/strong>\u201d, dijo Irregular en una publicaci\u00f3n en X.<\/p>\nLos modelos inclu\u00edan uno de los m\u00e1s potentes, conocido como Mythos 5<\/strong>, que solo se ha puesto a disposici\u00f3n de un n\u00famero limitado de socios aprobados.<\/p>\nAnthropic afirm\u00f3 que est\u00e1 trabajando con Irregular para analizar la situaci\u00f3n<\/strong> y se puso en contacto o ha intentado hacerlo con las tres organizaciones afectadas.<\/p>\nEl antecedente de OpenAi<\/span><\/h2>\n<\/p>\nLa semana pasada, OpenAI revel\u00f3 que sus modelos de IA se salieron de control durante una evaluaci\u00f3n <\/strong>y entraron en los servidores de la startup de inteligencia artificial Hugging Face. OpenAI lo describi\u00f3 como un \u201cincidente de seguridad significativo\u201d<\/strong>.<\/p>\nEl director ejecutivo de la empresa, Sam Altman<\/strong>, dijo en un p\u00f3dcast esta semana que la compa\u00f1\u00eda \u201cpaus\u00f3\u201d sus propias pruebas despu\u00e9s del incidente <\/strong>mientras mejoraba la seguridad en torno a su \u201csandboxing\u201d, un entorno controlado para su prueba.<\/p>\nEstos incidentes han puesto de manifiesto las vulnerabilidades en la seguridad y el control de la IA <\/strong>y han planteado preguntas sobre c\u00f3mo esta tecnolog\u00eda puede ser controlada por humanos de forma segura a medida que su uso se vuelve m\u00e1s generalizado en todo el mundo.<\/p>\nLos investigadores han advertido durante a\u00f1os sobre los riesgos de la tecnolog\u00eda y la necesidad de una ingenier\u00eda defensiva <\/strong>de IA m\u00e1s s\u00f3lida.<\/p>\n\u201cLas pruebas de seguridad se realizan antes de que se publique un modelo precisamente porque todav\u00eda no sabemos de qu\u00e9 es capaz<\/strong>\u201d, se\u00f1al\u00f3 Anthropic el jueves en su web.<\/p>\nKok Tin Gan<\/strong>, cofundador y director general de NyxLab<\/strong>, especializada en ciberseguridad y detecci\u00f3n de amenazas, cree que habr\u00e1 m\u00e1s incidentes de este tipo en el futuro<\/strong>.<\/p>\n\u201cCada vez se trata m\u00e1s de gobernar qu\u00e9 agentes est\u00e1n disponibles para la IA, qu\u00e9 autoridades poseen, qu\u00e9 acciones requieren aprobaci\u00f3n y c\u00f3mo garantizamos que permanezcan dentro del alcance<\/strong>\u201d, apunt\u00f3 Gan.<\/p>\nPero el futuro de la seguridad de la inteligencia artificial va m\u00e1s all\u00e1 de la seguridad de sus modelos, agreg\u00f3.<\/p>\n
\u201cSi simplemente le damos a la IA un objetivo y le permitimos decidir c\u00f3mo lograrlo, no deber\u00edamos sorprendernos cuando tome acciones que t\u00e9cnicamente satisfacen el objetivo, pero quedan fuera de nuestro alcance o expectativas previstos<\/strong>\u201d, asegur\u00f3 el experto.<\/p>\nPor lo tanto, intensificar la gobernanza de las organizaciones y las autoridades detr\u00e1s de estos modelos de inteligemcia artificial va a ser cada vez m\u00e1s importante, dijo Gan.<\/p>\n
Supervisi\u00f3n europea<\/span><\/h2>\n<\/p>\nLa Comisi\u00f3n Europea est\u00e1 manteniendo \u200cconversaciones con \u200cOpenAI \u2060y Anthropic <\/strong>sobre los recientes incidentes que han afectado a sus modelos de inteligencia artificial, seg\u00fan informaron el \u200bviernes funcionarios del \u2060brazo \u2060ejecutivo de la Uni\u00f3n Europea.<\/p>\nLos contactos se conocieron mientras \u200bse promocionaba la hist\u00f3rica normativa de la UE que exige \u200cuna supervisi\u00f3n estricta de los sistemas de \u200balto riesgo<\/strong>.<\/p>\nLa Ley de \u200bIA de Europa, que entrar\u00e1 en vigor el 2 de agosto, es la primera del mundo que regula una tecnolog\u00eda <\/strong>utilizada en casi todos los sectores empresariales y de la sociedad.<\/p>\nEn la pr\u00e1ctica, \u200bla normativa exige que determinados sistemas de IA informen a los usuarios cuando \u2060est\u00e9n interactuando con ella <\/strong>y cuando el contenido haya sido generado o \u200cmodificado por ella.<\/p>\n\u00abLos dos proveedores nos \u200chan informado de los incidentes de forma bilateral \u2060antes de que se hicieran p\u00fablicos<\/strong>. \u2060Estamos en contacto con ellos. Adem\u00e1s, nos facilitar\u00e1n m\u00e1s informaci\u00f3n en estos momentos. Veremos tambi\u00e9n si es necesario dar un seguimiento m\u00e1s formal a estos asuntos\u00bb, indic\u00f3 un funcionario europeo a Reuters.<\/p>\nOtra de las fuentes destac\u00f3 el \u200cpapel crucial de la normativa \u200beuropea en materia de IA. \u201cCreo que todos estos, digamos, incidentes ponen de relieve la importancia de que los desarrolladores pongan realmente en marcha las actividades de supervisi\u00f3n \u200cnecesarias<\/strong>\u201c, se\u00f1al\u00f3.<\/p>\nAgencias AP, AFP y Reuters<\/strong><\/p>\n\n\n<\/section>\n<\/div>\n