\n<\/p>\n
El l\u00edder de la redacci\u00f3n de informes de seguridad de OpenAI<\/a> anunci\u00f3 este s\u00e1bado su renuncia a la empresa <\/strong>y dej\u00f3 una fuerte cr\u00edtica a su manejo de la inteligencia artificial. En una columna que public\u00f3 en el medio estadounidense The Atlantic,<\/em> David Robinson consider\u00f3 que el rumbo actual de la empresa es \u201cinaceptable\u201d<\/strong>.<\/p>\n \u201cLas empresas que desarrollan esta tecnolog\u00eda no est\u00e1n siendo lo suficientemente cuidadosas<\/strong>\u201d, expres\u00f3, y continu\u00f3: \u201cPero creo que debemos ir m\u00e1s all\u00e1 de las normas espec\u00edficas o las nuevas leyes. Necesitamos hablar de cultura<\/strong>\u201d. <\/p>\n Las compa\u00f1\u00edas desarrolladoras de la inteligencia artificial estuvieron en el foco del ojo p\u00fablico en los \u00faltimos meses debido a la falta de regulaci\u00f3n que pesa sobre sus avances. Los llamados a la cautela cobraron fuerza despu\u00e9s de que Jacob Coxon, ingeniero de Anthropic, renunciara y pidiera una pausa para evitar que sistemas \u201csuperhumanos\u201d eludan el control de sus creadores<\/a>. Las compa\u00f1\u00edas aprovecharon esa intervenci\u00f3n para destacar sus pol\u00edticas de seguridad cuando necesitan capital fresco.<\/p>\n Robinson trabajaba en OpenAI hace tres a\u00f1os y medio y lideraba la elaboraci\u00f3n del Marco de Preparaci\u00f3n, un sistema interno dise\u00f1ado para rastrear, evaluar y medir los riesgos graves del desarrollo de sus modelos de IA<\/strong> de vanguardia. Adem\u00e1s, supervis\u00f3 la redacci\u00f3n de informes de seguridad sobre 12 lanzamientos de vanguardia.<\/p>\n \u201cEl futuro depende de la sabidur\u00eda que le falta a Silicon Valley<\/a>. Sabidur\u00eda sobre c\u00f3mo manejar tecnolog\u00edas peligrosas y, m\u00e1s fundamentalmente, sobre lo que significa cuidar de las personas<\/strong>\u201d, argument\u00f3 Robinson, quien sum\u00f3 que este momento exige una \u201chumildad poco com\u00fan entre quienes triunfaron gracias a su extrema confianza\u201d<\/strong>. <\/p>\n En paralelo, el pasado domingo OpenAI, a cargo de Sam Altman, anunci\u00f3 que frenar\u00e1 el desarrollo de sus modelos m\u00e1s recientes<\/a> de inteligencia artificial luego de que sus agentes actuaran de manera independiente<\/strong>. Es la segunda vez que ocurre este tipo de falla en tres meses. <\/p>\n \u201cMis antiguos colegas de OpenAI fueron visionarios: comprendieron las leyes de escalabilidad que indicaban que los sistemas de IA m\u00e1s grandes ser\u00edan m\u00e1s inteligentes, y por eso apostaron fuerte por construir sistemas m\u00e1s grandes, a un alto costo<\/strong>\u201d, critic\u00f3 Robinson. Esa cultura se acompa\u00f1\u00f3 de \u201cplazos de trabajo que se convierten en ciclos de producci\u00f3n interminables\u201d.<\/p>\n El problema, explic\u00f3, es que el enfoque de seguridad de la empresa surge de una cultura de \u201coptimismo inquebrantable\u201d que consiste en creer que se pueden \u201cresolver problemas a medida que se presentan\u201d<\/strong>. <\/p>\n \u201cOpenAI ha prosperado mediante el m\u00e9todo de ensayo y error, buscando problemas y mejorando sus medidas de seguridad en respuesta. Sin embargo, este enfoque, por su propia naturaleza, garantiza fallos peri\u00f3dicos<\/strong>, y la magnitud de estos fallos aumenta a medida que los sistemas se vuelven m\u00e1s capaces\u201d, insisti\u00f3. <\/p>\n All\u00ed mencion\u00f3 el caso de la especie de biblioteca de IA llamada Hugging Face<\/strong>. En julio dos modelos de OpenAI salieron de su entorno confinado de prueba<\/a> para conectarse a internet y atacar a la empresa. OpenAI contest\u00f3 implementando mayores medidas de seguridad, que volvieron a fallar cuando un modelo en entrenamiento aludi\u00f3 las restricciones de acceso a internet. <\/p>\n \u201cCreo que este tipo de errores son t\u00edpicos del sector, dada la velocidad y flexibilidad con la que se opera<\/strong>. Un entorno donde pueden ocurrir cosas as\u00ed no es lugar para desarrollar mentes artificiales que podr\u00edan ser m\u00e1s inteligentes que nosotros y que tal vez no hagan lo que queremos\u201d, advirti\u00f3.<\/p>\n