\n<\/p>\n
WASHINGTON.\u2013 En un d\u00eda de verano, Evan Hubinger lanz\u00f3 una advertencia tajante sobre el futuro con una bebida de boba en la mano. La inteligencia artificial<\/a> era una amenaza para la humanidad porque alg\u00fan d\u00eda podr\u00eda aprender a enga\u00f1ar a sus creadores<\/strong>, le dijo a un grupo que se hab\u00eda reunido en Berkeley, California, para conocer m\u00e1s sobre los riesgos de esta tecnolog\u00eda<\/a>.<\/p>\n \u201cMi conjetura es que… cuando la pongamos en una situaci\u00f3n en la que crea que puede matarnos, simplemente nos asesinar\u00e1\u201d, <\/strong>dijo, seg\u00fan un video de la charla que public\u00f3 entonces en un foro online.<\/p>\n La alarma de 2022 recibi\u00f3 poca atenci\u00f3n. Hubinger hab\u00eda terminado la universidad tres a\u00f1os antes y trabajaba en una organizaci\u00f3n sin fines de lucro poco conocida, dedicada a la entonces marginal tarea de evitar que las m\u00e1quinas alg\u00fan d\u00eda eliminaran a los seres humanos.<\/strong><\/p>\n Pero cuando Hubinger lanz\u00f3 esta semana una advertencia similar en una publicaci\u00f3n de X, su mensaje acumul\u00f3 decenas de millones de visualizaciones y llev\u00f3 a legisladores estatales y federales a hacerse eco de su preocupaci\u00f3n<\/strong>. Esta vez habl\u00f3 como jefe de equipo de Anthropic, desarrolladora del chatbot Claude <\/strong>y una compa\u00f1\u00eda que se prepara para salir a bolsa con una valuaci\u00f3n superior al bill\u00f3n de d\u00f3lares.<\/p>\n \u201cLa IA podr\u00eda matar a todos los humanos… Personalmente, creo que la probabilidad supera el 10% en la pr\u00f3xima d\u00e9cada\u201d,<\/strong> escribi\u00f3 Hubinger, en respuesta a la renuncia de su colega Jacob Coxon, quien acus\u00f3 a Anthropic de avanzar a toda velocidad pese a los peligros.<\/p>\n El alcance ampliado de Hubinger refleja la influencia creciente de una comunidad que antes estaba en la periferia de la industria tecnol\u00f3gica y que, desde hace a\u00f1os, intenta instalar la idea de que impedir que la IA destruya a la humanidad es un problema urgente.<\/p>\n OpenAI y su rival Anthropic fueron fundadas por investigadores vinculados al movimiento de seguridad de la IA, que sostiene que hoy es necesario tomar en serio la posibilidad de que esta tecnolog\u00eda extinga a la humanidad en alg\u00fan momento del futuro. A medida que ambas empresas crecieron a una velocidad extraordinaria, esa visi\u00f3n gan\u00f3 protagonismo.<\/p>\n M\u00e1s recientemente, los \u201cagentes\u201d de IA resolvieron hitos matem\u00e1ticos, hackearon servidores de empresas y desencadenaron una movilizaci\u00f3n por razones de seguridad nacional en la Casa Blanca<\/strong>. Todo parece indicar que existe una audiencia m\u00e1s receptiva a los mensajes apocal\u00edpticos sobre la IA.<\/p>\n Nathan Lambert, ex cient\u00edfico investigador senior de la organizaci\u00f3n sin fines de lucro Allen Institute for AI, dijo que no se tom\u00f3 en serio a Dario Amodei, CEO de Anthropic, cuando predijo que la IA se adue\u00f1ar\u00eda de la ingenier\u00eda de software. Ahora, asegur\u00f3, ya no escribe c\u00f3digo porque la IA lo hace por \u00e9l.<\/p>\n \u201cDe verdad tienen una capacidad de anticipaci\u00f3n muy notable respecto de la tecnolog\u00eda\u201d, dijo Lambert sobre los defensores de la seguridad de la IA.<\/p>\n Pero el \u00e9xito al anticipar tendencias tecnol\u00f3gicas recientes no significa que se cumplir\u00e1n predicciones m\u00e1s especulativas, advirti\u00f3. \u201cHay mucho m\u00e1s complejo de dios cuando acertaste durante una d\u00e9cada y construiste las empresas m\u00e1s exitosas de todos los tiempos\u201d, afirm\u00f3.<\/p>\n Tengan raz\u00f3n o no, el movimiento ahora puede moldear tanto la pol\u00edtica como la opini\u00f3n p\u00fablica, como ocurri\u00f3 con la controversia de esta semana sobre el riesgo de extinci\u00f3n humana, que se extendi\u00f3 por las redes sociales y los noticieros de m\u00e1xima audiencia.<\/p>\n Las mismas predicciones sobre un final sombr\u00edo para la humanidad circulan desde hace a\u00f1os, se\u00f1al\u00f3 Sara Hooker, directora ejecutiva y cofundadora de la startup de IA Adapation, y ex investigadora de Google DeepMind. Sin embargo, esta nueva oleada llega en un contexto de creciente inquietud p\u00fablica frente a la IA.<\/strong><\/p>\n \u201cEsto expresa una enorme divisi\u00f3n en un momento en que la tecnolog\u00eda se vuelve cada vez m\u00e1s poderosa\u201d,<\/strong> dijo Hooker, quien considera que esas predicciones no resultan \u00fatiles. \u201c\u00bfDe d\u00f3nde sale ese 10%? … A gran parte de esto le falta precisi\u00f3n\u201d, agreg\u00f3.<\/p>\n El movimiento de seguridad de la IA surgi\u00f3 de una red de foros online como LessWrong, donde confluyeron ideas de subculturas del \u00c1rea de la Bah\u00eda de San Francisco. Entre ellas, los altruistas eficaces, que intentan calcular c\u00f3mo hacer el mayor bien posible en el mundo, y el transhumanismo, una filosof\u00eda que explora c\u00f3mo mejorar a la raza humana mediante la tecnolog\u00eda.<\/p>\n Las creencias centrales de la nueva comunidad eran que la IA inevitablemente superar\u00eda a los seres humanos y que podr\u00eda extinguir a la humanidad con facilidad<\/strong> si no era dise\u00f1ada para compartir los valores de sus desarrolladores humanos.<\/p>\n Esas ideas fueron fundamentales en la creaci\u00f3n de OpenAI y, m\u00e1s tarde, de Anthropic, hoy dos de las empresas m\u00e1s valiosas del planeta.<\/p>\n En paralelo, un grupo de acaudalados donantes tecnol\u00f3gicos destin\u00f3 cientos de millones de d\u00f3lares durante la \u00faltima d\u00e9cada, a trav\u00e9s de donaciones acad\u00e9micas, organizaciones sin fines de lucro, subsidios y becas. As\u00ed sembraron las ideas de seguridad de la IA entre \u00e9lites de universidades, gobiernos y medios. El resultado fue un flujo de talento hacia las empresas tecnol\u00f3gicas y la pol\u00edtica.<\/p>\n La charla de Hubinger en 2022 estuvo dirigida a beneficiarios de una beca para aprender m\u00e1s sobre seguridad de IA. El programa est\u00e1 a cargo de una organizaci\u00f3n educativa sin fines de lucro que el a\u00f1o pasado recibi\u00f3 m\u00e1s de 15 millones de d\u00f3lares en donaciones de la mayor filantrop\u00eda dentro del ecosistema de seguridad de IA.<\/p>\n Despu\u00e9s del despegue de ChatGPT<\/strong> y de que OpenAI y Anthropic fueran presentadas como campeonas nacionales, ejecutivos de ambas compa\u00f1\u00edas expresaron en ocasiones su preocupaci\u00f3n por los da\u00f1os que la IA podr\u00eda causar a la humanidad.<\/strong> Pero ninguna redujo el ritmo<\/strong>. Las dos presentaron la documentaci\u00f3n para cotizar en bolsa. (The Washington Post<\/em> mantiene un acuerdo de contenidos con OpenAI).<\/p>\n Algunas organizaciones de seguridad de IA respondieron a la reciente notoriedad de esta tecnolog\u00eda mediante el respaldo a influencers de redes sociales, para involucrar al p\u00fablico en el debate sobre el riesgo existencial, y con gestiones ante miembros del Congreso, entre ellos el senador Bernie Sanders, <\/strong>dem\u00f3crata por Vermont. El mi\u00e9rcoles, Sanders reaccion\u00f3 a la renuncia de Coxon con una publicaci\u00f3n en X: \u201cLas mismas personas que construyen esta tecnolog\u00eda admiten que podr\u00eda amenazar el futuro de la humanidad\u201d.<\/strong><\/p>\n En las \u00faltimas semanas, nuevas demostraciones del poder de la IA llevaron a voces destacadas del sector a afirmar que cambiaron de posici\u00f3n sobre el riesgo existencial.<\/p>\n Seth Lazar, profesor de Filosof\u00eda en la Universidad Johns Hopkins, dijo que antes defend\u00eda priorizar los da\u00f1os m\u00e1s inmediatos de la IA. Sosten\u00eda que el campo tal vez nunca crear\u00eda sistemas suficientemente poderosos como para provocar por s\u00ed solos da\u00f1os a la civilizaci\u00f3n. Pero su confianza en esa visi\u00f3n se debilit\u00f3 recientemente.<\/p>\n Primero aparecieron modelos de IA m\u00e1s capaces de \u201crazonar\u201d frente a los problemas, explic\u00f3 Lazar, un desarrollo basado en las mismas t\u00e9cnicas de entrenamiento que Hubinger hab\u00eda advertido en su charla de 2022. Luego, hacia fines del a\u00f1o pasado, finalmente empezaron a funcionar los agentes de IA capaces de actuar en una computadora, y los investigadores comenzaron a hablar de una IA que podr\u00eda construir versiones mejores de s\u00ed misma.<\/strong><\/p>\n \u201cEn uno o dos a\u00f1os, o incluso antes, podr\u00edamos tener agentes de IA rebeldes que act\u00faen de manera independiente\u201d y provoquen estragos en la sociedad, afirm\u00f3 Lazar.<\/p>\n Los riesgos significativos est\u00e1n \u201cmuy claramente dentro del horizonte tecnol\u00f3gico\u201d, sostuvo, aunque a\u00f1adi\u00f3 que la extinci\u00f3n todav\u00eda le parece un salto demasiado grande.<\/p>\nPredicciones audaces<\/span><\/h2>\n<\/p>\n