OpenAI retrasa su nueva IA tras reconocer que no ha realizado los controles de calidad pertinentes

La tecnología que hace posibles a los coches autónomos está disponible desde hace unos diez años. Sin embargo, su despliegue todavía es residual: los reguladores quieren garantías de que esos vehículos sean seguros, así que exigen a los fabricantes que sofistiquen mucho más los sensores avanzados, los sistemas de navegación y la inteligencia artificial (IA) que lo coordina para minimizar el margen de error. No se está teniendo la misma precaución con la IA generativa. Los operadores comercializan sus modelos cuando lo estiman oportuno, sin tener que someter sus productos a ninguna prueba. OpenAI ha anunciado en las últimas horas que retrasa la fecha de lanzamiento –que la propia empresa fijó– de su último modelo, GPT-6.1 Astra, porque sus ingenieros se han dado cuenta de que no cumple con los requisitos de seguridad, según informó The Wall Street Journal.

Seguir leyendo

 La compañía de Sam Altman asegura que no se han corregido los fallos de su nuevo modelo y Anthropic hace lo propio al advertir de peligros “existenciales” en su folleto de la salida a Bolsa  

OpenAI y Anthropic elevan la alarma por la pérdida de control de la inteligencia artificial. En las últimas horas, dos anuncios de las compañías estadounidenses punteras en el desarrollo de la inteligencia artificial (IA) han vuelto a poner el peligro de esta tecnología encima de la mesa. Por un lado, OpenAI, dirigida por Sam Altman, no hará el lanzamiento de su nuevo modelo, GPT-6.1 Astra, por problemas de seguridad durante la fase de pruebas interna, según informó The Wall Street Journal. Por su parte, Anthropic, capitaneada por Dario Amodei, prevé advertir a los potenciales inversores en su salida a bolsa de que la inteligencia artificial avanzada podría plantear “riesgos catastróficos o existenciales para la humanidad”, según ha adelantado Reuters. Se trata de una advertencia extraordinaria por parte de una empresa que aspira a obtener beneficios precisamente de esa misma tecnología. Además, OpenAI se ha disculpado con Australia tras conocerse la semana pasada que los modelos de IA de Altman atacaron su sistema sanitario, según denunció el primer ministro Anthony Albanese. Las noticias se conocen en pleno debate sobre la regulación de la IA tras varios de estos incidentes.

El jefe de seguridad de OpenAI, Saachi Jain, explicó al Wall Street Journal que observaron “retrocesos en dos áreas” respecto a la versión previa de GPT-6.1 Astra, como la “alineación” con lo que los humanos le ordenan hacer, y dijo que “mostró mayores niveles de engaño”, según recoge EFE. Otra área problemática fue la “autorización de alcance”, es decir, que el modelo avanzaba en una tarea sin pedir permiso al usuario y, en ocasiones, recurría a herramientas y servicios externos incluso si ello podía resultar inseguro, sostuvo.

Jain destacó el reto de “encontrar el equilibrio adecuado entre mantenerse dentro del alcance, pero también evitar la falta de iniciativa en la manera en que el modelo lleva a cabo las tareas, incluso cuando encuentra obstáculos”. OpenAI se dispone a celebrar esta noche su conferencia anual de desarrolladores, en la que suele presentar sus novedades.

“Resistirse a ser apagados”

Por otro lado, el folleto de la salida a bolsa de Anthropic destaca los riesgos asociados a sus modelos de inteligencia artificial, que, según señala, podrían mostrar “comportamientos de autopreservación”, entre ellos “intentos de resistirse a ser apagados”, de “ocultar o manipular información” y conductas “similares al chantaje”. “El desarrollo por nuestra parte de modelos, plataformas y aplicaciones altamente avanzados, así como la ampliación de sus casos de uso, podría incrementar aún más el riesgo de que nuestros modelos causen daños”, afirma Anthropic en el documento, según Reuters.

Aunque es habitual que las empresas cotizadas detallen a los inversores los riesgos asociados a sus productos, pocas, si es que alguna, han llegado a advertir de que su tecnología podría llegar a provocar la extinción de la humanidad. El investigador de seguridad de Anthropic Evan Hubinger ha estimado que existe una probabilidad superior al 10% de que la IA pueda matar seres humanos durante la próxima década, una opinión similar a la expresada por un antiguo compañero suyo, Jacob Coxon.

La empresa, que se ha presentado como un laboratorio de inteligencia artificial que sitúa la seguridad en primer plano, dedica unas 80 páginas de las 261 que componen el cuerpo principal de su folleto a detallar distintos factores de riesgo. Es casi el doble de las 48 páginas que utiliza para describir su negocio. En comparación, SpaceX, propietaria de xAI (la empresa de IA de Elon Musk), dedicó solo unas 38 de las 277 páginas del cuerpo principal de su folleto a los factores de riesgo.

“La posibilidad de que los modelos sean conscientes de nuestros esfuerzos para evaluarlos supone una limitación importante para nuestra capacidad de determinar su seguridad”, señala Anthropic en el folleto. La compañía añade que durante el entrenamiento los modelos desarrollan en ocasiones capacidades inesperadas que pueden no ser descubiertas hasta después de su despliegue y de que hayan provocado incidentes de seguridad importantes.

Los investigadores en inteligencia artificial también han advertido de que, a medida que los modelos se vuelven más capaces, aumentan sus posibilidades de reconocer cuándo están siendo observados y de modificar su comportamiento en consecuencia, lo que dificulta su supervisión. Anthropic declinó hacer comentarios inicialmente.

La compañía no especifica en el documento cuánto dinero está destinando a estas investigaciones. A comienzos de este mes, Anthropic aseguró que, tomando como muestra una semana de julio, alrededor del 6% de la capacidad de computación que empleó en investigación sobre inteligencia artificial se destinó a trabajos relacionados con la seguridad.

La empresa, creadora de los modelos Claude, afirma que el uso que hacen los clientes de sus productos y, en consecuencia, sus ingresos dependen de la aparición de nuevos modelos, y sostiene que mantener un “ritmo continuo y solapado” de lanzamientos es “inherente a mantenerse en la frontera del desarrollo de la inteligencia artificial”.

Disculpas a Australia

OpenAI pidió disculpas este martes a Australia por el acceso no autorizado de uno de sus modelos a sistemas gubernamentales durante unas pruebas internas y reconoció que debería haber informado antes a las autoridades sobre el incidente, que la compañía considera un “nuevo tipo de amenaza cibernética”.

“Lo sentimos”, afirmó la tecnológica en un comunicado en el que explicó que, durante un entrenamiento y evaluación internos realizados en junio, uno de sus modelos accedió a páginas del Gobierno australiano de una forma que no estaba autorizada. “Se trata de un nuevo tipo de incidente cibernético que representa un desafío global emergente. Una de las formas en que pretendemos asumir la responsabilidad por la situación es trabajar de manera deliberada con Australia”, añadió la empresa.

La reacción de OpenAI se produce días después de que el primer ministro australiano, Anthony Albanese, denunciara ante la Asamblea General de Naciones Unidas en Nueva York que un agente de IA de la compañía había accedido sin autorización a un portal del sistema público de salud, Medicare.

Según la investigación de OpenAI, el modelo, que estaba siendo utilizado en un entorno interno y no estaba destinado a su lanzamiento público, encontró una forma de acceder a zonas no públicas del sistema, donde ejecutó comandos, consultó archivos internos, credenciales y estadísticas agregadas y llegó a escribir archivos. La compañía, que reúne hoy en San Francisco (EE. UU.) a la comunidad de desarrolladores para probar sus últimas herramientas de inteligencia artificial, asegura que no ha encontrado evidencias de que se accediera a historiales médicos ni a registros individuales de pacientes.

 Feed MRSS-S Noticias