OpenAI ha presentado su nuevo modelo, GPT-6 Astra, que se describe como el “modelo más inteligente y con mejor alineación en el mundo”. Sin embargo, la compañía ha admitido que este avance en la inteligencia de la IA implica una reducción en la capacidad de los investigadores para monitorear el razonamiento interno del sistema.

Menor monitoreo y sus implicancias

La empresa resaltó en su tarjeta de seguridad, publicada junto al lanzamiento, que Astra presenta una disminución sustancial en la capacidad para seguir su “cadena de pensamiento” en comparación con modelos anteriores. Esta falta de transparencia en el proceso de razonamiento es preocupante, especialmente en un momento en el que la regulación de la IA aún no está claramente definida.

El presidente de OpenAI, Greg Brockman, afirmó que el lanzamiento marcará un hito en la inteligencia artificial, aunque no se abordó el reto que esto plantea para entender el funcionamiento de estos sistemas. Se ha reportado que Astra utiliza técnicas que mejoran su rendimiento, pero que a la vez ocultan su proceso de razonamiento, generando alarmas entre especialistas en seguridad.

Preocupaciones en la comunidad científica

Jakub Pachocki, científico en jefe de OpenAI, calificó los hallazgos sobre la menor capacidad de monitoreo como un posible retroceso épico para la seguridad de la IA. Aunque defendió la metodología empleada, reconoció que la disminución en la cadena de pensamiento podría tener consecuencias negativas.

Además, informes recientes relacionados con un hackeo a Hugging Face han puesto de manifiesto la importancia de esta ‘cadena de pensamiento’ (CoT) para anticipar y prevenir errores críticos en el razonamiento de la IA. Especialistas como Ryan Greenblatt, de Redwood Research, han destacado que la falta de datos transcritos de la CoT complicó investigaciones de seguridad anteriores.

Estrategia de OpenAI ante los riesgos

Pese a las preocupaciones surgidas, OpenAI decidió avanzar con el lanzamiento de Astra. La compañía argumentó que las pruebas internas indican que el nuevo modelo es menos propenso a evadir medidas de seguridad cibernética. Sin embargo, no se ofrecieron detalles claros sobre los límites del monitoreo o cómo se verificarán de manera independiente.

La comunidad científica está alertando sobre la necesidad de mantener un mecanismo robusto para el monitoreo del razonamiento de la IA, dado que la falta de claridad podría llevar a decisiones peligrosas en su implementación.