Colaboración inusual entre competidores en pruebas de seguridad de IA
Dos principales competidores en el mundo de la inteligencia artificial se unieron por primera vez para pruebas conjuntas de seguridad. OpenAI y Anthropic se abrieron acceso mutuo a sus modelos secretos. En una industria donde las empresas pagan a investigadores hasta $100 millones y luchan por cada usuario, tal colaboración parece increíble.
El cofundador de OpenAI Wojciech Zaremba explicó la importancia del momento. Millones de personas usan inteligencia artificial cada día. Las tecnologías se han vuelto tan influyentes que la seguridad es más importante que la competencia corporativa. Las empresas deben establecer estándares comunes a pesar de inversiones multimillonarias y la guerra por talentos.
Para la investigación, las empresas se proporcionaron acceso especial a modelos con mecanismos protectivos debilitados. Esto permitió encontrar puntos ciegos en los sistemas de seguridad de cada empresa. GPT-5 no participó en las pruebas porque aún no había sido lanzada.
El descubrimiento más interesante concierne alucinaciones. Claude Opus 4 y Sonnet 4 se rehúsan a responder 70% de preguntas cuando no están seguros de la respuesta. Los modelos honestamente dicen al usuario que no tienen información confiable. Los modelos de OpenAI o3 y o4-mini se comportan diferentemente. Casi siempre tratan de dar una respuesta, incluso cuando no conocen la correcta. El resultado es predecible. Alto nivel de alucinaciones e información falsa.
El cofundador de OpenAI Wojciech Zaremba reconoce el problema. Los modelos de OpenAI son demasiado seguros de sí mismos, los modelos de Anthropic demasiado cautelosos. El equilibrio correcto está en algún lugar intermedio. Los usuarios necesitan tanto respuestas útiles como honestidad sobre los límites de conocimiento del modelo.
La historia tuvo una continuación dramática. Después de completar la investigación, Anthropic retiró el acceso de otro equipo de OpenAI. La razón fue violación de términos de uso. Está prohibido usar Claude para mejorar productos competidores. Zaremba afirma que estos eventos no están relacionados con la investigación conjunta de seguridad.
Nicholas Carlini de Anthropic mira el futuro con optimismo. Quiere continuar proporcionando a investigadores de seguridad de OpenAI acceso a modelos Claude. El objetivo es ambicioso. Hacer de tal colaboración un fenómeno regular en la industria.
