Seguridad sacrificada por beneficio: Silicon Valley reduce la investigación en IA

Post Thumbnail

Las empresas de Silicon Valley están sacrificando cada vez más la investigación en inteligencia artificial por beneficios. Y el desarrollo de productos está desplazando el trabajo sobre la seguridad de los sistemas. Según White, cuya empresa CalypsoAI realiza auditorías de modelos populares de Meta, Google y OpenAI, los sistemas modernos tienen menos probabilidades de rechazar solicitudes maliciosas. Y pueden revelar formas de crear dispositivos explosivos o información confidencial para actores malintencionados.

«Los modelos están mejorando, pero también es más probable que sean buenos en cosas malas», dice White. «Se está volviendo más fácil engañarlos para que hagan algo dañino».

Los cambios son particularmente notables en empresas como Meta y Alphabet, que han reducido la prioridad de los laboratorios de investigación. En la empresa matriz de Facebook, la división de investigación fundamental en inteligencia artificial ha pasado a un segundo plano. Dando paso a Meta GenAI.

En Alphabet, el grupo de investigación Google Brain ahora forma parte de DeepMind. La división responsable del desarrollo de productos de inteligencia artificial. Esta reorganización refleja un cambio de enfoque de la investigación fundamental al desarrollo aplicado.

Los periodistas de CNBC hablaron con más de 12 profesionales en el campo de la inteligencia artificial, quienes hablan unánimemente de un cambio de la investigación a productos que generan ingresos. Los empleados enfrentan plazos de desarrollo cada vez más ajustados. No pueden permitirse quedarse atrás en la carrera por llevar nuevos modelos al mercado. Y las pruebas exhaustivas se convierten en un lujo que las empresas consideran posible reducir.

Creo que en los próximos dos años veremos un aumento en los incidentes de seguridad. Lo que llevará a la intervención regulatoria de los gobiernos. O todo esto terminará en censura directa.

Почитать из последнего
UBTech enviará robots Walker S2 a servir en la frontera de China por $37 millones
La compañía china UBTech ganó un contrato por $37 millones. Y enviará robots humanoides Walker S2 a servir en la frontera de China con Vietnam. South China Morning Post informa que los robots interactuarán con turistas y personal, realizarán operaciones logísticas, inspeccionarán carga y patrullarán el territorio. Y característicamente — pueden cambiar su batería de forma autónoma.
Anthropic reveló accidentalmente un documento interno sobre el "alma" de Claude
Anthropic reveló accidentalmente el "alma" de la inteligencia artificial a un usuario. Y esto no es una metáfora. Este es un documento interno bastante específico.
Jensen Huang ordenó a los empleados de Nvidia usar IA en todas partes
Jensen Huang anunció una movilización total bajo la bandera de la inteligencia artificial dentro de Nvidia. Y esto ya no es una recomendación. Esto es un requisito.
Los chatbots de IA generan contenido que agrava los trastornos alimentarios
Un estudio conjunto de la Universidad de Stanford y el Center for Democracy and Technology mostró un panorama preocupante. Los chatbots con inteligencia artificial representan un riesgo serio para personas con trastornos alimentarios. Los científicos advierten que las redes neuronales distribuyen consejos dañinos sobre dietas. Sugieren formas de ocultar el trastorno y generan "contenido inspirador para bajar de peso" que agrava el problema.
OpenAGI lanzó el modelo Lux que supera a Google y OpenAI
La startup OpenAGI lanzó el modelo Lux para control de computadora y afirma que esto es un avance. Según los benchmarks, el modelo supera por una generación completa a los análogos de Google, OpenAI y Anthropic. Además, funciona más rápido. Aproximadamente 1 segundo por paso en lugar de 3 segundos en los competidores. Y 10 veces más barato en costo por procesamiento de 1 token.