Sutskever anunció el fin de la era del escalado de modelos de IA

Ilya Sutskever dio una entrevista a Dwarkesh Patel. Sutskever declara: “La era del escalado de modelos ha terminado: estamos regresando a la era de la investigación”. Simplemente añadir más potencia computacional ya no funciona. Se necesitan nuevos descubrimientos, no solo más dinero y chips.

El cuello de botella de los modelos modernos — esto sigue siendo la generalización. Precisamente aquí es donde la inteligencia artificial queda críticamente rezagada respecto al humano. Y este es el principal obstáculo en el camino hacia la AGI.

Sutskever dice directamente que las altas puntuaciones en benchmarks — esto es en cierta medida un espejismo. La calidad real queda rezagada porque los modelos se sobreentrenan en las pruebas durante el aprendizaje por refuerzo. Y los investigadores solo agravan el problema estampando benchmarks y ciclos de entrenamiento idénticos.

Y aquí aparece un enigma. Sutskever dice que tiene ideas sobre lo que les falta a los modelos actuales, pero no las comparte. Aunque se filtran pistas. Por supuesto, en su compañía están desarrollando métodos basados en aprendizaje continuo y funciones de recompensa dinámicas justo ahora.

El pronóstico suena vago: la AGI puede llegar tanto en 5 como en 20 años. Pero su receta para la supervivencia de la humanidad suena radical. La forma más confiable de no quedarse inútiles y mantener el control — la fusión con la inteligencia artificial.

Resulta que uno de los creadores de ChatGPT anuncia que la era del simple escalado ha terminado. Los benchmarks mienten. Y el único camino para las personas — convertirse en cyborgs.