Todos los periódicos y la radio, en unoEscrito por IA a partir de Hacker News · Cómo se hace
HN Daily
Inteligencia artificial · hunch.net
El fin del grupo AI Frontiers de Microsoft Research
John Langford, fundador de AI Frontiers dentro de Microsoft Research, cuenta que el grupo, de unas 50 personas, ha terminado tras ser integrado en Microsoft AI. Atribuye el choque a una filosofía de «solo escalar» incompatible con la investigación, y explica por qué se ha ido sin volver a MSR.
1 medio · MadridPublicada 8 nov, 07:40· Ya no está en portadaEscrita por IA · cómo funciona
Langford cuenta que en 2023, tras el lanzamiento de ChatGPT, vio que la investigación en Microsoft Research debía organizarse mejor para tener éxito: una sola persona con una buena idea llegaba tarde y sin baselines lo bastante sólidos. Con otros colegas creó AI Frontiers dentro de MSR, un grupo de unas 50 personas con esfuerzos de investigación coherentes, en un punto intermedio entre lo «top down» y lo «bottom up». Reconoce desacuerdos y una falta de cómputo a menudo severa.
Buena parte del trabajo consistió en hacer que los agentes funcionaran, como el framework de orquestación Autogen y el agente de uso de ordenador Fara. En Nueva York, parte del equipo trabajaba en capacidades fundamentales: el objetivo Next Latent, Dion3 (una versión optimizada de Muon) y el Full Bandwidth Transformer. El grupo también creó un monorepo compartido por defecto con todo MSR, que incluía un código de preentrenamiento a escala edge.
A principios de septiembre, AI Frontiers fue reorganizado dentro de Microsoft AI (MAI), mucho más grande. Langford sostiene que la filosofía del liderazgo de MAI, procedente de Inflection, es incompatible: se centra en escalar y no en investigar, con el esfuerzo puesto en conseguir y refinar datos. Considera ese enfoque equivocado y poco divertido, y defiende que la investigación rinde: según experimentos de Bytedance, una variante del Full Bandwidth Transformer podría equivaler a un modelo del doble de tamaño. Añade que había señales de que en MAI no los querían.
Langford recolocó a su gente como pudo y se fue; según dice, los demás miembros fundadores del liderazgo llegaron a la misma conclusión. No vuelve a MSR por dos motivos: allí tampoco vería un camino para que su investigación llegue a usarse y cree que se ha roto el pacto básico de «haz buen trabajo y pasarán cosas buenas», porque el grupo fue reorganizado sin su consentimiento. Anuncia que no habrá prácticas con el equipo el próximo año.
«The end of Microsoft Research's AI Frontiers group» · puesto 4 · 436 puntos · enviado por srean
Lo que dicen los comentarios
Una parte de los comentarios discute si apostar solo por escalar los transformers es razonable. Algunos lo ven como una decisión lógica mientras los modelos sigan mejorando con más parámetros, y citan como ejemplo el despido de Yann LeCun en Meta. Otros lamentan que se invierta casi todo en una sola idea y recuerdan que hay áreas inexploradas, aunque se señala que cualquier alternativa a los LLM tendría que demostrar mejoras a gran escala, algo muy difícil. También hay quien subraya que el texto no habla de abandonar los transformers, sino de política interna y mala gestión, y que la mala transferencia de la investigación al producto fue el problema real. Varios aclaran que el titular se refiere a un grupo concreto y no al fin de la frontera de la IA, y otros apuntan que el coste y los márgenes explican que las empresas no financien más investigación.
Es así en todas las grandes empresas ahora mismo. Se ve el transformer como una autopista por la que correr, y la investigación exploratoria en otros métodos está muy desaconsejada. Meta despidió a su jefe de IA, que quería desviarse hacia nuevos tipos de modelos.
Me entristece que haya tantas áreas de investigación en IA sin explorar. Se invierten miles de millones en casi una sola idea y muchas empresas temen asumir riesgos. Yo no apostaría mil millones por JEPA, pero prefiero un mundo donde se pruebe.
Los LLM tienen una dinámica muy favorable entre exploración y consolidación. Una alternativa tendría que mostrar mejoras fundamentales a escalas relativamente grandes, algo extremadamente difícil para la investigación nueva.
No dijo que no hicieran investigación en transformers; de hecho menciona un tipo en el que trabajaban. Creo que la clave del texto es que la política de oficina y la mala gestión frenaron la innovación y su paso a producto.
Esta noticia la ha redactado una inteligencia artificial a partir de las fuentes citadas, con el criterio editorial de El Autómata (equilibrio, atribución y solo hechos publicados). Puede contener errores: consulta las fuentes originales. Modelo: claude-sonnet-5.5.