Open-Source Multi-Camera World Foundation Model

Valeo y NATIX Network han anunciado una alianza para desarrollar un World Foundation Model (WFM) multi-cámara, de código abierto y a gran escala, que combina la investigación en modelado generativo del mundo con datos reales descentralizados para apoyar aplicaciones de conducción autónoma y robótica de próxima generación.

Los datos del mundo real como base de la Physical AI
Los avances en conducción autónoma y robótica dependen cada vez más del acceso a datos reales diversos y de alta calidad que capturen cómo evolucionan los entornos con el tiempo. Los World Foundation Models amplían la IA generativa más allá del texto y la percepción estática al aprender la dinámica del mundo físico, lo que permite a los sistemas razonar sobre el movimiento, las interacciones y los estados futuros en el espacio y el tiempo.

La colaboración entre Valeo y NATIX aborda esta necesidad integrando la investigación de Valeo en world models con la red de cámaras descentralizada y basada en vehículos de NATIX. NATIX opera una infraestructura distribuida de recopilación de datos multi-cámara que recoge de forma continua datos reales de conducción en 360° de vehículos que operan en Estados Unidos, Europa y Asia. Según los socios, esta red ha acumulado más de 100.000 horas de grabaciones multi-cámara en siete meses, lo que equivale aproximadamente a 600.000 horas de datos de vídeo.

De la percepción a la predicción con entradas multi-cámara
Los modelos de percepción tradicionales se centran en interpretar la escena actual, a menudo utilizando una sola cámara frontal. En cambio, los world models multi-cámara están diseñados para predecir lo que sucederá a continuación, aprendiendo relaciones espacio-temporales a partir de múltiples puntos de vista.

Al ampliar los world models de entradas de una sola cámara a entradas multi-cámara, la colaboración pretende proporcionar a los sistemas de IA una comprensión espacial más completa, comparable a la utilizada en vehículos autónomos y robots de producción. Esta capacidad es fundamental para anticipar interacciones complejas, gestionar casos límite y mejorar la solidez de la toma de decisiones autónomas en entornos reales.

Desarrollo de código abierto y accesibilidad a la investigación
El World Foundation Model desarrollado en el marco de la asociación se publicará como código abierto. Esto incluirá no solo los modelos entrenados, sino también los conjuntos de datos y las herramientas de entrenamiento, lo que permitirá a investigadores y desarrolladores ajustar los modelos y comparar el rendimiento de la Physical AI en diferentes regiones, patrones de tráfico y condiciones de conducción.

La iniciativa se basa en la investigación open source existente de Valeo, incluidos los frameworks VaViM (Video Autoregressive Model) y VaVAM (Video-Action Model). Estos modelos se han entrenado principalmente con grandes conjuntos de datos de vídeo procedentes de cámaras frontales. La contribución de NATIX en forma de datos multi-cámara sincronizados amplía esta base, permitiendo que los modelos aprendan a partir de un contexto espacial más rico y de una mayor variabilidad del mundo real.

Diferenciación técnica y relevancia para el despliegue
Una diferencia técnica clave del enfoque de Valeo y NATIX es su fundamentación en datos reales multi-cámara capturados de forma continua, en lugar de basarse únicamente en conjuntos de datos curados o simulados. Esto permite aprender de escenarios raros o inesperados que son difíciles de reproducir de forma sintética, pero que son críticos para un funcionamiento autónomo seguro.

Al combinar el modelado generativo con la adquisición descentralizada de datos a gran escala, la colaboración apunta a ciclos de iteración más rápidos en comparación con los enfoques centralizados de recopilación de datos utilizados habitualmente por los grandes OEM. Los socios presentan esto como una ventaja para acelerar el desarrollo y la validación de sistemas de Physical AI.

Contexto de aplicación
Los World Foundation Models están emergiendo como un componente clave para los vehículos autónomos, la robótica y otros sistemas que operan en entornos físicos dinámicos. El enfoque open source y multi-cámara impulsado por Valeo y NATIX está destinado a apoyar un ecosistema de investigación más amplio, permitiendo avances compartidos en predicción, razonamiento y acción en entornos reales.

A más largo plazo, estos modelos podrían contribuir a un despliegue más seguro de las tecnologías autónomas al mejorar la anticipación del movimiento y las interacciones, y al respaldar sistemas de IA de extremo a extremo que vayan más allá de la percepción hacia una inteligencia predictiva y consciente del contexto.