Aproximadamente cada seis meses, el jefe de automoción de Nvidia, Xinzhou Wu, invita al director ejecutivo, Jensen Huang, a dar un paseo en un vehículo equipado con el sistema de conducción autónoma manos libres de la empresa. Pero sólo si Wu tiene «buena fe» en las capacidades de conducción del sistema.
Recientemente, los dos condujeron desde Woodside, California hasta el centro de San Francisco en un sedán Mercedes CLA equipado con MB.Drive Assist Pro, un sistema de asistencia a la conducción manos libres diseñado en parte por Nvidia, similar al sistema de conducción autónoma total de Tesla. El ambiente era luminoso, aunque había bastante tráfico.
«Dime cuando estés en modo autónomo», le dijo Huang a Wu, según un vídeo tomado del viaje. El borde«Entonces podré preocuparme menos por mi seguridad».
Durante el video de 22 minutos, Mercedes guía a Huang y Wu a través de una serie de obstáculos cotidianos, como sitios de construcción, autos estacionados en doble fila y carriles que pasan por filas de conos naranjas. El sistema de Nvidia parece bastante capaz, aunque el vídeo está editado y no se presenta en tiempo real. (La portavoz de Nvidia, Jessica Soares, dijo más tarde que no hubo cortes durante el viaje).
Aún así, no parecía tan diferente de mi propia experiencia el año pasado cuando viajaba con ejecutivos de Nvidia en un Mercedes con el sistema de manos libres activado. Me impresionó la capacidad del sistema para manejar semáforos, paradas en cuatro direcciones, automóviles estacionados en doble fila, giros a la izquierda sin protección y todos los peatones, ciclistas y scooters que San Francisco puede lanzarle. Si Tesla puede hacerlo con un poco de silicio y un montón de cámaras, es lógico que la empresa más valiosa del mundo pueda resolverlo.
Después de años detrás de escena, Nvidia está tratando de forjar una posición de liderazgo más prominente en la conducción autónoma. No sólo suministra chips a empresas como Tesla, sino que también ofrece sus propias funciones de conducción impulsadas por IA a socios como Mercedes, Jaguar Land Rover y Lucid. En el CES a principios de este año, Huang presentó Alpamayo, una cartera de modelos de inteligencia artificial, planos de simulación y conjuntos de datos que otorgan a los vehículos autonomía de nivel 4, permitiéndoles conducirse completamente solos en ciertas condiciones. Huang calificó el anuncio como «un momento ChatGPT para la IA física».
En el coche que comparte con Wu, Huang es menos rimbombante y más introspectivo, pero no menos optimista sobre el futuro de la tecnología. «Creo que el desafío es, por supuesto, Alpamayo, por muy inteligente que sea y pueda justificar la situación, no sabemos qué no puede hacer», afirmó. «Y ese es el desafío, y es por eso que nuestra pila clásica es tan increíblemente importante».
Después de años entre bastidores, Nvidia intenta tomar la delantera en la conducción autónoma.
Huang se jacta de que el enfoque de Nvidia hacia la conducción autónoma es «único» porque combina un modelo de IA de extremo a extremo con una pila tradicional «clásica» diseñada por humanos. Los modelos puros de extremo a extremo son difíciles de verificar por motivos de seguridad, teorizó. Por el contrario, la pila clásica sigue protocolos y procesos de ingeniería bien establecidos que facilitan la verificación de que ciertos comportamientos son lo suficientemente seguros. Al combinar los dos enfoques, el sistema de Nvidia puede beneficiarse de un estilo de conducción similar al humano y al mismo tiempo mantener un marco de seguridad basado en las normas de tráfico tradicionales.
La afirmación de Huang de un enfoque único en la industria no es del todo cierta; Otros proveedores de AV también utilizan redes neuronales de extremo a extremo en paralelo con reglas de seguridad explícitas que rigen la respuesta del vehículo. Pero es cierto que el aprendizaje de un extremo a otro, que tiende a ser menos robótico y más dirigido por humanos, se está poniendo cada vez más de moda. Waymo se basa en un sistema híbrido, mientras que Tesla se basa únicamente en redes neuronales de un extremo a otro.
En una entrevista, Wu dijo que los modelos de extremo a extremo son más capaces de responder a cosas como exceso de velocidad o cambios de carril sin sentirse mecánicos o demasiado robóticos. «Por eso este es el momento de ChatGPT», dijo. «Es como cuando el automóvil realmente se conduce con confianza… entonces los clientes básicamente se sentirán más inclinados a usarlo».
Tesla y el alto coste de la conducción autónoma
Le pregunté a Wu qué pensaba del enfoque de Nvidia en comparación con el sistema de conducción autónoma total de Tesla, que ha recorrido más de 8.500 millones de millas pero está involucrado en una serie de incidentes de seguridad preocupantes, incluidos 23 heridos y al menos dos muertes. En diciembre pasado, un ejecutivo de Nvidia dijo que la compañía probó los dos sistemas entre sí. El número de adopciones de controladores para el sistema de Nvidia fue similar, dijo, a veces favoreciendo a un sistema y otras al otro.
Wu se negó a comentar directamente sobre el historial de seguridad de Tesla, pero explicó que Nvidia se destaca por el uso de múltiples sensores, incluidas cámaras, radares, sensores ultrasónicos y, en configuraciones superiores, lidar. Nvidia cree que la redundancia y una diversidad de tecnologías de detección son fundamentales para manejar casos difíciles y lograr mayores niveles de seguridad, dijo Wu.
«Es como cuando el automóvil realmente se conduce con confianza… entonces los clientes básicamente se sentirán más inclinados a usarlo».
-Xinzhou Wu
Los sensores adicionales tienen un costo adicional. En particular, la inclusión de lidar sugiere que sólo los propietarios adinerados de Mercedes tendrían acceso al sistema más seguro de Nvidia. Sin embargo, Wu cree que el enfoque integrado verticalmente de Nvidia le permite lograr el rendimiento de seguridad necesario al menor costo.
La plataforma DRIVE Hyperion de Nvidia está diseñada teniendo en cuenta múltiples configuraciones. La versión básica utiliza una configuración de sensores más sencilla y rentable, que se basa principalmente en cámaras y radares. Estos sensores se han vuelto dramáticamente más baratos durante la última década debido a la producción en masa; Los sensores ultrasónicos ya son extremadamente baratos. Para niveles más altos de autonomía, la plataforma puede agregar sensores lidar y, dado el costo cada vez menor del lidar, Wu dijo que cree que los vehículos con un precio de entre 40.000 y 50.000 dólares pueden incluir de manera realista el conjunto completo de sensores necesarios para una autonomía avanzada.
Ventajas y desventajas de los datos.
Le pregunté a Wu sobre incidentes de seguridad recientes que involucraron vehículos Waymo, como el eje robótico de la compañía que bloqueó las intersecciones durante un corte de energía en San Francisco. Dijo que Nvidia ya había analizado casos extremos similares a través de sus simuladores. De hecho, la empresa depende en gran medida de datos de conducción sintéticos para tener en cuenta las desventajas de las pruebas en el mundo real. Tesla registra miles de millones de millas conduciendo en el mundo real gracias a su enorme flota de automóviles para clientes. Waymo ha recorrido casi 200 millones de millas totalmente autónomas en vías públicas. ¿Cómo puede Nvidia esperar ponerse al día?
«El gran juego de la infraestructura es en realidad una simulación», afirmó Wu. Nvidia adopta dos enfoques al respecto. Una es la reconstrucción neuronal, o NuRec, en la que los ingenieros de la empresa recrean escenarios de conducción reales utilizando datos de sensores recopilados de vehículos en el campo. La otra es la adición, que modifica elementos de la escena reconstruida para explorar diferentes resultados posibles. Esto permite a los ingenieros examinar cómo se comporta el sistema autónomo en condiciones ligeramente diferentes e identificar valores atípicos raros que pueden haber estado presentes en el conjunto de datos original.
«Podemos sacar a un peatón más rápido, más lento y desde un lugar diferente», dijo. «Esto es lo que llamamos desenfoque de conjuntos de datos».
Nvidia obtuvo las imágenes de la cámara del tablero de sus socios para incorporarlas a los datos utilizados en la simulación. También recrea casos extremos de incidentes de Waymo, como un corte de energía, y entrena su sistema para responder sin bloquear las intersecciones.
Pero el objetivo final es construir un sistema que utilice el razonamiento para evitar estos errores de casos extremos, haciendo que los datos de conducción del mundo real sean innecesarios en primer lugar. El equipo de Wu está trabajando en el modelo Vision Language Action, que pone esta teoría en práctica. Estos modelos combinan percepción visual, comprensión lingüística y acción física en una arquitectura unificada, basándose en grandes modelos base que ya han sido entrenados en conjuntos de datos del tamaño de Internet. Wu lo compara con la licencia de conducir.
«Cuando enseñamos a un niño a conducir, lee un libro de reglas y luego practica detrás del volante durante 20 horas», dijo Wu. «Para empezar, generalmente no son malos conductores, aunque obviamente se necesita experiencia para mejorar. En última instancia, queremos que el modelo funcione de la misma manera: en el futuro, aprenderás a conducir con solo un libro de reglas y 20 horas de datos de entrenamiento».
