Uma nova apresentação de 30 minutos de @aelluswamy, vice-presidente de IA da Tesla, foi lançada, onde ele fala sobre FSD, IA e os últimos progressos da equipe. Destaque da apresentação: • A frota de veículos da Tesla pode fornecer 500 anos de dados de direção todos os dias. Maldição da Dimensionalidade: • 8 câmeras em alta taxa de quadros = bilhões de tokens por 30 segundos de contexto de condução. • Tesla deve comprimir e extrair as correlações corretas entre a entrada sensorial e as ações de controle. Vantagem de dados: • A Tesla tem acesso a uma "Catarata do Niágara de dados" – centenas de anos de condução coletiva de frotas. • Usa gatilhos de dados inteligentes para capturar casos raros (por exemplo, interseções complexas, comportamento imprevisível). Qualidade e eficiência: • Extrai apenas os dados essenciais necessários para treinar modelos com eficiência. Depuração e interpretabilidade: • Mesmo que o sistema seja de ponta a ponta, a Tesla ainda pode solicitar que o modelo produza dados interpretáveis: Ocupação 3D, limites de estradas, objetos, sinais, semáforos, etc. • Consulta de linguagem natural: pergunte ao modelo por que ele tomou uma determinada decisão. • Essas previsões auxiliares não dirigem o carro, mas ajudam os engenheiros a depurar e garantir a segurança. Splatting Gaussiano Avançado de Tesla (Modelagem de Cena 3D): • A Tesla desenvolveu um sistema de splatting gaussiano personalizado e ultrarrápido para reconstruir cenas 3D a partir de visualizações limitadas da câmera. • Produz renderizações 3D nítidas e precisas, mesmo a partir de poucos ângulos de câmera - muito melhor do que as abordagens padrão de NeRF/respingos. • Permite a rápida depuração visual do ambiente de condução em 3D. Avaliação e Modelos do Mundo: • A avaliação é o desafio mais difícil: os modelos podem ter um bom desempenho offline, mas falhar em condições do mundo real. • A Tesla cria conjuntos de dados de avaliação equilibrados e diversificados com foco em casos extremos - não apenas na condução fácil em rodovias. Introduziu um simulador de mundo aprendido (mecanismo de vídeo gerado por rede neural): • Pode simular 8 feeds de câmera Tesla simultaneamente - totalmente sintético. • Usado para testes, treinamento e aprendizado por reforço. • Permite a injeção de eventos contraditórios (por exemplo, adicionar um pedestre ou veículo cortando). • Permite reproduzir falhas passadas para verificar novas melhorias no modelo. • Pode ser executado quase em tempo real, permitindo que os testadores "dirijam" dentro de um mundo simulado. O que vem a seguir: • Dimensionar o serviço de robotaxi globalmente. • Desbloqueie autonomia total em toda a frota da Tesla. • Cybercab: veículo de 2 lugares de última geração projetado especificamente para uso em robotáxis, visando o menor custo de transporte (mais barato que o transporte público). • As mesmas redes neurais alimentarão o robô humanóide Optimus. • O mesmo sistema de geração de vídeo está sendo aplicado ao Optimus. • O sistema pode simular e planejar o movimento de robôs, adaptando-se facilmente a novas formas. através da Conferência Internacional sobre Visão Computacional (ICCV). Apresentação completa: