本文整理了自动驾驶领域World Model相关的实用开源

自动驾驶 World Model（世界模型）相关的开源项目其实已经不少，但大部分还在 研究级别（paper + code）。我给你整理一个 真正能跑 / 有代码 / 研究价值高的开源项目列表，并按技术路线分类。

一、3D Occupancy 世界模型（最主流）

这一类是现在 自动驾驶研究最主流路线。

1️⃣ OccWorld

OccWorld

特点：

• 3D occupancy world model

• 同时预测

  • future scene

  • ego trajectory

• 支持自监督训练

能力：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              past occupancy → future occupancy
             
            
           
          
         
        
      
     
     

      

     
    
   
  

例如预测：

• 车辆运动

• 行人运动

• 可行驶区域变化

代码：

• GitHub：wzzheng/OccWorld

研究价值：

• 非常接近 Tesla Occupancy Network 路线

GitHub

2️⃣ Drive-OccWorld

Drive-OccWorld

特点：

• 4D occupancy预测

• 可以结合规划

• 支持 action-conditioned generation

结构：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              camera → BEV → world model → future occupancy
             
            
           
          
         
        
      
     
     

      

     
    
   
  

可以生成：

• lane change

• pedestrian crossing

• vehicle following

并且可以 直接接 planner。 drive-occworld.github.io

二、Video / Generative 世界模型

这一类更像 Wayve / OpenAI 的 generative world model。

3️⃣ DrivingWorld

DrivingWorld

特点：

• Video GPT world model

• 输入

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              image sequence + ego state
             
            
           
          
         
        
      
     
     

      

     
    
   
  

输出

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              future driving video
             
            
           
          
         
        
      
     
     

      

     
    
   
  

能力：

• 生成 40秒未来驾驶视频

• 根据车辆动作生成不同场景

结构：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              video → token → transformer → future video
             
            
           
          
         
        
      
     
     

      

     
    
   
  

研究意义：

• 自动驾驶版 Sora / world simulation

Xiaotao Hu

三、World Model + RL 平台

如果你想 自己训练世界模型，这些更有价值。

4️⃣ CarDreamer

CarDreamer

特点：

这是一个 专门做 world model 自动驾驶训练的平台。

功能：

• world model backbone

• driving RL tasks

• Gym接口

• 可视化服务器

架构：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              sensor 
              

               ↓ 
              

               world model 
              

               ↓ 
              

               RL policy 
              

               ↓ 
              

               vehicle control
             
            
           
          
         
        
      
     
     

      

     
    
   
  

作用：

• 研究 Dreamer / MuZero 类自动驾驶

arXiv

四、World Model 仿真系统

世界模型很多时候用于 生成训练世界。

5️⃣ ScenarioNet

ScenarioNet

特点：

• 大规模交通场景生成

• 从真实数据集生成 digital twin

支持数据：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              Waymo 
              

               nuScenes 
              

               Lyft 
              

               nuPlan
             
            
           
          
         
        
      
     
     

      

     
    
   
  

作用：

• world model training

• scenario simulation

• RL training

arXiv

五、前沿研究项目（部分开源）

研究界还在做很多 world model：

来自 Awesome World Model 列表：

DriveDreamer

MagicDrive

ViDAR

Drive-WM

Think2Drive

这些项目主要做：

• diffusion world model

• neural driving simulator

• latent world model

Awesome Lists+1

六、如果你要自己做世界模型（推荐路线）

结合你的背景：

• 机器人

• SLAM

• 自动驾驶

我建议你研究 三条路线：

路线1（最实用）

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              BEV world model
             
            
           
          
         
        
      
     
     

      

     
    
   
  

典型：

• OccWorld

• Drive-OccWorld

路线2（未来方向）

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              latent world model
             
            
           
          
         
        
      
     
     

      

     
    
   
  

结构：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              encoder 
              

               latent world state 
              

               predict future latent 
              

               decode
             
            
           
          
         
        
      
     
     

      

     
    
   
  

类似：

• Dreamer

• MuZero

路线3（生成世界）

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              video diffusion world model
             
            
           
          
         
        
      
     
     

      

     
    
   
  

例如：

• DrivingWorld

• DriveDreamer

七、最值得研究的 5 个项目（推荐）

如果你只看 5 个：

1️⃣ OccWorld
2️⃣ Drive-OccWorld
3️⃣ DrivingWorld
4️⃣ CarDreamer
5️⃣ MagicDrive

这五个基本覆盖：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              occupancy 
              

               video 
              

               diffusion 
              

               RL world model
             
            
           
          
         
        
      
     
     

      

     
    
   
  

???? 一个非常关键的现实判断（很多人不知道）：

自动驾驶世界模型 目前最大的问题不是算法，而是数据规模。

Wayve 的 GAIA-1：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              4700小时真实驾驶数据 
              

               9B参数
             
            
           
          
         
        
      
     
     

      

     
    
   
  

所以未来趋势其实是：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              Driving Foundation Model
             
            
           
          
         
        
      
     
     

      

     
    
   
  

类似：

  

   

    

     

      

       

        

         

          
         
         

          

           

            

             

              GPT for driving
             
            
           
          
         
        
      
     
     

      

     
    
   
  

如果你愿意，我可以再给你一份 自动驾驶世界模型 GitHub Top20 项目清单（含 star 数 + 技术路线）。

这份列表基本就是 全球做自动驾驶 world model 的核心代码库。