【新智元导读】DeepSeek最新论文深入剖析了V3/R1的开发历程，揭示了硬件与大语言模型架构协同设计的核心奥秘。论文展示了如何突破内存、计算和通信瓶颈，实现低成本、高效率的大规模AI训练与推理。不仅总结了实践经验，还为未来AI硬件与模型协同设计提出了建议。

刚刚，DeepSeek再爆新论文！

论文并没有重复DeepSeek-V3的详细架构和算法细节。相反，它从硬件架构和模型设计双重视角出发，探讨两者如何相互配合，以实现低成本的大规模训练和推理。

具体来说，论文聚焦以下内容：

• 
  

  硬件驱动的模型设计：分析硬件特性（如FP8低精度计算和纵向/横向扩展网络属性）如何影响DeepSeek-V3的架构选择。

  
  

• 
  

  硬件与模型的相互依赖：研究硬件能力如何推动模型创新，以及LLMs不断增长的需求如何驱动下一代硬件的发展。

  
  

• 
  

  未来硬件发展方向：从DeepSeek-V3中提炼出实用见解，指导未来硬件与模型架构的协同设计，为可扩展、成本效益高的AI系统铺平道路。

  
  

论文地址：https://www.arxiv.org/pdf/2505.09343

近年来，随着大语言模型（LLMs）的快速发展，暴露了当前许多硬件方面的挑战，包括内存容量、计算效率和互联带宽的瓶颈。

DeepSeek-V3使用2048个NVIDIA H800 GPU进行训练，展示了硬件与模型协同设计可以有效应对这些挑战，实现大规模的高效训练和推理。

文章深入分析了DeepSeek-V3/R1模型架构及其AI基础设施，介绍了其中的关键创新，例如：

• 
  

  多头潜注意力机制（MLA），提升内存效率；

  
  

• 
  

  混合专家（MoE）架构，优化计算与通信的平衡；

  
  

• 
  

  FP8混合精度训练，充分发挥硬件性能；

  
  

• 
  

  多平面网络拓扑，减少集群级网络开销。

  
  

基于DeepSeek-V3开发中遇到的硬件瓶颈，研究团队与学术界和工业界的同行展开了更广泛的讨论，这些方向包括精确的低精度计算单元、纵向扩展与横向扩展的融合，以及低延迟通信网络/架构的创新。

这些交流表明，硬件与模型的协同设计在应对AI工作负载不断增长的需求中至关重要。

DeepSeek特别证明了有效的软硬件协同设计可以使大模型的高效训练成为可能，为小团队创造了公平的竞争环境。

DeepSeek模型的设计原则

DeepSeek-V3的开发体现了硬件导向的LLM设计理念，每项设计决策都紧密结合硬件限制，以优化性能和成本效率。

如图1所示，DeepSeek-V3采用了在DeepSeek-V2中验证有效的DeepSeek-MoE（混合专家架构）和多头潜在注意力（MLA）架构。