押注大模型定义芯片：这家国产芯片公司三年造芯，八个月出货20万颗！

车东西 作者 ｜ Janson 编辑 ｜ 志豪 一家成立三年的国产芯片公司，首款芯片量产8个月，累计出货超过20万颗。 芯东西10月30日消息，日前， XHEART新芯航途在苏州正式亮相，并发布旗舰产品X7 Ultra，拥有700TOPS大模型算力。 与单纯提高芯片算力不同，XHEART选择了“大模型定义芯片”的前瞻技术路线，即根据大模型的计算需求设计芯片架构，让芯片更高效地运行大模型。 ▲X7 Ultra核心参数一览 按照XHEART披露的数据，X7 Ultra在真实量产智驾模型实测中，芯片的计算利用率达到98.7%，在大模型性能相当的条件下，相比行业旗舰产品，内存带宽消耗下降80%。 通过优化计算架构和数据搬运效率，X7 Ultra还实现了10倍模型参数释放。 这些数据背后，是智驾芯片乃至大模型芯片面临的一项重要变化。 随着端到端大模型加速上车，芯片不仅要提供更高算力，还要解决模型运行时的数据搬运、存储带宽和功耗问题。 XHEART希望通过创新的超大核NPU架构和原生软硬件协同，提高芯片的实际计算效率。 一、智驾大模型上车 芯片不能只靠堆算力 端到端大模型正在改变智能驾驶系统的计算方式。 过去，智能驾驶主要依靠感知、预测、规划等不同模块分别处理任务，每个模块运行对应的算法模型。 如今，端到端大模型将更多任务整合进大型神经网络，模型规模和计算复杂度不断提升，对车端芯片的要求也随之改变。 芯片的算力越来越高，但模型不一定能充分利用这些算力。 大模型完成一次计算后，可能需要将结果写入外部内存，后续运算再将其读取出来。 如果数据频繁在计算单元与内存之间往返，即使芯片拥有很高的算力，也会有大量时间消耗在数据传输上。 这就是芯片设计中常说的“内存墙”问题。 与此同时，数据搬运也需要消耗电力。对于空间、功耗和散热条件有限的汽车来说，数据访问效率直接影响整个智驾计算平台的性能和成本。 因此，芯片厂商除了提高TOPS，还需要考虑如何让计算单元更快获得数据、减少内存访问，以及降低运行功耗。 另一个问题是，芯片的研发周期远长于算法的迭代周期。 一颗芯片从设计到量产通常需要数年，而算法在此期间可能已经更新多个版本。 如果只按照当前模型设计芯片，产品量产时就可能面临新的算法需求。 ▲大模型定义芯片 XHEART在2023年立项时便选择了另一种思路，先研究大模型需要怎样的计算和存储能力，再据此设计芯片架构。 按照这一思路，算法团队会提前参与芯片的技术定义，研究未来模型的计算特征、数据访问方式和关键算子需求。 芯片团队则根据这些信息，确定NPU架构、存储层次、数据通路以及软件工具链的设计方案。 XHEART将其称为“大模型定义芯片”。 这条路线的核心，是将算法与硬件的协同优化提前到芯片设计阶段，让芯片架构从一开始就围绕大模型的运行需求展开。 二、超大核NPU登场 X7 Ultra怎么提高有效算力？ X7 Ultra采用的超大核NPU，是实现“大模型定义芯片”这一技术思路的关键。 对于大型Transformer模型，如果采用多个小型计算核心共同运行，模型可能需要拆分成不同部分，在多个核心之间分配计算任务。 这样虽然可以利用多个计算核心，但不同核心之间需要交换数据，还可能涉及额外的任务调度和中间结果存储。 XHEART选择将更多计算任务集中在超大核内部，尽量让完整的端到端大模型在一个大核中运行，减少跨核心的数据交换。 根据XHEART公布的技术方案，X7 Ultra将传统小核之间百GB/s级的数据交互，整合至超大核内部TB/s级的高速互联，让数据能够在芯片内部更快地流动。 ▲超大核NPU设计 不过，把计算核心做大只是第一步，如何减少不必要的数据搬运同样重要。 大模型运行时，会频繁执行Layer Norm（层归一化）、Transpose（转置）、Summation（求和）等运算。 这些运算本身未必需要特别高的算力，但如果每次都需要读取外部内存中的数据，再将计算结果写回，就会占用大量存储带宽。 为此，XHEART针对这些高频算子优化了片内数据处理路径，并配置专用加速单元。 部分计算可以直接在芯片内部完成，甚至无需离开寄存器，从而减少对外部DDR内存的访问。 这样做有两个好处，一是缩短数据传输时间，让计算单元减少等待，二是降低数据读写产生的功耗，减轻整个计算平台的散热压力。 除了数据访问， X7 Ultra还对NPU内部的计算方式进行了优化。 在大模型推理过程中，计算单元需要不断加载模型权重。如果必须等权重全部加载完成后才能进行下一步计算，就会出现计算资源闲置。 X7 Ultra通过软硬件协同优化任务调度，让计算与权重加载并行进行，使更多计算单元能够同时工作。 按照XHEART公布的量产智驾大模型实测结果，X7 Ultra的计算利用率达到98.7%。 ▲X7 U