知合计算：RISC-V跑大模型，如何攻克端侧碎片化挑战？

在第五届RISC-V中国峰会人工智能分论坛上，知合计算解决方案总监黄怡皓介绍了大模型在RISC-V架构上的技术创新与应用。

虽然当前AI模型百花齐放，但核心算子却逐渐趋同。从GPT-2到千问、DeepSeek R1，Transformer基础结构变化不大，关键算子稳定集中于21、22个。对DeepSeek 7B模型分析显示：MatMul单一算子约占95%的计算量，这也反映了算力集中化趋势。

黄怡皓表示，RISC-V凭借开源可扩展特性，通过集成AME指令，可实现对MatMul算子的硬件级优化——11个核心算子中的8个可通过AME加速。值得注意的是，模型创新除了架构层面的微创新之外，算子的数据格式也在进行调整。

通推一体架构能够实现端侧SoC通用计算与AI负载的硬件级融合。 通过统一特征提取层（图像/视频/文本）标准化处理流水线，使异构任务（OCR分析、人物分类、视频流处理、交互搜索）收敛至同构计算路径，该设计能够解决端侧应用碎片化导致的资源调度困难。

知合计算的首代通推一体CPU产品A210，支持Transformer架构，具有8核CPU、12 TOPS算力，通过自研Torq架构、Zmedia架构，能够实现算子抽象、多媒体抽象。

根据现场的一段视频演示，A210芯片在标准化的AI场景，比如点餐系统应用，它能够实现认知级突破，成功解析一些复合指令，替代传统的分步处理流程。同时，其模糊搜索功能依托大模型的泛化能力，在未进行专项训练的条件下，能够精准定位视频关键帧（如蜘蛛侠变身瞬间、火灾起火点），实现跨场景目标检索。

黄怡皓强调，这些实践应用也证明，大模型算子统一在一定程度上为RISC-V提供了生态红利，在矩阵/向量计算层与Arm处在同一起跑线，利用其开源特性加速算子优化进程。“AI能力正在从识别向认知演进，推动通用计算与新型AI能力的深度融合是未来的关键方向”，他补充。