阶段四：推理引擎

第19课：推理调度器

📖 课程概述

推理调度器是NPU的'大脑'——逐层调度计算、管理缓冲区分配、处理层间依赖。本课实现层调度FSM和缓冲区生命周期管理。

🔍 层调度策略

策略延迟内存适用
逐层高最小小模型
流水线低大大模型
混合中中通用
缓冲区分配：下一层的输入=上一层的输出(ping-pong复用)。ResNet-50需要约8个缓冲区循环使用。

💻 Verilog实现

5态FSM：IDLE→ALLOC(分配buf)→EXEC(等待层完成)→NEXT(推进层)→DONE。缓冲区循环分配，自动释放不再使用的buf。

📈 性能分析

逐层调度开销~10周期/层。50层模型额外开销<500周期，相比计算时间可忽略。

🧪 练习

1) 添加ResNet跳跃连接的缓冲区管理 2) 实现双路并行调度 3) 设计缓冲区大小自适应分配

🔬 层间数据流分析

理解层间数据流对调度器设计至关重要：

CNN的层间数据依赖

缓冲区生命周期管理

每个缓冲区有明确的分配和释放时间点：

缓冲区分配时机释放时机生命周期
IFM_buf[i]层i开始前层i完成后(无跳跃连接)1层
OFM_buf[i]层i执行中层i+1完成后1-2层
Shortcut_buf残差块入口残差块Add完成2-3层

📊 不同网络的调度效率

网络层数跳跃连接数最小缓冲区数调度开销
VGG-161602<0.1%
ResNet-1818840.2%
ResNet-50501660.3%
DenseNet-12112112064+5%+
🏆

成就解锁：推理调度器

完成本课后，你已掌握 推理调度器 的核心概念与硬件实现方法。

🔬 第19课扩展内容：设计权衡与工程实践

本节补充该主题的工程实践细节和设计权衡分析：

设计决策清单

决策点选项A选项B选择依据
数据位宽INT8(4 GOPS/mm²)INT16(1 GOPS/mm²)精度要求vs面积效率
阵列大小8×8(利用率高)32×32(峰值高)目标矩阵尺寸范围
存储容量64KB(面积小)256KB(大工作集)目标网络的工作集
精度格式定点(高效)浮点(灵活)是否需要训练能力
控制方式FSM(快速)微码(灵活)支持的层类型数量

性能优化技巧

验证方法

// 验证步骤：
// 1. Verilator --lint-only 静态检查
// 2. 编写testbench：输入已知数据，对比预期输出
// 3. 与Python/NumPy参考实现对比
// 4. 边界条件测试：零输入、最大值、溢出场景
// 5. 回归测试：修改代码后重新运行所有测试
//
// 示例testbench结构：
// module tb_xxx;
//   reg clk, rst_n;
//   // ... 信号声明
//   initial begin
//     clk = 0; forever #5 clk = ~clk;
//   end
//   initial begin
//     rst_n = 0; #20 rst_n = 1;
//     // 输入测试向量
//     // 等待输出
//     // 检查结果
//     $display("PASS/FAIL");
//     $finish;
//   end
// endmodule

与前后课程的关联

推荐阅读与参考

🔧 第19课：实现细节与调试指南

本节提供该模块的详细实现指南、常见bug和调试方法：

模块接口定义

每个模块应遵循统一的接口规范：

// 标准模块接口模板：
// module xxx #(
//   parameter DATA_W = 16,
//   parameter ...
// )(
//   input  wire                  clk,      // 时钟
//   input  wire                  rst_n,    // 异步复位，低有效
//   input  wire                  en,       // 模块使能
//   // 数据输入
//   input  wire [DATA_W-1:0]     data_in,
//   input  wire                  data_valid,
//   // 数据输出
//   output reg  [DATA_W-1:0]     data_out,
//   output reg                   data_out_valid,
//   // 状态
//   output wire                  busy,
//   output wire                  error
// );
//
// 设计规则：
// 1. 所有时序逻辑使用posedge clk
// 2. 复位使用异步复位(negedge rst_n)
// 3. 参数化设计，便于配置
// 4. valid-ready握手协议
// 5. 每个模块有独立的en信号

常见Bug与解决方案

症状可能原因调试方法解决方案
输出全零复位后未初始化检查复位逻辑确保复位释放后en有效
数据错位流水线级数不匹配波形对比输入输出对齐valid信号延迟
溢出累加器位宽不够监测累加器最高位增加位宽或加饱和逻辑
死锁valid-ready互等追踪握手信号确保下游始终能接收
时序违例组合逻辑路径太长查看综合报告插入流水线寄存器

Verilator验证步骤

// Step 1: 语法检查
// verilator --lint-only module.v
//
// Step 2: 编写Testbench
// module tb;
//   reg clk, rst_n;
//   // 实例化DUT
//   // 生成测试向量
//   // 自动比对结果
// endmodule
//
// Step 3: 编译仿真
// verilator --cc module.v tb.v
// make -C obj_dir -f Vmodule.mk
// ./obj_dir/Vmodule
//
// Step 4: 波形调试(如果需要)
// verilator --trace --cc module.v tb.v
// 在testbench中: $dumpfile("wave.vcd"); $dumpvars;

性能优化checklist

与其他模块的集成

// 模块集成清单：
// 1. 确认接口信号匹配(位宽、协议)
// 2. 时钟域是否一致(跨域需FIFO)
// 3. 复位策略是否统一
// 4. 信号命名是否规范
// 5. 是否有环路依赖(需打破)
// 6. 参数是否正确传递

🔧 调度器的层次化设计

层次化调度架构

复杂推理引擎需要层次化的调度设计：

// 层次化调度：
// Level 1: 网络级调度
//   - 确定层的执行顺序
//   - 处理分支/残差/concat
//   - 全局缓冲区分配
//
// Level 2: 层级调度
//   - 将层分解为计算块(tile)
//   - 确定每个tile的数据源/目的
//   - 局部缓冲区管理
//
// Level 3: PE级调度
//   - 确定每个PE的计算任务
//   - 数据路由和时序控制
//   - 部分和累加管理
//
// 每级调度独立FSM，通过消息/寄存器通信

📋 本课关键概念总结

概念定义硬件影响
计算密度FLOPs/访存字节数决定计算/带宽受限
数据复用同一数据被多个PE使用减少DRAM访问次数
流水线多级操作重叠执行提高吞吐量，增加延迟
双缓冲两组缓冲区交替使用隐藏数据加载延迟
分块计算大矩阵分成小块处理适配有限片上存储
饱和算术溢出时钳位到极值防止精度崩溃
时钟门控空闲模块关闭时钟降低动态功耗

🎯 学习目标检查

📚 拓展阅读

下一课预告：本课掌握的知识将在下一课中进一步深化。建议先完成练习，确保理解核心概念后再继续。

🔬 深入探讨：从理论到实践的映射

将算法原理映射到硬件实现时，需要解决多个层次的抽象差距：

算法→微架构映射原则

  1. 计算并行化：识别算法中的数据并行性和流水线并行性，映射到PE阵列
  2. 存储层次化：根据数据生命周期和复用模式，分配到不同存储层次
  3. 通信局部化：减少全局通信，使用局部传递和广播
  4. 控制简化：将复杂控制流简化为有限状态机

硬件设计的Pareto最优

硬件设计没有唯一最优解，只有Pareto前沿上的多个平衡点：

设计点面积(mm²)功耗(mW)算力(GOPS)能效比
最小面积0.5103.2320
平衡设计2.05025.6512
最高性能5.0200102.4512
最低功耗1.056.41280

验证驱动开发(VDD)

先写testbench，再写RTL，确保每个功能都有对应的测试：

// 验证驱动开发流程：
// 1. 根据规格编写testbench框架
// 2. 定义输入输出接口和预期行为
// 3. 编写RTL代码使测试通过
// 4. 添加边界条件测试
// 5. 添加随机化测试(约束随机)
// 6. 覆盖率分析确保测试充分
//
// 优势：
// - 减少bug引入率
// - 测试即文档
// - 重构有安全网
// - 提高设计质量

功耗-性能-面积(PPA)优化循环