第19课：路由器流水线

1. 流水线设计回顾

NoC路由器流水线决定了头flit的延迟和路由器的最大频率。经典4阶段流水线(BW→RC→SA→ST)头flit延迟为4 cycles，后续flit每cycle一个。

2. 流水线优化技术

2.1 推测执行(Speculation)

在VC分配结果未知时，推测性地进行开关分配。如果推测成功(ST完成)，节省1 cycle；如果失败，下个cycle重试。在高负载下，推测成功率约80%。

2.2 路径前瞻(Lookahead Routing)

在前一跳就计算好下一跳的路由，头flit到达时直接使用预计算结果，省去RC阶段。

2.3 旁路(Bypass)

当缓冲区为空且输出端口就绪时，flit直接旁路通过，跳过BW阶段。零负载下头flit只需2 cycles。

3. 各优化技术对比

4. Verilog实现

// 路径前瞻路由器 - 3阶段流水线
module lookahead_router #(
    parameter DATA_WIDTH = 32,
    parameter NUM_PORTS  = 5,
    parameter X_WIDTH    = 3,
    parameter Y_WIDTH    = 3
)(
    input  logic                  clk, rst_n,
    input  logic [X_WIDTH-1:0]    my_x, my_y,
    input  logic [DATA_WIDTH-1:0] in_data  [0:NUM_PORTS-1],
    input  logic [1:0]            in_flit_type [0:NUM_PORTS-1],
    input  logic [X_WIDTH-1:0]    in_dst_x [0:NUM_PORTS-1],
    input  logic [Y_WIDTH-1:0]    in_dst_y [0:NUM_PORTS-1],
    input  logic [2:0]            in_next_route [0:NUM_PORTS-1],
    input  logic                  in_valid [0:NUM_PORTS-1],
    output logic                  in_ready [0:NUM_PORTS-1],
    output logic [DATA_WIDTH-1:0] out_data  [0:NUM_PORTS-1],
    output logic [1:0]            out_flit_type [0:NUM_PORTS-1],
    output logic [2:0]            out_next_route [0:NUM_PORTS-1],
    output logic                  out_valid [0:NUM_PORTS-1],
    input  logic                  out_ready [0:NUM_PORTS-1]
);
    // 前瞻路由: 为下一跳预计算路由
    logic [2:0] next_hop_route [0:NUM_PORTS-1];

    always_comb begin
        for (int p = 0; p < NUM_PORTS; p++) begin
            // 使用预计算的路由(来自前一跳)
            // 同时为下一跳计算新路由
            next_hop_route[p] = in_next_route[p];
        end
    end

    // 流水线: BW → SA → ST (3阶段)
    // SA和ST阶段简化
    for (genvar p = 0; p < NUM_PORTS; p++) begin : gen_out
        assign out_data[p]  = in_data[p];
        assign out_flit_type[p] = in_flit_type[p];
        assign out_next_route[p] = next_hop_route[p];
        assign out_valid[p] = in_valid[p];
        assign in_ready[p]  = out_ready[p];
    end
endmodule

5. 练习

5. 流水线设计的深入分析

路由器流水线的深度和结构直接影响NoC的整体性能。以下是更深入的分析：

5.1 流水线冒险(Hazard)

NoC路由器流水线可能遇到以下冒险：

• 结构冒险：多个flit争用同一交叉开关端口 → 开关分配器解决
• 资源冒险：输出VC已满 → 流控背压解决
• 路径冒险：虫孔路径被占用 → VC或VCT解决

5.2 流水线寄存器的插入

在高频率设计中(>1.5GHz)，可能需要在路由器内部插入额外的流水线寄存器：

5.3 流水线频率与延迟的权衡

5.4 Speculation的成功率分析

推测执行的VC分配成功率取决于负载：

• 低负载(<30%)：成功率>95%，节省显著
• 中负载(30-60%)：成功率80-90%，仍有收益
• 高负载(>60%)：成功率<70%，可能不划算

6. 路由器流水线的时序优化详解

流水线的时序优化是提高路由器频率的关键。以下是详细的优化方法：

6.1 关键路径分析

4阶段流水线的典型关键路径：

6.2 时序收敛策略

• 逻辑重构：平衡组合逻辑深度
• 寄存器插入：在长路径中插入流水线寄存器
• 物理优化：调整布局使关键路径的单元靠近
• 多阈值电压：关键路径用低Vt(快但漏电大)

7. 流水线设计的完整工程案例

以下是一个完整的3阶段推测流水线路由器的关键设计决策记录：

7.1 设计规格

7.2 关键路径优化

初始关键路径：SA→ST = 1.2ns (fmax=830MHz)，不满足1.5GHz目标。

优化措施：①SA预计算(空闲时计算下一轮优先级)→关键路径0.9ns；②Xbar寄存器→关键路径0.7ns；③联合优化→最终0.65ns (fmax=1.54GHz)。

7.3 推测策略

VA和SA同时进行(推测VA成功)。推测失败时(约15%概率)，SA结果作废，下个cycle重试。净效果：头flit延迟从4 cycles降至3 cycles，有效延迟=3×0.85+4×0.15=3.15 cycles。

8. 流水线设计的完整实现模板

以下是一个可综合的3阶段流水线路由器模板：

// 可综合3阶段流水线路由器模板
module pipeline_router_3stage #(
    parameter DATA_WIDTH = 32,
    parameter NUM_PORTS  = 5,
    parameter BUF_DEPTH  = 4
)(
    input  logic clk, rst_n,
    // 端口信号...
    input  logic [DATA_WIDTH-1:0] in_data  [0:NUM_PORTS-1],
    input  logic                  in_valid [0:NUM_PORTS-1],
    output logic                  in_ready [0:NUM_PORTS-1],
    output logic [DATA_WIDTH-1:0] out_data [0:NUM_PORTS-1],
    output logic                  out_valid[0:NUM_PORTS-1],
    input  logic                  out_ready[0:NUM_PORTS-1]
);
    // ===== Stage 1: BW + RC =====
    logic [DATA_WIDTH-1:0] s1_data  [0:NUM_PORTS-1];
    logic [2:0]            s1_route [0:NUM_PORTS-1];
    logic                  s1_valid [0:NUM_PORTS-1];

    // BW: 写入缓冲区 + RC: 同时计算路由
    for (genvar p = 0; p < NUM_PORTS; p++) begin : gen_s1
        always_ff @(posedge clk or negedge rst_n) begin
            if (!rst_n) s1_valid[p] <= 1'b0;
            else if (in_valid[p] && in_ready[p]) begin
                s1_data[p]  <= in_data[p];
                s1_valid[p] <= 1'b1;
                // RC: 在此计算路由(从data中提取目的地址)
                s1_route[p] <= in_data[p][2:0]; // 简化
            end else s1_valid[p] <= 1'b0;
        end
    end

    // ===== Stage 2: VA + SA =====
    logic [DATA_WIDTH-1:0] s2_data  [0:NUM_PORTS-1];
    logic [2:0]            s2_route [0:NUM_PORTS-1];
    logic                  s2_valid [0:NUM_PORTS-1];

    for (genvar p = 0; p < NUM_PORTS; p++) begin : gen_s2
        always_ff @(posedge clk or negedge rst_n) begin
            if (!rst_n) s2_valid[p] <= 1'b0;
            else begin
                s2_data[p]  <= s1_data[p];
                s2_route[p] <= s1_route[p];
                s2_valid[p] <= s1_valid[p];
            end
        end
    end

    // ===== Stage 3: ST =====
    for (genvar p = 0; p < NUM_PORTS; p++) begin : gen_s3
        assign out_data[p]  = s2_data[p];
        assign out_valid[p] = s2_valid[p];
        assign in_ready[p]  = out_ready[p]; // 简化
    end
endmodule

9. 流水线设计的完整案例研究

以下是一个实际项目中的流水线设计案例：

9.1 项目背景

设计一个8×8 Mesh NoC用于64核AI加速器。要求：头flit延迟<15 cycles，最大频率1.2GHz(28nm工艺)。

9.2 设计迭代

• 第一版：4阶段流水线，综合后fmax=0.9GHz → 不满足
• 第二版：3阶段推测流水线，综合后fmax=1.1GHz → 接近
• 第三版：3阶段+SA预计算，综合后fmax=1.3GHz → ✅满足

9.3 关键设计决策

选择3阶段而非4阶段的原因：64核系统中头flit延迟至关重要。3阶段头flit3 cycles/hop × 7跳(最大) = 21 cycles，勉强达标。4阶段则需28 cycles，超标。

10. 流水线频率优化总结

路由器流水线频率优化的最佳实践：

• SA是关键路径，优化SA→最大频率提升
• 推测执行在低-中负载下总是有益
• 路径前瞻可节省1 cycle(无需RC阶段)
• 旁路在低负载下将延迟降至2 cycles
• 联合优化SA+Xbar比单独优化更有效

附录：本课关键概念速查

本课涵盖了NoC设计的核心知识点。以下是关键概念的快速参考：

• 片上网络(NoC)：用路由器+链路替代总线的片上互联架构
• 路由器：5端口交换节点，包含缓冲/路由/仲裁/交叉开关
• 虚拟通道(VC)：物理链路的逻辑分割，用于避免死锁和提升吞吐
• 信用流控：通过信用计数器精确管理缓冲区资源
• XY路由：先X后Y的确定性路由，天然无死锁
• 虫孔交换：头flit建立路径，后续flit流水传输
• Round-Robin仲裁：轮转优先级，保证公平性
• 交叉开关：N×N全连接互连矩阵

掌握这些概念是深入理解NoC设计的基础。建议结合Verilog代码实践，加深理解。