阶段2:滤波增强

第11课:降噪(时域/空域)

时域帧平均与空域中值滤波降噪算法及硬件实现

降噪算法概述

时域递归滤波:Out(t)=alpha*In(t)+(1-alpha)*Out(t-1),alpha越小降噪越强但运动拖影越严重。空域中值滤波:取窗口内像素中值,能有效去除椒盐噪声。3x3中值排序网络仅需19次比较。空时联合降噪结合两者优势。

Verilog实现

// 第11课:降噪 - 时域递归+空域中值
module denoise #(parameter DATA_W=8, IMG_W=640)(
    input  wire                clk, rst_n,
    input  wire                valid_in,
    input  wire [DATA_W-1:0]   data_in,
    input  wire                sof_in, eol_in,
    input  wire [7:0]          t_alpha,
    input  wire                enable,
    output reg                 valid_out,
    output reg  [DATA_W-1:0]   data_out
);
    reg [DATA_W-1:0] fbuf [0:IMG_W*480-1]; reg [19:0] paddr;
    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) paddr<=0; else if (sof_in) paddr<=0; else if (valid_in && paddr<IMG_W*480) paddr<=paddr+1;
    end
    reg signed [17:0] tr;
    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) tr<=0; else if (valid_in)
            tr<=$signed({1'b0,data_in})*$signed({1'b0,t_alpha})+$signed({1'b0,fbuf[paddr]})*$signed({1'b0,8'hFF-t_alpha});
    end
    reg [DATA_W-1:0] tp;
    always @(*) begin if(tr[17]) tp=0; else if(|tr[17:15]) tp=8'hFF; else tp=tr[14:7]; end
    always @(posedge clk) begin if (valid_in) fbuf[paddr]<=enable?tp:data_in; end
    // Median 3x3 (simplified)
    reg [DATA_W-1:0] lb0[0:IMG_W-1],lb1[0:IMG_W-1]; reg [11:0] mc;
    reg [DATA_W-1:0] m00,m01,m02,m10,m11,m12,m20,m21,m22;
    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) mc<=0; else if (valid_in) mc<=(sof_in||mc==IMG_W-1)?0:mc+1;
    end
    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) {m00,m01,m02,m10,m11,m12,m20,m21,m22}<='0;
        else if (valid_in) begin
            lb1[mc]<=lb0[mc]; lb0[mc]<=tp;
            m00<=m01;m01<=m02;m02<=lb1[mc]; m10<=m11;m11<=m12;m12<=lb0[mc];
            m20<=m21;m21<=m22;m22<=tp;
        end
    end
    function automatic [DATA_W-1:0] mid3; input [DATA_W-1:0] a,b,c; reg [DATA_W-1:0] lo,hi,md;
        begin lo=(a<b)?a:b; hi=(a<b)?b:a; md=(c<lo)?lo:(c>hi)?hi:c; mid3=md; end
    endfunction
    reg [DATA_W-1:0] mr0,mr1,mr2,mv;
    always @(*) begin mr0=mid3(m00,m01,m02); mr1=mid3(m10,m11,m12); mr2=mid3(m20,m21,m22); mv=mid3(mr0,mr1,mr2); end
    always @(posedge clk or negedge rst_n) begin
        if (!rst_n) begin valid_out<=0;data_out<=0; end
        else begin valid_out<=valid_in; data_out<=enable?mv:data_in; end
    end
endmodule

Verilator验证通过 — 本课Verilog代码已通过 Verilator --lint-only 检查。

仿真验证

练习

  1. 扩展模块功能
  2. 优化资源使用
  3. 仿真验证关键场景

成就解锁

深入理解:降噪(时域/空域)进阶

本节深入探讨降噪(时域/空域)在FPGA实现中的关键设计决策和优化策略。

时序与流水线设计

视频处理模块的时序设计需要考虑以下因素:

资源优化策略

FPGA资源有限,视频处理模块需要精心优化:

策略适用场景节省资源
时分复用乘法器像素时钟远低于系统时钟DSP 4~8x
移位替代乘法系数为2的幂次DSP 1个/次
CSD编码固定系数乘法DSP全部
查表替代计算非线性函数(sin,exp)逻辑大量
对称性利用FIR系数对称乘法器减半

定点精度分析

视频处理中定点运算的精度直接影响图像质量。分析方法:

  1. 最坏情况分析:追踪每个运算级的最大误差累积
  2. 统计方法:假设误差均匀分布,计算标准差
  3. 蒙特卡洛仿真:大量随机输入统计输出PSNR

8bit视频处理的经验法则:中间结果至少保留12bit,最终输出截断到8bit。

可配置参数设计

好的视频处理模块应该是参数化的:

验证策略

视频模块的完整验证包括:

与前后模块的接口

标准视频模块接口信号:

input  wire                clk, rst_n,     // 时钟复位
input  wire                valid_in,        // 输入有效
input  wire [DATA_W-1:0]   data_in,         // 输入数据
input  wire                sof_in, eol_in,  // 帧起始/行结束
output reg                 valid_out,       // 输出有效
output reg  [DATA_W-1:0]   data_out,        // 输出数据
output reg                 sof_out, eol_out // 帧起始/行结束

这种接口设计使模块可以自由级联,形成处理流水线。

功耗考虑

视频处理是持续运行的,功耗优化很重要:

进阶主题与优化

3D降噪(3DNR)是视频降噪的终极方案,在时空三维立方体上做滤波。3DNR的核心挑战是运动估计:找到当前帧像素在参考帧中的对应位置。简化3DNR使用块匹配(BME)做运动估计,3x3搜索范围需要9次SAD计算。BM3D算法是目前降噪质量的标杆,但硬件实现极其复杂。

时序优化

当像素时钟较高(如148.5MHz for 1080p)时,关键路径可能无法满足时序约束。优化方法:

面积优化

当FPGA资源紧张时,可以牺牲吞吐率换取面积:

功耗优化

视频处理模块持续运行,功耗优化很重要:

调试技巧

附录

关键术语表

术语英文说明
像素Pixel图像最小单元
Frame一帧完整图像
Field隔行扫描的半帧
消隐Blanking非有效视频区域
流水线Pipeline多级并行处理架构
定点数Fixed-point有限精度数值表示
饱和截断Saturation超出范围钳位到边界
行缓冲Line Buffer缓存一行像素的存储器
帧缓冲Frame Buffer缓存一帧图像的存储器
时序Timing视频同步信号参数

本课核心知识点

  1. 算法原理:理解降噪(时域/空域)的数学基础和物理意义
  2. 定点化:从浮点公式到Q格式定点实现
  3. 流水线设计:多级流水线平衡时序和面积
  4. Verilog实现:参数化、可配置、可验证的RTL代码
  5. 仿真验证:测试向量设计、边界条件覆盖

同阶段相关课程

前置知识

推荐阅读

Verilog编码检查清单

常见错误与调试

错误现象可能原因解决方法
输出全零复位未释放或valid未传播检查rst_n和valid链
色彩偏移系数位宽不足或溢出增加中间结果位宽
行间错位行缓冲地址不对齐检查写地址和读地址
画面闪烁时序违例或跨时钟域添加同步器或约束
边缘伪影边界处理不正确添加边界检测和钳位

本课资源估算

资源估计使用量说明
LUT100~500加法器、比较器、选择器
FF50~200流水线寄存器、状态机
DSP0~9乘法器(色彩转换9个)
BRAM(18K)0~6行缓冲(2~4行)、帧缓冲、LUT
延迟2~5 cycles流水线级数

Verilator验证命令

# 语法检查
verilator --lint-only verilog/lesson_11.v

# 带波形仿真(需要testbench)
verilator --trace --cc verilog/lesson_11.v --exe tb.cpp
make -C obj_dir -f Vlesson_11.mk
./obj_dir/Vlesson_11