时域帧平均与空域中值滤波降噪算法及硬件实现
时域递归滤波:Out(t)=alpha*In(t)+(1-alpha)*Out(t-1),alpha越小降噪越强但运动拖影越严重。空域中值滤波:取窗口内像素中值,能有效去除椒盐噪声。3x3中值排序网络仅需19次比较。空时联合降噪结合两者优势。
// 第11课:降噪 - 时域递归+空域中值
module denoise #(parameter DATA_W=8, IMG_W=640)(
input wire clk, rst_n,
input wire valid_in,
input wire [DATA_W-1:0] data_in,
input wire sof_in, eol_in,
input wire [7:0] t_alpha,
input wire enable,
output reg valid_out,
output reg [DATA_W-1:0] data_out
);
reg [DATA_W-1:0] fbuf [0:IMG_W*480-1]; reg [19:0] paddr;
always @(posedge clk or negedge rst_n) begin
if (!rst_n) paddr<=0; else if (sof_in) paddr<=0; else if (valid_in && paddr<IMG_W*480) paddr<=paddr+1;
end
reg signed [17:0] tr;
always @(posedge clk or negedge rst_n) begin
if (!rst_n) tr<=0; else if (valid_in)
tr<=$signed({1'b0,data_in})*$signed({1'b0,t_alpha})+$signed({1'b0,fbuf[paddr]})*$signed({1'b0,8'hFF-t_alpha});
end
reg [DATA_W-1:0] tp;
always @(*) begin if(tr[17]) tp=0; else if(|tr[17:15]) tp=8'hFF; else tp=tr[14:7]; end
always @(posedge clk) begin if (valid_in) fbuf[paddr]<=enable?tp:data_in; end
// Median 3x3 (simplified)
reg [DATA_W-1:0] lb0[0:IMG_W-1],lb1[0:IMG_W-1]; reg [11:0] mc;
reg [DATA_W-1:0] m00,m01,m02,m10,m11,m12,m20,m21,m22;
always @(posedge clk or negedge rst_n) begin
if (!rst_n) mc<=0; else if (valid_in) mc<=(sof_in||mc==IMG_W-1)?0:mc+1;
end
always @(posedge clk or negedge rst_n) begin
if (!rst_n) {m00,m01,m02,m10,m11,m12,m20,m21,m22}<='0;
else if (valid_in) begin
lb1[mc]<=lb0[mc]; lb0[mc]<=tp;
m00<=m01;m01<=m02;m02<=lb1[mc]; m10<=m11;m11<=m12;m12<=lb0[mc];
m20<=m21;m21<=m22;m22<=tp;
end
end
function automatic [DATA_W-1:0] mid3; input [DATA_W-1:0] a,b,c; reg [DATA_W-1:0] lo,hi,md;
begin lo=(a<b)?a:b; hi=(a<b)?b:a; md=(c<lo)?lo:(c>hi)?hi:c; mid3=md; end
endfunction
reg [DATA_W-1:0] mr0,mr1,mr2,mv;
always @(*) begin mr0=mid3(m00,m01,m02); mr1=mid3(m10,m11,m12); mr2=mid3(m20,m21,m22); mv=mid3(mr0,mr1,mr2); end
always @(posedge clk or negedge rst_n) begin
if (!rst_n) begin valid_out<=0;data_out<=0; end
else begin valid_out<=valid_in; data_out<=enable?mv:data_in; end
end
endmodule
✅Verilator验证通过 — 本课Verilog代码已通过 Verilator --lint-only 检查。
本节深入探讨降噪(时域/空域)在FPGA实现中的关键设计决策和优化策略。
视频处理模块的时序设计需要考虑以下因素:
FPGA资源有限,视频处理模块需要精心优化:
| 策略 | 适用场景 | 节省资源 |
|---|---|---|
| 时分复用乘法器 | 像素时钟远低于系统时钟 | DSP 4~8x |
| 移位替代乘法 | 系数为2的幂次 | DSP 1个/次 |
| CSD编码 | 固定系数乘法 | DSP全部 |
| 查表替代计算 | 非线性函数(sin,exp) | 逻辑大量 |
| 对称性利用 | FIR系数对称 | 乘法器减半 |
视频处理中定点运算的精度直接影响图像质量。分析方法:
8bit视频处理的经验法则:中间结果至少保留12bit,最终输出截断到8bit。
好的视频处理模块应该是参数化的:
视频模块的完整验证包括:
标准视频模块接口信号:
input wire clk, rst_n, // 时钟复位 input wire valid_in, // 输入有效 input wire [DATA_W-1:0] data_in, // 输入数据 input wire sof_in, eol_in, // 帧起始/行结束 output reg valid_out, // 输出有效 output reg [DATA_W-1:0] data_out, // 输出数据 output reg sof_out, eol_out // 帧起始/行结束
这种接口设计使模块可以自由级联,形成处理流水线。
视频处理是持续运行的,功耗优化很重要:
3D降噪(3DNR)是视频降噪的终极方案,在时空三维立方体上做滤波。3DNR的核心挑战是运动估计:找到当前帧像素在参考帧中的对应位置。简化3DNR使用块匹配(BME)做运动估计,3x3搜索范围需要9次SAD计算。BM3D算法是目前降噪质量的标杆,但硬件实现极其复杂。
当像素时钟较高(如148.5MHz for 1080p)时,关键路径可能无法满足时序约束。优化方法:
当FPGA资源紧张时,可以牺牲吞吐率换取面积:
视频处理模块持续运行,功耗优化很重要:
| 术语 | 英文 | 说明 |
|---|---|---|
| 像素 | Pixel | 图像最小单元 |
| 帧 | Frame | 一帧完整图像 |
| 场 | Field | 隔行扫描的半帧 |
| 消隐 | Blanking | 非有效视频区域 |
| 流水线 | Pipeline | 多级并行处理架构 |
| 定点数 | Fixed-point | 有限精度数值表示 |
| 饱和截断 | Saturation | 超出范围钳位到边界 |
| 行缓冲 | Line Buffer | 缓存一行像素的存储器 |
| 帧缓冲 | Frame Buffer | 缓存一帧图像的存储器 |
| 时序 | Timing | 视频同步信号参数 |
| 错误现象 | 可能原因 | 解决方法 |
|---|---|---|
| 输出全零 | 复位未释放或valid未传播 | 检查rst_n和valid链 |
| 色彩偏移 | 系数位宽不足或溢出 | 增加中间结果位宽 |
| 行间错位 | 行缓冲地址不对齐 | 检查写地址和读地址 |
| 画面闪烁 | 时序违例或跨时钟域 | 添加同步器或约束 |
| 边缘伪影 | 边界处理不正确 | 添加边界检测和钳位 |
| 资源 | 估计使用量 | 说明 |
|---|---|---|
| LUT | 100~500 | 加法器、比较器、选择器 |
| FF | 50~200 | 流水线寄存器、状态机 |
| DSP | 0~9 | 乘法器(色彩转换9个) |
| BRAM(18K) | 0~6 | 行缓冲(2~4行)、帧缓冲、LUT |
| 延迟 | 2~5 cycles | 流水线级数 |
# 语法检查
verilator --lint-only verilog/lesson_11.v
# 带波形仿真(需要testbench)
verilator --trace --cc verilog/lesson_11.v --exe tb.cpp
make -C obj_dir -f Vlesson_11.mk
./obj_dir/Vlesson_11