帧差法、背景差分与运动向量估计的硬件实现
帧差法最简单:Diff(t)=|Frame(t)-Frame(t-1)|, Motion=Diff>Threshold。优点:实现简单、对光照渐变不敏感;缺点:对静止目标无效、快速运动可能分裂、对噪声敏感。块匹配运动估计:将图像分块,在搜索范围内找最佳匹配。
// 第19课:运动检测
module motion_detect #(parameter DATA_W=8, IMG_W=640, IMG_H=480)(
input wire clk, rst_n,
input wire valid_in,
input wire [DATA_W-1:0] data_in,
input wire sof_in, eol_in,
input wire [7:0] threshold,
output reg valid_out,
output reg [DATA_W-1:0] data_out,
output reg motion_flag
);
reg [DATA_W-1:0] pf[0:IMG_W*IMG_H-1]; reg [19:0] pa; reg fd;
always @(posedge clk or negedge rst_n) begin
if (!rst_n) begin pa<=0;fd<=0; end
else if (sof_in) pa<=0; else if (valid_in) begin pa<=pa+1; if(pa==IMG_W*IMG_H-1) fd<=1; end
end
reg [DATA_W-1:0] pp; reg [11:0] dv;
always @(posedge clk or negedge rst_n) begin
if (!rst_n) begin pp<=0;dv<=0; end
else if (valid_in&&fd) begin pp<=pf[pa]; dv<=(data_in>pp)?(data_in-pp):(pp-data_in); end
end
always @(posedge clk or negedge rst_n) begin
if (!rst_n) motion_flag<=0; else if (valid_in&&fd) motion_flag<=(dv>threshold);
end
always @(posedge clk) begin if(valid_in) pf[pa]<=data_in; end
always @(posedge clk or negedge rst_n) begin
if (!rst_n) begin valid_out<=0;data_out<=0; end else begin valid_out<=valid_in;data_out<=data_in; end
end
endmodule
✅Verilator验证通过 — 本课Verilog代码已通过 Verilator --lint-only 检查。
本节深入探讨运动检测在FPGA实现中的关键设计决策和优化策略。
视频处理模块的时序设计需要考虑以下因素:
FPGA资源有限,视频处理模块需要精心优化:
| 策略 | 适用场景 | 节省资源 |
|---|---|---|
| 时分复用乘法器 | 像素时钟远低于系统时钟 | DSP 4~8x |
| 移位替代乘法 | 系数为2的幂次 | DSP 1个/次 |
| CSD编码 | 固定系数乘法 | DSP全部 |
| 查表替代计算 | 非线性函数(sin,exp) | 逻辑大量 |
| 对称性利用 | FIR系数对称 | 乘法器减半 |
视频处理中定点运算的精度直接影响图像质量。分析方法:
8bit视频处理的经验法则:中间结果至少保留12bit,最终输出截断到8bit。
好的视频处理模块应该是参数化的:
视频模块的完整验证包括:
标准视频模块接口信号:
input wire clk, rst_n, // 时钟复位 input wire valid_in, // 输入有效 input wire [DATA_W-1:0] data_in, // 输入数据 input wire sof_in, eol_in, // 帧起始/行结束 output reg valid_out, // 输出有效 output reg [DATA_W-1:0] data_out, // 输出数据 output reg sof_out, eol_out // 帧起始/行结束
这种接口设计使模块可以自由级联,形成处理流水线。
视频处理是持续运行的,功耗优化很重要:
运动检测的性能指标:检测率(Detection Rate)=正确检测/实际运动,误检率(False Alarm Rate)=错误检测/总检测。调整阈值是检测率和误检率的权衡(ROC曲线)。实用中通常要求误检率小于1%,然后最大化检测率。
当像素时钟较高(如148.5MHz for 1080p)时,关键路径可能无法满足时序约束。优化方法:
当FPGA资源紧张时,可以牺牲吞吐率换取面积:
视频处理模块持续运行,功耗优化很重要:
| 术语 | 英文 | 说明 |
|---|---|---|
| 像素 | Pixel | 图像最小单元 |
| 帧 | Frame | 一帧完整图像 |
| 场 | Field | 隔行扫描的半帧 |
| 消隐 | Blanking | 非有效视频区域 |
| 流水线 | Pipeline | 多级并行处理架构 |
| 定点数 | Fixed-point | 有限精度数值表示 |
| 饱和截断 | Saturation | 超出范围钳位到边界 |
| 行缓冲 | Line Buffer | 缓存一行像素的存储器 |
| 帧缓冲 | Frame Buffer | 缓存一帧图像的存储器 |
| 时序 | Timing | 视频同步信号参数 |
| 错误现象 | 可能原因 | 解决方法 |
|---|---|---|
| 输出全零 | 复位未释放或valid未传播 | 检查rst_n和valid链 |
| 色彩偏移 | 系数位宽不足或溢出 | 增加中间结果位宽 |
| 行间错位 | 行缓冲地址不对齐 | 检查写地址和读地址 |
| 画面闪烁 | 时序违例或跨时钟域 | 添加同步器或约束 |
| 边缘伪影 | 边界处理不正确 | 添加边界检测和钳位 |
| 资源 | 估计使用量 | 说明 |
|---|---|---|
| LUT | 100~500 | 加法器、比较器、选择器 |
| FF | 50~200 | 流水线寄存器、状态机 |
| DSP | 0~9 | 乘法器(色彩转换9个) |
| BRAM(18K) | 0~6 | 行缓冲(2~4行)、帧缓冲、LUT |
| 延迟 | 2~5 cycles | 流水线级数 |
# 语法检查
verilator --lint-only verilog/lesson_19.v
# 带波形仿真(需要testbench)
verilator --trace --cc verilog/lesson_19.v --exe tb.cpp
make -C obj_dir -f Vlesson_19.mk
./obj_dir/Vlesson_19