从传感器数据恢复物体的6D位姿。
import numpy as np
K=np.array([[500,0,320],[0,500,240],[0,0,1]])
obj_pts=np.array([[0,0,0],[.1,0,0],[.1,.1,0],[0,.1,0],[0,0,.1],[.1,0,.1]])
Rt=np.array([[.9,-.1,.4],[.1,.99,.05],[-.4,.01,.91]]); tt=np.array([.3,.1,1.0])
pc=(Rt@obj_pts.T).T+tt; p2d=(K@pc.T).T; p2d=p2d[:,:2]/p2d[:,2:3]
p2d_n=p2d+np.random.randn(*p2d.shape)*.5
# DLT
fx,fy=K[0,0],K[1,1]; cxx,cyy=K[0,2],K[1,2]
A=[]
for i in range(len(obj_pts)):
X,Y,Z=obj_pts[i]; xn=(p2d_n[i,0]-cxx)/fx; yn=(p2d_n[i,1]-cyy)/fy
A.append([X,Y,Z,1,0,0,0,0,-xn*X,-xn*Y,-xn*Z,-xn])
A.append([0,0,0,0,X,Y,Z,1,-yn*X,-yn*Y,-yn*Z,-yn])
A=np.array(A); _,_,Vt=np.linalg.svd(A); P=Vt[-1].reshape(3,4)
M=P[:,:3]; R2=np.linalg.solve(K,M); U,S,Vt2=np.linalg.svd(R2)
Re=U@Vt2; if np.linalg.det(Re)<0: Re=-Re
te=np.linalg.solve(K,P[:,3])/np.mean(S)
Rerr=np.arccos(np.clip((np.trace(Rt.T@Re)-1)/2,-1,1)); terr=np.linalg.norm(te-tt)
print("物体位姿估计"); print("="*60)
print(f"PnP: 旋转误差={np.degrees(Rerr):.2f}° 平移误差={terr*1000:.1f}mm")
# ICP
np.random.seed(42); src=np.random.randn(100,3)*.05+np.array([.5,.3,0])
Ricp=np.array([[.98,-.17,0],[.17,.98,0],[0,0,1]]); ticp=np.array([.02,-.01,.005])
tgt=(Ricp@src.T).T+ticp+np.random.randn(100,3)*.001
R=np.eye(3); t=np.zeros(3)
from scipy.spatial.distance import cdist
for _ in range(50):
trf=(R@src.T).T+t; d=cdist(trf,tgt); idx=np.argmin(d,1); mt=tgt[idx]
sc=trf-np.mean(trf,0); tc=mt-np.mean(mt,0); H=sc.T@tc
U,_,Vt=np.linalg.svd(H); Rn=Vt.T@U.T
if np.linalg.det(Rn)<0: Vt[-1]*=-1; Rn=Vt.T@U.T
tn=np.mean(mt,0)-Rn@np.mean(trf,0); R=Rn@R; t=Rn@t+tn
Rierr=np.arccos(np.clip((np.trace(Ricp.T@R)-1)/2,-1,1)); tierr=np.linalg.norm(t-ticp)
print(f"ICP: 旋转误差={np.degrees(Rierr):.3f}° 平移误差={tierr*1000:.2f}mm")import numpy as np
np.random.seed(42)
print("感知系统噪声鲁棒性")
for sigma in [0.5,1.0,2.0,5.0]:
K=np.array([[500,0,320],[0,500,240],[0,0,1]]); n=8
pts3d=np.random.rand(n,3)*0.2; R=np.eye(3); t=np.array([0,0,1.])
pc=(R@pts3d.T).T+t; p2d=(K@pc.T).T; p2d=p2d[:,:2]/p2d[:,2:3]
noisy=p2d+np.random.randn(*p2d.shape)*sigma
proj_err=np.mean(np.linalg.norm(noisy-p2d,axis=1))
print(f" σ={sigma:.1f}px: 2D误差={proj_err:.2f}px, 3D误差≈{proj_err/500*1000:.1f}mm")感知鲁棒性取决于特征质量、观测数量和噪声水平。工程中常用RANSAC等鲁棒估计方法。
本课程按"运动学→动力学→力控制→感知规划→实战项目"组织,每课都建立在前面知识基础上。理解本课后,你将:
完成本课后,你应该能够:
完成练习后,继续下一课的学习。本课内容将在后续课程中被反复使用和扩展。
针孔相机模型将3D世界投影到2D图像:
其中K是内参矩阵(焦距、主点、畸变),[R|t]是外参(位姿)。从2D恢复3D是欠约束问题,需要额外的约束(多个视角、已知3D模型、深度传感器)。
PRM和RRT是两类经典的采样式规划算法:
采样式方法的成功取决于构型空间的维度和障碍物的几何复杂度。
深度学习极大地改变了机器人感知:
挑战:标注数据需求大、泛化能力有限、实时性要求高。合成数据+域适应是当前的解决方案。
本课涉及的技术在以下场景中有重要应用:
理解理论与实践的差距,是成为优秀机器人工程师的关键。
仿真验证的算法通常需要以下适配才能部署到实际机器人:参数标定、实时性优化、异常处理、安全保护。仿真与现实的差距(sim-to-real gap)是机器人领域的重要挑战。
Python适合算法验证和原型开发,但生产级控制器通常用C++实现。Python的NumPy/SciPy计算效率约为C++的1/10到1/100,对于1kHz控制频率可能不够。可以使用Cython、Numba或直接C++重写来加速。
推荐步骤:(1) Python仿真验证算法正确性;(2) 添加传感器噪声和延迟模型测试鲁棒性;(3) 用C++重写核心计算模块;(4) 在低速度下实际测试;(5) 逐步提高速度和负载。安全永远是第一位的。
| 术语 | 英文 | 定义 |
|---|---|---|
| 正运动学 | Forward Kinematics | 已知关节角求末端位姿 |
| 逆运动学 | Inverse Kinematics | 已知末端位姿求关节角 |
| 雅可比矩阵 | Jacobian Matrix | 关节速度到末端速度的映射 |
| 奇异位形 | Singularity | 末端失去某些方向运动能力的位形 |
| 工作空间 | Workspace | 末端可达的空间区域 |
| 自由度 | Degrees of Freedom | 独立运动变量的数量 |
| 齐次变换 | Homogeneous Transform | 4x4矩阵表示位姿 |
| 阻抗控制 | Impedance Control | 控制力与位移的动态关系 |
| 导纳控制 | Admittance Control | 输入力输出位移修正 |
| 轨迹规划 | Trajectory Planning | 生成平滑的运动时间函数 |
| 力封闭 | Force Closure | 接触力可抵抗任意外力 |
| 碰撞检测 | Collision Detection | 判断几何体是否相交 |
| 路径规划 | Path Planning | 在障碍物间找到安全路径 |
| 视觉伺服 | Visual Servoing | 基于视觉反馈的运动控制 |
| 手眼标定 | Hand-Eye Calibration | 确定相机与机器人坐标系的变换 |
掌握PnP和ICP两大位姿估计算法!