🧊 第22课：数据稀疏处理

🎯 学习目标

🗂️ 课程定位

📖 核心理论

数据稀疏是推荐系统的常态——用户-物品交互矩阵密度通常不到1%。稀疏数据导致模型训练不充分、相似度计算不可靠、推荐覆盖面窄。

📐 数学公式

💻 代码实现

import numpy as np
np.random.seed(42)
print("="*60+"\n数据稀疏处理\n"+"="*60)
n_users=40;n_items=30
# 生成不同稀疏度的数据
for density in [0.1,0.05,0.02,0.01]:
    mask=np.random.random((n_users,n_items))<density
    n_inter=mask.sum()
    print(f"密度={density}:交互数={n_inter}")
# 使用5%密度数据
density=0.05
mask=np.random.random((n_users,n_items))<density
R=np.where(mask,np.random.randint(1,6,(n_users,n_items)),0)
print(f"\n使用密度={density}的数据:交互={mask.sum()}")
# 方法1: 矩阵分解(缓解稀疏)
K=5
P=np.random.randn(n_users,K)*0.01;Q=np.random.randn(n_items,K)*0.01
obs=list(zip(*np.where(mask)))
for ep in range(100):
    for u,i in obs:
        pred=P[u]@Q[i];err=R[u,i]-pred
        P[u]+=0.005*(err*Q[i]-0.02*P[u])
        Q[i]+=0.005*(err*P[u]-0.02*Q[i])
R_pred=P@Q.T
rmse=np.sqrt(np.mean((R_pred[mask]-R[mask])**2))
print(f"\nMF RMSE={rmse:.4f}")
# 方法2: 侧信息增强
print("\n--- 侧信息增强 ---")
user_side=np.random.randn(n_users,3)  # 用户属性
item_side=np.random.randn(n_items,3)  # 物品属性
# 用侧信息初始化embedding
P_init=np.column_stack([np.random.randn(n_users,K-3)*0.01,user_side])
Q_init=np.column_stack([np.random.randn(n_items,K-3)*0.01,item_side])
P2=P_init.copy();Q2=Q_init.copy()
for ep in range(100):
    for u,i in obs:
        pred=P2[u]@Q2[i];err=R[u,i]-pred
        P2[u]+=0.005*(err*Q2[i]-0.02*P2[u])
        Q2[i]+=0.005*(err*P2[u]-0.02*Q2[i])
R_pred2=P2@Q2.T
rmse2=np.sqrt(np.mean((R_pred2[mask]-R[mask])**2))
print(f"侧信息MF RMSE={rmse2:.4f} (提升{(rmse-rmse2)/rmse:.1%})")
# 方法3: 数据增强
print("\n--- 数据增强 ---")
# 基于相似用户填充
from collections import defaultdict
uv=defaultdict(dict)
for(u,i),r in zip(obs,[R[u,i]for u,i in obs]):uv[u][i]=r
def cosine_sim(a,b):
    ck=set(a.keys())&set(b.keys())
    if not ck:return 0
    va=np.array([a[k]for k in ck]);vb=np.array([b[k]for k in ck])
    return np.dot(va,vb)/(np.linalg.norm(va)*np.linalg.norm(vb)+1e-10)
aug_interactions=0
for u in range(n_users):
    sims={u2:cosine_sim(uv[u],uv[u2])for u2 in range(n_users)if u2!=u}
    top3=sorted(sims.items(),key=lambda x:-x[1])[:3]
    for u2,s in top3:
        if s>0.1:
            for i,r in uv[u2].items():
                if i not in uv[u]and (u,i)not in aug_interactions:
                    aug_interactions+=1
print(f"增强交互数:{aug_interactions}")
# 方法4: 图方法(传播)
print("\n--- 图传播 ---")
# 构建用户-物品图
A=np.zeros((n_users+n_items,n_users+n_items))
for u,i in obs:A[u,n_users+i]=A[n_users+i,u]=1
D=np.diag(A.sum(axis=1)**(-0.5));D[np.isinf(D)]=0
A_norm=D@A@D
# 2步传播
A2=A_norm@A_norm
print(f"2步传播矩阵形状:{A2.shape}")
# 推荐得分(用户-物品传播)
scores=A2[:n_users,n_users:]
print(f"传播推荐得分范围:[{scores.min():.4f},{scores.max():.4f}]")
# 对比
print(f"\n{'方法':<15}{'RMSE':<10}")
print("-"*25)
print(f"{'MF基线':<15}{rmse:<10.4f}")
print(f"{'+侧信息':<15}{rmse2:<10.4f}")

🔴 运行结果

✅ 验证通过

🔍 代码解读

💡 关键洞察

📝 本章小结

🧪 练习

📚 延伸阅读

💼 面试考点

🏭 工业案例