🔢 第3课：矩阵分解（SVD / ALS）

🎯 学习目标

🗂️ 课程定位

📖 核心理论

矩阵分解（Matrix Factorization）是将高维稀疏的评分矩阵R∈ℝ^(m×n)分解为两个低维稠密矩阵的乘积。这是Netflix Prize竞赛中获胜的核心方法，至今仍是推荐系统的重要基石。

偏置项的作用

加入偏置项可以捕捉用户和物品的全局偏差：有些用户总是打高分（宽松），有些物品天然更受欢迎。偏置项将这部分信息从隐因子中分离，让隐因子专注于刻画个性化偏好。

📐 数学公式

💻 代码实现

import numpy as np
np.random.seed(42)
n_u,n_i=20,15;K=5
true_P=np.random.randn(n_u,K);true_Q=np.random.randn(n_i,K)
true_R=true_P@true_Q.T+0.5*np.random.randn(n_u,n_i)
mask=np.random.random((n_u,n_i))>0.5;R=np.where(mask,true_R,0)
print("="*60+"\n矩阵分解推荐系统\n"+"="*60)
print(f"矩阵:{n_u}x{n_i} 观测率:{mask.sum()/(n_u*n_i):.2%}")
# SVD
Rm=R[mask].mean();Rf=np.where(mask,R,Rm)
U,S,Vt=np.linalg.svd(Rf,full_matrices=False)
Rsvd=U[:,:K]@np.diag(S[:K])@Vt[:K,:]
rs=np.sqrt(np.mean((Rsvd[mask]-R[mask])**2));print(f"\nSVD(K={K}) RMSE:{rs:.4f}")
# SGD-MF with bias
P=np.random.randn(n_u,K)*.01;Q=np.random.randn(n_i,K)*.01
bu=np.zeros(n_u);bi=np.zeros(n_i);mu=R[mask].mean()
lr=.005;reg=.02;obs=list(zip(*np.where(mask)))
for ep in range(200):
    np.random.shuffle(obs)
    for u,i in obs:
        pred=mu+bu[u]+bi[i]+P[u]@Q[i];err=R[u,i]-pred
        bu[u]+=lr*(err-reg*bu[u]);bi[i]+=lr*(err-reg*bi[i])
        P[u]+=lr*(err*Q[i]-reg*P[u]);Q[i]+=lr*(err*P[u]-reg*Q[i])
    if(ep+1)%50==0:
        rmse=np.sqrt(np.mean([(mu+bu[u]+bi[i]+P[u]@Q[i]-R[u,i])**2 for u,i in obs]))
        print(f"  SGD Epoch{ep+1}:RMSE={rmse:.4f}")
Rsgd=mu+bu[:,None]+bi[None,:]+P@Q.T;rs2=np.sqrt(np.mean((Rsgd[mask]-R[mask])**2))
print(f"SGD最终RMSE:{rs2:.4f}")
# ALS
Pa=np.random.randn(n_u,K)*.01;Qa=np.random.randn(n_i,K)*.01;ra=.1
for it in range(20):
    for u in range(n_u):
        idx=np.where(mask[u])[0]
        if len(idx)==0:continue
        Qu=Qa[idx];A=Qu.T@Qu+ra*np.eye(K);b=Qu.T@R[u,idx];Pa[u]=np.linalg.solve(A,b)
    for i in range(n_i):
        idx=np.where(mask[:,i])[0]
        if len(idx)==0:continue
        Pi=Pa[idx];A=Pi.T@Pi+ra*np.eye(K);b=Pi.T@R[idx,i];Qa[i]=np.linalg.solve(A,b)
    if(it+1)%5==0:
        rmse=np.sqrt(np.mean((Pa@Qa.T[mask]-R[mask])**2));print(f"  ALS Iter{it+1}:RMSE={rmse:.4f}")
Rals=Pa@Qa.T;ra2=np.sqrt(np.mean((Rals[mask]-R[mask])**2));print(f"ALS最终RMSE:{ra2:.4f}")
# 推荐对比
t=0;unrated=np.where(~mask[t])[0]
st=sorted([(i,Rsgd[t,i])for i in unrated],key=lambda x:-x[1])[:5]
at=sorted([(i,Rals[t,i])for i in unrated],key=lambda x:-x[1])[:5]
print(f"\nU1 SGD推荐:{[(f'I{i}',f'{s:.2f}')for i,s in st]}")
print(f"U1 ALS推荐:{[(f'I{i}',f'{s:.2f}')for i,s in at]}")
print(f"\n{'方法':<10}{'RMSE':<10}\n{'-'*20}")
print(f"{'SVD':<10}{rs:.4f}\n{'SGD-MF':<10}{rs2:.4f}\n{'ALS-MF':<10}{ra2:.4f}")
print("\n隐因子(前2维):")
for u in range(5):print(f"  U{u+1}:({P[u,0]:.2f},{P[u,1]:.2f})")
for i in range(5):print(f"  I{i+1}:({Q[i,0]:.2f},{Q[i,1]:.2f})")
# K值影响
print("\nK值对RMSE影响:")
for k_test in [2,5,8,10]:
    P2=np.random.randn(n_u,k_test)*.01;Q2=np.random.randn(n_i,k_test)*.01
    bu2=np.zeros(n_u);bi2=np.zeros(n_i)
    for ep in range(100):
        np.random.shuffle(obs)
        for u,i in obs:
            pred=mu+bu2[u]+bi2[i]+P2[u]@Q2[i];err=R[u,i]-pred
            bu2[u]+=lr*(err-reg*bu2[u]);bi2[i]+=lr*(err-reg*bi2[i])
            P2[u]+=lr*(err*Q2[i]-reg*P2[u]);Q2[i]+=lr*(err*P2[u]-reg*Q2[i])
    rmse=np.sqrt(np.mean([(mu+bu2[u]+bi2[i]+P2[u]@Q2[i]-R[u,i])**2 for u,i in obs]))
    print(f"  K={k_test}:RMSE={rmse:.4f}")

🔴 运行结果

✅ 验证通过

🔍 代码解读

💡 关键洞察

📝 本章小结

🧪 练习

📚 延伸阅读

💼 面试考点

🏭 工业案例