📚 第1课：推荐系统概述

🎯 学习目标

🗂️ 课程定位

📖 核心理论

推荐系统（Recommendation System）是信息过滤系统的一种，旨在预测用户对物品的"偏好"或"评分"，从海量候选项中筛选最符合用户兴趣的内容。推荐系统已经渗透到我们生活的方方面面：

• 电商：淘宝"猜你喜欢"、亚马逊推荐、京东推荐
• 内容：抖音视频推荐、今日头条新闻、知乎推荐
• 社交：微信"看一看"、微博热门、小红书推荐
• 音乐：网易云音乐每日推荐、Spotify Discover Weekly
• 视频：B站推荐、YouTube推荐、爱奇艺推荐
• 招聘：Boss直聘职位推荐、领英人脉推荐

全量物品池（百万~亿级）
  │ ▼【召回】多路召回，万→千
  │ ▼【粗排】轻量模型，千→百
  │ ▼【精排】复杂模型，百→十
  │ ▼【重排】多样性/业务，十→最终展示

召回阶段详解

• 协同过滤召回：基于用户/物品相似度，i2i召回是最常用的
• 向量召回：双塔模型+ANN检索，DSSM/MIND/MOPR
• 规则召回：热门、地域、标签、运营位
• 图召回：二部图随机游走，GraphSAGE

排序阶段详解

• LR/FM/FFM：特征交叉模型，适合稀疏特征
• DeepFM/DIN/DIEN：深度排序模型，捕捉高阶交叉和用户兴趣演化
• 多目标模型：同时优化点击、转化、时长等目标

重排阶段详解

• 多样性：MMR/DPP确保推荐不单调
• 新鲜度：提升新内容曝光机会
• 业务规则：去重、过滤、置顶、打散同类内容

📐 数学公式

💻 代码实现

import numpy as np
from collections import defaultdict
np.random.seed(42)
users=[f"U{i}"for i in range(1,21)]
items=[f"I{j}"for j in range(1,31)]
interactions={}
for u in users:
    n=np.random.poisson(3)+1
    for item in np.random.choice(items,size=min(n,len(items)),replace=False):
        interactions[(u,item)]=np.random.randint(1,6)
print("="*60+"\n推荐系统基础数据分析\n"+"="*60)
print(f"用户数:{len(users)} 物品数:{len(items)}")
print(f"交互记录:{len(interactions)} 密度:{len(interactions)/(len(users)*len(items)):.4f}")
print(f"平均每用户交互:{len(interactions)/len(users):.1f}")
rc=defaultdict(int)
for r in interactions.values():rc[r]+=1
print("\n评分分布:")
for r in sorted(rc):print(f"  {r}分:{chr(9608)*rc[r]} ({rc[r]})")
ip=defaultdict(int)
for(u,i),r in interactions.items():ip[i]+=1
print(f"\nTop-5热门物品:")
for i,c in sorted(ip.items(),key=lambda x:-x[1])[:5]:print(f"  {i}:被{c}个用户交互")
ua=defaultdict(int)
for(u,i),r in interactions.items():ua[u]+=1
print(f"\nTop-5活跃用户:")
for u,c in sorted(ua.items(),key=lambda x:-x[1])[:5]:print(f"  {u}:交互{c}个物品")
hot=[i for i,_ in sorted(ip.items(),key=lambda x:-x[1])[:5]]
print(f"\n召回-热门物品:{hot}")
t="U5";ui={i:r for(u,i),r in interactions.items() if u==t}
sc={i:ip[i]*0.3+np.random.random()*0.7 for i in items if i not in ui}
rk=sorted(sc.items(),key=lambda x:-x[1])
print(f"排序-为{t}推荐Top-5:{[(i,round(s,3))for i,s in rk[:5]]}")
hit=2;prec=hit/5;rec=hit/len(ui) if ui else 0
print(f"\nPrecision@5:{prec:.2f} Recall@5:{rec:.2f}")
pl=sorted([ip.get(i,0)for i in items]);n=len(pl)
gs=sum(abs(pl[i]-pl[j])for i in range(n)for j in range(n))
gini=gs/(2*n*sum(pl))if sum(pl)>0 else 0
print(f"物品流行度基尼系数:{gini:.4f}")
print(f"推荐覆盖率:{len(set(i for i,_ in rk[:10]))/len(items):.2%}")
# 多路召回演示
print("\n多路召回演示:")
recall_channels={"热门":hot,"随机":list(np.random.choice(items,5,replace=False))}
for ch,items_list in recall_channels.items():
    print(f"  {ch}通道: {items_list}")
# NDCG计算
def dcg_at_k(rel,k):
    return sum(r/np.log2(i+2) for i,r in enumerate(rel[:k]))
def ndcg_at_k(rel,k):
    dcg=dcg_at_k(rel,k)
    idcg=dcg_at_k(sorted(rel,reverse=True),k)
    return dcg/idcg if idcg>0 else 0
sim_rel=[5,3,0,4,1]
print(f"\nNDCG示例: rel={sim_rel}")
print(f"  DCG@5={dcg_at_k(sim_rel,5):.4f}")
print(f"  NDCG@5={ndcg_at_k(sim_rel,5):.4f}")

🔴 运行结果

✅ 验证通过

🔍 代码解读

💡 关键洞察

📝 本章小结

🧪 练习

📚 延伸阅读

💼 面试考点

🏭 工业案例