📖 第12课：词相似度与类比

from gensim.models import Word2Vec import numpy as np sentences = [ ['国王', '女王', '男人', '女人', '王子', '公主', '皇帝', '皇后'], ['中国', '北京', '法国', '巴黎', '日本', '东京', '美国', '华盛顿'], ['苹果', '香蕉', '水果', '蔬菜', '西红柿', '黄瓜'], ['汽车', '火车', '飞机', '交通', '出行', '轮船'], ['猫', '狗', '宠物', '动物', '鱼', '鸟'], ['大学', '学院', '学校', '教育', '学生', '老师'], ['医生', '医院', '病人', '治疗', '健康', '护士'], ['程序员', '代码', '计算机', '软件', '开发', '测试'], ['自然', '语言', '处理', '人工智能', '深度', '学习', '机器', '训练'], ['开心', '快乐', '悲伤', '难过', '愤怒', '生气'], ] model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, sg=1, epochs=300, seed=42) # 词相似度计算 print("=== 余弦相似度 ===") def cosine_sim(v1, v2): return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2) + 1e-8) word_pairs = [ ('国王', '女王'), ('国王', '男人'), ('国王', '苹果'), ('中国', '北京'), ('中国', '法国'), ('开心', '快乐'), ('猫', '狗'), ('猫', '汽车'), ] for w1, w2 in word_pairs: if w1 in model.wv and w2 in model.wv: sim = model.wv.similarity(w1, w2) cos = cosine_sim(model.wv[w1], model.wv[w2]) print(f" sim('{w1}', '{w2}') = {sim:.4f} (cosine={cos:.4f})") # 词类比 print("\n=== 词类比实验 ===") analogies = [ (['女王', '男人'], ['国王'], '女王 - 国王 + 男人 = ?'), (['巴黎', '日本'], ['法国'], '巴黎 - 法国 + 日本 = ?'), (['公主', '男人'], ['女王'], '公主 - 女王 + 男人 = ?'), ] for positive, negative, desc in analogies: try: results = model.wv.most_similar(positive=positive, negative=negative, topn=3) print(f" {desc} → {[(w, f'{s:.3f}') for w, s in results]}") except Exception as e: print(f" {desc} → 错误: {e}") # 不匹配词检测 print("\n=== 不匹配词检测 ===") test_sets = [ ['苹果', '香蕉', '汽车', '水果'], ['国王', '女王', '北京', '公主'], ['猫', '狗', '鱼', '程序'], ] for ws in test_sets: try: odd = model.wv.doesnt_match(ws) print(f" {ws} → 不匹配: {odd}") except: pass

from gensim.models import Word2Vec import numpy as np # 更细致的语义关系分析 sentences = [ ['走路', '跑', '快', '慢', '速度'], ['大', '小', '多', '少', '高', '低'], ['热', '冷', '温暖', '寒冷', '温度'], ['好', '坏', '美', '丑', '善', '恶'], ['男', '女', '父', '母', '兄', '妹'], ['春天', '夏天', '秋天', '冬天', '季节'], ['东', '西', '南', '北', '方向'], ['金', '木', '水', '火', '土', '五行'], ] model = Word2Vec(sentences, vector_size=50, window=3, min_count=1, sg=1, epochs=300, seed=42) # 分析语义维度 print("=== 语义维度分析 ===") pairs = [('大', '小'), ('热', '冷'), ('好', '坏'), ('男', '女'), ('多', '少')] for w1, w2 in pairs: if w1 in model.wv and w2 in model.wv: diff = model.wv[w1] - model.wv[w2] top_dims = np.argsort(np.abs(diff))[-3:][::-1] print(f" {w1}-{w2}: 差异最大的维度={top_dims}, 差异值={diff[top_dims]}") # 语义距离矩阵 words = ['大', '小', '多', '少', '高', '低'] valid = [w for w in words if w in model.wv] print("\n=== 语义距离矩阵 ===") print(f"{'':6s}", end='') for w in valid: print(f"{w:8s}", end='') print() for w1 in valid: print(f"{w1:6s}", end='') for w2 in valid: if w1 in model.wv and w2 in model.wv: d = 1 - model.wv.similarity(w1, w2) print(f"{d:8.4f}", end='') print()