差分隐私 — Differential Privacy

差分隐私（Differential Privacy, DP）是信息论中最强的隐私保证之一：你的数据在不在数据集中，对外部观察者来说几乎无法区分。这不是模糊的承诺，而是可量化的数学不等式。

核心定义：什么是差分隐私

形式化定义

为什么不是k-匿名？

历史脉络

核心机制：如何实现差分隐私

核心思路：在真实答案上加噪声。关键是加多少、怎么加。

1. Laplace机制

Lap(b)是拉普拉斯分布，Δf是全局敏感度。

2. Gaussian机制

提供(ε,δ)-DP（非纯ε-DP）。噪声更温和，适合高维输出和梯度扰动。

3. Exponential机制

输出是离散选项时，通过打分函数u(D,r)选择：

得分越高被选中概率越大，但按概率采样。典型应用：Apple Popular Emojis、离散优化。

4. 稀疏向量技术 (SVT)

只对超过阈值的查询消耗隐私预算：

# SVT伪代码
T_hat = T + Lap(2*Delta_f / epsilon_1)  # 扰动阈值
for query q_i in queries:
    noise_i = Lap(4*Delta_f / epsilon_2)
    if q_i(D) + noise_i >= T_hat:
        output "Above" + noisy_value
    else:
        output "BOTTOM"  # 不消耗额外隐私预算

组合定理：多次查询的隐私累积

基本组合

10次ε=1的查询=ε=10，几乎无隐私。

高级组合

ε=0.1,k=100：基本ε=10，高级约ε≈2.2。

Rényi DP与Moments Accountant

Abadi等人（2016）引入，用Rényi散度更精确追踪隐私损失。

# pip install dp-accounting
from dp_accounting.rdp import RdpAccountant
import dp_accounting

accountant = RdpAccountant()
for step in range(1000):
    accountant.compose(
        dp_accounting.GaussianDpEvent(noise_multiplier=1.0),
        sampling_probability=0.01
    )
eps = accountant.get_epsilon(target_delta=1e-5)
print(f"Total epsilon = {eps:.2f} at delta = 1e-5")

隐私预算管理

本地模型vs中心模型

随机化应答 (Randomized Response)

真实世界应用

1. Apple — iOS本地差分隐私

2. Google — RAPPOR与工具链

3. 美国2020人口普查

4. 其他部署

AI/ML中的差分隐私

DP-SGD：差分隐私随机梯度下降

# DP-SGD (TensorFlow Privacy)
# pip install tensorflow-privacy
from tensorflow_privacy.privacy.optimizers.dp_optimizer_keras import DPKerasSGDOptimizer

optimizer = DPKerasSGDOptimizer(
    l2_norm_clip=1.0,
    noise_multiplier=1.1,
    num_microbatches=1,
    learning_rate=0.15
)
model.compile(optimizer=optimizer, loss='categorical_crossentropy',
              metrics=['accuracy'])
model.fit(train_data, epochs=10, batch_size=256)

# 计算隐私保证
from tensorflow_privacy.privacy.analysis import compute_dp_sgd_privacy
eps, d = compute_dp_sgd_privacy.compute_dp_sgd_privacy_lib.compute_dp_sgd_privacy(
    n=60000, batch_size=256, noise_multiplier=1.1, epochs=10, delta=1e-5)
print(f"eps={eps:.2f}, delta={d}")

DP训练LLM

AI产品三大场景

工具与库

快速选择指南

# OpenDP 快速示例
# pip install opendp
from opendp.transformations import make_sized_bounded_mean
from opendp.measures import fixed_smoothed_max_divergence
from opendp.mod import enable_features
enable_features("contrib")

# 计算有界均值的DP版本
# epsilon=1.0, n=10000, bounds=(0., 100.)
mean = make_sized_bounded_mean(
    size=10000,
    bounds=(0., 100.),
)
dp_mean = mean >> make_sized_bounded_mean(
    size=10000,
    bounds=(0., 100.),
).make_privacy_map(
    fixed_smoothed_max_divergence(),
    d_in=1,  # 相邻数据集差1条
)(d_out=1.0)  # epsilon=1.0

# PyDP 快速示例
# pip install python-dp
import pydp as dp
from pydp.algorithms.laplacian import BoundedMean

# 计算差分隐私均值
x = BoundedMean(epsilon=0.6, lower_bound=1, upper_bound=10)
result = x.quick_result([5.2, 3.1, 7.8, 4.5, 9.1])
print(f"DP mean: {result:.2f}")

交互模拟：ε如何影响输出

常见陷阱与误区

实操清单：部署差分隐私

# 1. 计数查询 (Laplace机制)
import numpy as np
def dp_count(data, epsilon):
    true_count = len(data)
    b = 1.0 / epsilon  # sensitivity = 1
    noise = np.random.laplace(0, b)
    return true_count + noise

# 2. 求和查询 (需clipping)
def dp_sum(data, epsilon, lower, upper):
    clipped = np.clip(data, lower, upper)
    true_sum = np.sum(clipped)
    sensitivity = upper - lower  # worst case
    b = sensitivity / epsilon
    noise = np.random.laplace(0, b)
    return true_sum + noise

# 3. 均值查询
def dp_mean(data, epsilon, lower, upper):
    dp_s = dp_sum(data, epsilon/2, lower, upper)
    dp_c = dp_count(data, epsilon/2)
    return dp_s / max(dp_c, 1)  # 避免除零

# 4. 随机化应答 (LDP)
def randomized_response(truth, epsilon):
    p = np.exp(epsilon) / (1 + np.exp(epsilon))
    if np.random.random() < p:
        return truth
    else:
        return not truth  # 翻转

# 5. 恢复真实比例
def estimate_proportion(reported_yes_rate, epsilon):
    p = np.exp(epsilon) / (1 + np.exp(epsilon))
    return (reported_yes_rate - (1 - p)) / (2*p - 1)