差分隐私中的合成定理用于分析多个机制组合时的隐私损失。基础合成定理和高级合成技术分别在不同场景下提供了隐私预算增长的估计,其关系如下:
基础合成定理(线性增长)
- 机制组合:当k个满足(ε, δ)-DP的机制按顺序组合时(无论是否自适应),总隐私参数为:
ε 总 = k ε , δ 总 = k δ . \varepsilon_{\text{总}} = k\varepsilon, \quad \delta_{\text{总}} = k\delta. ε总=kε,δ总=kδ. - 特点:隐私预算随k线性增长,适用于一般情况(包括自适应组合),但结果较为宽松,尤其在k较大时可能不实用。
高级合成技术(次线性增长)
- 自适应组合优化:针对k次自适应的(ε, δ)-DP机制(通常要求每个机制的ε较小),高级组合定理(如Dwork et al.)给出更紧的隐私损失上界:
ε 总 = ε 2 k ln ( 1 / δ ′ ) + k ε 2 , δ 总 = k δ + δ ′ , \varepsilon_{\text{总}} = \varepsilon \sqrt{2k \ln(1/\delta')} + k\varepsilon^2, \quad \delta_{\text{总}} = k\delta + \delta', ε总=ε2kln(1/δ′)+kε2,δ总=kδ+δ′,
其中δ’为新增的松弛项。 - 特点:隐私预算的ε项以√k速率增长,显著优于线性增长,但需要引入额外的δ’。适用于自适应查询场景,允许在较大k时保持可行。
两者关系
-
应用场景:
- 基础定理适用于任何组合(自适应或非自适应),但隐私损失较高。
- 高级定理专为自适应组合设计,通过概率分析和松弛δ,显著降低ε的增长速率。
-
权衡与选择:
- 当允许δ > 0时,高级技术能以较小的ε增长支持更多查询。
- 若需严格保证δ=0(纯差分隐私),则只能使用基础定理的线性增长。
-
改进空间:
- 后续技术(如矩会计/RDP)进一步优化了高级定理,通过更精细的数学工具(如Rényi散度)实现接近最优的合成边界。
总结
基础合成定理提供了通用但宽松的隐私损失估计,而高级合成技术通过允许δ > 0和根号k因子,在自适应场景下显著降低了隐私预算的增长速率。两者的核心区别在于对自适应组合的分析精度,高级技术通过牺牲部分δ的严格性(允许少量失败概率),换取了更高效的ε利用,从而支持更大规模的查询组合。