Apple ML Research：提出随机分配的高效隐私损失计算方法

事件概述

Apple Machine Learning Research 团队发布题为《Efficient Privacy Loss Accounting for Subsampling and Random Allocation》的研究论文，针对差分隐私优化中的随机分配采样方案，提出了高效的隐私损失计算方法。

核心信息

1. 研究背景与动机

• 采样方案：考虑一种用户数据在序列或集合的 $t$ 个步骤中，被随机且均匀地用于其中 $k$ 个步骤的采样方案。
• 应用场景：该方案近期已被应用于差分隐私优化（如 Chua et al., 2024; Choquette-Choo et al., 2025）和通信高效的高维私有聚合（Asi et al., 2025），相比标准泊松采样（Poisson sampling）具有效用优势。
• 现有局限：现有的理论分析（Feldman & Shenfeld, 2025; Dong et al., 2025）得出的界限虽接近泊松采样，但存在两个显著缺陷：
  • 由于分析过程中的近似步骤，许多实际场景下的隐私参数不够紧致。
  • 计算出的参数通常为“曲棍球棒散度”（hockey stick divergence）或“ Rényi 散度”，在隐私损失核算中会引入额外开销。

2. 主要贡献与方法

• 高效 PLD 计算：论文证明，对于任何差分隐私算法，其应用于随机分配的隐私损失分布（Privacy Loss Distribution, PLD）均可被高效计算。
• 新工具开发：为支持上述计算，研究开发了基于“PLD 实现”（PLD realization）概念的新型通用隐私损失核算工具。这一概念将精确的隐私损失核算扩展到了此前需要手动针对特定噪声机制进行分析的子采样场景。

3. 关键结论与性能

• 高斯机制表现：当应用于高斯机制（Gaussian mechanism）时，结果显示随机分配的隐私 - 效用权衡（privacy-utility trade-off）至少与泊松子采样相当。
• 适用性提升：具体而言，随机分配更适合通过差分隐私随机梯度下降（DP-SGD）进行模型训练。

值得关注

该研究通过消除对特定噪声机制的手动分析依赖，为更广泛场景下的差分隐私系统提供了更精准、高效的隐私预算核算框架，有助于在实际应用中平衡隐私保护强度与模型效用。