谷歌 DeepMind 推出新型语言模型 VaultGemma，它专注于用户隐私保护，是目前规模最大的具备差分隐私能力的语言模型，参数达 10 亿。该模型引入差分隐私技术，在训练中添加随机噪声，确保输出无法与特定训练样本关联，初步测试未泄露训练数据。其基于 Google 的 Gemma2 架构，采用仅解码器的 Transformer 设计，限制序列长度以管理高密集计算，借助「差分隐私缩放定律」平衡计算、隐私和效用。虽性能与五年前普通语言模型相当、生成能力保守，但隐私保障更强，相关代码库将在 Hugging Face 和 Kaggle 以开源许可证公开。