隐语隐私计算实训营「联邦学习」第 3 课:隐语架构概览

【隐私计算实训营】是蚂蚁集团隐语开源社区出品的线上课程,自实训营上线以来,获得行业内外广泛关注,吸引上千余名开发者报名参与。本次暑期夏令营课程中,除了最新上线的「联邦学习系列」,还包含了「隐私保护数据分析」和「隐私保护机器学习」,主题,小伙伴们可以根据需求自由选择报名期待和大家共同探索隐私计算的前沿技术!
隐私计算实训营「机器学习」:隐私计算实训营「机器学习」
隐私计算实训营「联邦学习」:隐私计算实训营「联邦学习」
隐私计算实训营「数据分析」:隐私计算实训营「数据分析」

1. 隐语架构概览

隐语是一个全面的隐私计算平台,其架构分为多个层次:

在这里插入图片描述

  • 硬件层: 包括硬件加速和可信执行环境(TEE)
  • 资源层: Kuscia负责资源管理
  • 计算层: 包括明文引擎和密态引擎
  • 算法层: 支持联邦学习、数据分析、PSI/PIR等
  • 产品层: 提供API/SDK和用户界面

这种分层架构使得隐语具有清晰的结构,便于集成和使用。

2. 核心组件详解

2.1 PSI (Private Set Intersection) 和 PIR (Private Information Retrieval)

在这里插入图片描述

PSI (Private Set Intersection) 允许多方在不泄露除交集外任何信息的情况下计算数据集交集。这在多个场景中非常有用,例如:

  • 在医疗研究中,多家医院可以安全地找出共同的患者群体,而不泄露其他患者信息。
  • 在广告投放中,广告商和网站可以找出共同的目标受众,而不暴露各自的完整用户列表。

PSI的核心思想是使用加密技术,让双方在不直接比较原始数据的情况下找出共同元素。例如,使用哈希函数或同态加密来处理数据,然后比较处理后的结果。

PIR (Private Information Retrieval) 允许用户从数据库中检索信息,而不让数据库知道检索了什么。这在以下场景中特别有用:

  • 在专利数据库查询中,公司可以查找相关专利而不暴露自己的研究方向。
  • 在位置服务中,用户可以获取特定位置的信息而不泄露自己的确切位置。

PIR的实现通常涉及复杂的密码学技术,如同态加密或混淆电路。基本思想是让用户发送一个经过处理的查询,数据库对整个数据集进行操作,但只返回用户真正需要的信息。

PSI和PIR是隐语中的重要隐私保护原语:

  • PSI: 允许多方在不泄露除交集外任何信息的情况下计算数据集交集
  • PIR: 允许用户查询服务器数据库而不让服务器知道查询内容

PSI支持多种协议:

  • 半诚实模型: ecdh、kkrt16、bc22(pcg-psi)等
  • 恶意模型: mini-PSI(适合小数据集)

PIR支持:

  • Sealed PIR
  • Label PIR
  • 计划中: Spiral PIR, Simple PIR

这些组件为数据分析和查询提供了强大的隐私保护能力。

2.2 SCQL (Secure Collaborative Query Language)

SCQL允许多方在保护各自数据隐私的前提下进行联合查询和分析。其主要优势包括:

  • 使用类似标准SQL的语法,降低学习成本。
  • 支持复杂的多方数据分析,如联合统计、机器学习等。
  • 提供细粒度的访问控制,确保数据安全。

实现SCQL面临的主要挑战包括:

  • 性能优化: 加密操作会显著增加计算开销,需要采用各种优化技术。
  • 安全性保证: 需要确保中间结果不会泄露敏感信息。
  • 功能与隐私的平衡: 某些复杂查询可能会间接泄露信息,需要仔细设计和限制。

SCQL是一个多方安全数据分析系统,主要特点包括:

  • 支持多方(N>=2)协作
  • 提供MySQL兼容的SQL方言接口
  • 支持常用SQL语法和算子
  • 提供列级别的数据使用授权控制(CCL)
  • 支持多种密态协议(SEMI2K/CHEETAH/ABY3)
  • 内置支持多种数据源接入(MySQL, Postgres, CSV等)

SCQL使得多方在保护数据隐私的前提下进行复杂的数据分析成为可能。

2.3 联邦学习 (Federated Learning)

隐语的联邦学习框架具有以下特点:

  • 支持水平联邦和垂直联邦(主要是Split Learning)
  • 提供安全攻防框架和算法
  • 性能优化: 稀疏化、量化、流水线
  • 支持多种算法,如DeepFM、BST、MMoE等
  • 计划支持大模型

联邦学习使得多方能在数据不出域的情况下协作训练机器学习模型。

2.4 SPU (Secure Process Unit)

SPU是隐语的核心组件之一:

  • 桥接上层算法和底层安全协议
  • 支持主流AI前端(TensorFlow, JAX, PyTorch)
  • 提供带隐私保护语义的中间表示语言(PPHLO)
  • 基于MLIR的加密计算编译优化
  • 高性能MPC协议虚拟机
  • 支持多种MPC协议(Semi2k, ABY3, Cheetah)

SPU使得开发者能够以接近原生体验的方式开发隐私保护AI应用。

2.5 HEU (Homomorphic Encryption Unit)

在这里插入图片描述

同态加密允许在加密数据上进行计算,而不需要先解密。HEU支持的操作包括:

  • 加法同态: 可以对加密数据进行加法运算。
  • 部分乘法同态: 可以进行有限次数的乘法运算。

HEU的典型应用场景包括:

  • 隐私保护的数据分析: 例如,计算加密数据的平均值、方差等统计量。
  • 安全外包计算: 将敏感数据加密后交给不可信的第三方进行计算。

然而,HEU也有一些局限性:

  • 性能开销大: 同态加密的计算速度比明文慢很多。
  • 功能限制: 完全同态加密支持任意计算,但性能更差;部分同态加密性能较好,但只支持有限的操作。
  • 密文扩展: 加密后的数据通常比原始数据大得多。

HEU是隐语的同态加密库:

  • 支持多种PHE(部分同态加密)算法
  • 提供Numpy-like API、C++和Python接口
  • 性能业界领先
  • 支持硬件加速

HEU使得在加密数据上进行计算成为可能,大大扩展了隐私计算的应用场景。

2.6 TEEU (Trusted Execution Environment Unit)

TEEU是隐语的可信执行环境单元:

  • 支持多种TEE硬件(SGX, HyperEnclave, 海光CSV, Intel TDX)
  • 提供跨域管控能力
  • 支持数据确权、使用授权、使用鉴权、结果授权
  • 可执行数据预处理、经典机器学习,计划支持深度学习和大模型

TEEU为敏感数据处理提供了一个可信的计算环境。

2.7 YACL (Yet Another Common Crypto Library)

YACL是隐语的底层密码库:

  • 为多种隐私计算技术路线提供支持
  • 注重安全实现和高性能
  • 提供良好的密码工具抽象,易于使用

YACL为隐语的其他组件提供了坚实的密码学基础。

3. 隐语的特色功能

3.1 互联互通

隐语支持与其他隐私计算平台的互联互通:

  • 黑盒模式: 管理面和控制面实现互联,双方加载相同的算法容器
  • 白盒模式: 基于开放算法协议,算法引擎层面直接互联

这一功能大大增强了隐语的生态兼容性。

3.2 跨域管控

隐语的跨域管控功能支持数据要素"三权"(数据资源持有权、数据加工使用权、数据产品经营权)的流转和保护:

  • 数据确权
  • 使用授权
  • 使用鉴权
  • 存证审计

这一功能确保了数据在流转和使用过程中的安全性和可控性。

4. 结语

隐语架构的设计理念是"清晰分层,灵活集成,简单易用"。它为不同类型的用户提供了多层次的接入方式:

  • 平台集成者可以通过API/SDK集成隐语功能
  • 算法使用者可以利用隐语的AI&BI算法能力
  • 协议使用者可以使用隐语的底层密码和协议能力
  • 产品使用者可以通过白屏产品快速体验隐语能力

隐语的开放架构和丰富功能使其成为一个强大而灵活的隐私计算平台,能够满足各种隐私计算需求。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/46873.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

喜报!极限科技再获国家发明专利:《一种超大规模分布式集群架构的数据处理方法》,引领大数据处理技术创新

近日,极限数据(北京)科技有限公司(简称:极限科技)传来喜讯,公司再次斩获国家发明专利授权。这项名为"一种超大规模分布式集群架构的数据处理方法"的专利(专利号&#xff1…

数学基础【俗说矩阵】:初等矩阵和矩阵的初等行变化关系推导

初等矩阵和矩阵的初等行变换 初等矩阵 矩阵的初等行变换 对单位阵E进行一次初等行变化得到的阵叫做初等阵。 这里只能进行一次初等行变换。 置换阵 给矩阵【左乘】一个【置换阵】,相当与对该矩阵进行了一次【置换阵】对应的【置换】初等行变换; 数…

​人人开源renren-security:基于SpringBoot、Vue3、ElementPlus等框架开发的权限管理系统

摘要: 随着信息技术的快速发展,企业的信息系统安全需求日益凸显。renren-security是一套基于SpringBoot、MyBatis-Plus、Shiro、Vue3、ElementPlus等框架开发的权限管理系统,它旨在为企业提供高效、安全、易用的权限管理解决方案。本文详细阐…

Serverless技术的市场调研与发展分析

目录 一、 Serverless基础 1.1 Serverless产生的背景 1.2 什么是Serverless 1.3 Serverless架构优势 1.3.1 按需使用的资源管理 1.3.2 简化业务运维复杂度 1.4 Serverless和Service Mesh相同点 1.5 Serverless基础架构 1.5.1 函数管理 1.5.2 事件触发器 1.5.3 函数的…

【论文阅读笔记】Hierarchical Neural Coding for Controllable CAD Model Generation

摘要 作者提出了一种CAD的创新生成模型,该模型将CAD模型的高级设计概念表示为从全局部件排列到局部曲线几何的三层神经代码的层级树,并且通过指定目标设计的代码树来控制CAD模型的生成或完成。具体而言,一种带有“掩码跳过连接”的向量量化变…

html网页使用tesseract实现OCR文字识别

即在前端实现OCR文字识别 1.前端代码 <!DOCTYPE html> <html lang"zh-CN"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>OCR文字识别…

[SUCTF 2018]GetShell

查看源代码发现源码 if($contentsfile_get_contents($_FILES["file"]["tmp_name"])){ 保存上传文件在临时文件目录$datasubstr($contents,5); 切片从第五个字符开始之后的所有字符foreach ($black_char as $b) { 看看有没有黑名单有…

XMind PRO 最新2024版 思维导图软件安装下载教程,免费领取,图文步骤详解(内置软件包,可激活使用)

文章目录 软件介绍软件下载安装步骤激活步骤 软件介绍 XMind 2024是一款功能强大的思维导图和头脑风暴软件&#xff0c;它帮助用户清晰地组织和表达思维&#xff0c;融合艺术与创造力&#xff0c;使思维过程更加高效和直观。以下是关于XMind 2024的详细介绍&#xff1a; 主要功…

[数据集][目标检测]婴儿车检测数据集VOC+YOLO格式1073张5类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;1073 标注数量(xml文件个数)&#xff1a;1073 标注数量(txt文件个数)&#xff1a;1073 标注…

Java 和 SpringBoot 中的设计模式 详解

一、建造者模式 发生场景 假如有一结果api结果返回值的类Person&#xff0c;其在代码中频繁被使用。如果要使用它&#xff0c;一般的方法是&#xff1a; public class Main {public static void main(String[] args) {//方法1&#xff0c;使用全量的构造函数Person person1 …

MF173:将多个工作表转换成PDF文件

我给VBA的定义&#xff1a;VBA是个人小型自动化处理的有效工具。利用好了&#xff0c;可以大大提高自己的工作效率&#xff0c;而且可以提高数据的准确度。“VBA语言専攻”提供的教程一共九套&#xff0c;分为初级、中级、高级三大部分&#xff0c;教程是对VBA的系统讲解&#…

三、初识C语言(3)

1.操作符 &#xff08;1&#xff09;算术操作符 - * / % 商 余&#xff08;取模&#xff09; 小算法&#xff1a; 若a<b&#xff0c;则a%b a 若a%b c&#xff0c;则0 < c < b-1 若两个int 类型数相除&#xff0c;结果有小数会被舍弃。 保留小数…

LeetCode岛屿的最大面积(深度搜索)/什么是深搜,简单案例回顾图用邻接表实现图的深度优先遍历。

看这道题不懂深度搜索的可以看看下面讲述 岛屿的最大面积 解题思路 代码 class Solution {int dfs(vector<vector<int>>& grid, int cur_i, int cur_j) {//确定边界if((cur_i >0 && cur_i < grid.size()) && (cur_j >0 &&…

开机出现grub无法进入系统_电脑开机出现grub解决方法

最近有小伙伴问我电脑开机出现grub无法进入系统怎么回事&#xff1f;电脑开机出grub的情况有很多&#xff0c;电脑上安装了Linux和Win10双系统&#xff0c;但是由于格式化删除了Linux之后&#xff0c;结果win10开机了之后&#xff0c;直接显示grub&#xff1e;&#xff0c;无法…

MySQL事务管理(上)

MySQL注定会被多个用户或者客户端&#xff0c;因为MySQL存的是数据&#xff1b;MySQL内部使用的是多线程的方式来实现数据的存储工作&#xff1b; 前言 CURD不加控制&#xff0c;会有什么问题&#xff1f; 如今有个数据库里面是火车票售票系统所对应的数据库表&#xff1b;M…

.net6 core Worker Service项目,使用Exchange Web Services (EWS) 分页获取电子邮件收件箱列表,邮件信息字段

Program.cs 安装包&#xff1a;Microsoft.AspNetCore.Hosting.WindowsServices、Microsoft.Extensions.Hosting、Microsoft.Extensions.Hosting.WindowsServices、Microsoft.Extensions.Logging.Log4Net.AspNetCore 新建Configs/log4net.config using Com.Chinahorn.Exchange.W…

ubantu22.04安装OceanBase 数据库

1、管理员启动cmd,运行 sudo bash -c "$(curl -s https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/download-center/opensource/service/installer.sh)" 2、提示如下代表安装完成 3、修改数据库配置文件的密码 sudo vim /etc/oceanbase.cnf 然后保存退…

正则表达式(Ⅰ)——基本匹配

学习练习建议 正则表达式用途非常广泛&#xff0c;各种语言中都能见到它的身影&#xff08;js&#xff0c;java&#xff0c;mysql等&#xff09; 正则表达式可以快读校验/生成/替换符合要求的模式的字符串&#xff0c;而且语法通俗易懂&#xff0c;所以应用广泛 学习链接&am…

css前端面试题

1.什么是css盒子模型&#xff1f; 盒子模型包含了元素内容&#xff08;content&#xff09;、内边距&#xff08;padding&#xff09;、边框&#xff08;border&#xff09;、外边距&#xff08;margin&#xff09;几个要素。 标准盒子模型和IE盒子模型的区别在于其对元素的w…

C++模板进阶和模板链接错误的解决

小编在学习模板进阶之后&#xff0c;觉得模板的内容很有用&#xff0c;所以今天带给大家的内容是模板进阶的所有内容&#xff0c;内容包括模板的使用&#xff0c;模板的特化&#xff0c;模板的全特化&#xff0c;模板的偏特化&#xff0c;模板链接时候会出现的链接错误及解决方…