隐私计算实训营第二期第12基于隐语的VisionTransformer框架

01  MPCViT:安全且高效的MPC友好型 Vision Transformer架构

总体框架:

首先分析了ViT产生较大延时的原因,思考能否去除这些操作。

然后,对比不同的注意力机制,发现它们中有的具有很好的效率,有的则具有很好的性能。那能否融合不同的注意力机制,在实现高准确率的同时实现高效率呢?

且之前有工作提出,注意力机制并不是同等重要的。

(图中序号有误;2,3应交换)

MPCViT的整体算法流程:

具体而言,对于搜索算法:

设计了三种不同的粒度,对架构搜索算法给每一个注意力都分配了一个架构参数\alpha,在搜索过程中自动决定保留哪个注意力。搜索完成之后,可以对alpha进行排序,值较大的注意力设置为高延迟类型,值较小的注意力设置为低延迟类型。

直接训练搜索后的异构注意力模型的性能不好该如何解决呢?

采用多粒度的自蒸馏方式,让异构的ViT去学习到原始softmaxViT的软标签以及最后一层的特征。

02  基于SecretFlow搭建 ViT框架

接下来就是基于SecretFlow搭建 ViT框架,主要分为四个板块介绍。

对于SPU的介绍可以参考以前的文章:隐私计算实训营第二期第8讲密态引擎SPU框架介绍-CSDN博客

  隐私推理协议的相关参数设置以及网络环境模拟。

基于Jax的ViT模型搭建,主要分为patch embedding搭建、注意力机制搭建、MLP模块搭建、Transformer模块搭建。

Patch embedding搭建

注意力机制搭建

MLP模块搭建

Transformer模块搭建:基于之前的各个子模块,来构建完整的Transformer模块。

配置好了SPU环境,搭建好了模型,现在对ViT进行隐私推理测试。

03  MPCViT主要实验结果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/38448.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

gin会话控制

一. 会话控制 1.1 介绍 HTTP是无状态的协议,不会记录用户的任何信息,服务器也不能记录浏览器的访问状态,也就是说服务器不能区分两次请求是否是同一个客户端发出的。Cookie是解决HTTP协议无状态的方案之一Cookie实际就是服务器保存在浏览器上…

2010-2022年 政府透明度指数报告整理

政府透明度指数报告是衡量政府透明度的重要工具,它由独立的评估机构或研究机构发布,用以反映政府在不同方面的表现。以下是对政府透明度指数报告的详细介绍: 数据简介 定义:政府透明度指数报告衡量的是政府在信息公开、政策制定…

Linux——/etc/passwd文件含义,grep,cut

/etc/passwd文件含义 作用 - 记录用户账户信息:共分为7段,使用冒号分割 含义 - 文件内容意义:账户名:密码代号x:UID:GID:注释:家目录:SHELL - 第7列/sbin/nologin&#x…

无人机赋能自然资源调查

确权 业务挑战 由于测绘人员难以到达现场,确权区域大,传统人工测绘覆盖 不全面,信息不完整 传统测绘成果单一,现场核实难度高,确权采集信息不对称 无人机优势 数据采集效率是人工的10倍以上,可自动将…

分布式限流:Spring Cloud Gateway 限流

分布式限流:Spring Cloud Gateway 限流 在现代微服务架构中,流量控制是一个至关重要的部分。分布式限流作为一种有效的流量控制手段,能够帮助我们保护系统不被突发的流量冲垮。Spring Cloud Gateway支持多种限流方式。 什么是分布式限流 分…

vivado VIO IP核

参考:pg159 VIO:可以模拟输入/输出功能,实时监视和修改FPGA中的信号,用于调试和验证,与ILA相比,VIO无需占用RAM资源。 VIO IP的输出对于FPGA内部逻辑是输入信号,可以在调试界面设置输入值&…

区块链开发入门:基础概念与实施技术详解

区块链开发入门:基础概念与实施技术详解 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿! 引言 随着区块链技术的快速发展,它已经不再局…

分享屏幕坐标和窗口通信

简介 实现功能&#xff0c;通过url传参选择扑克牌&#xff0c;桌面同时打开两个以上该窗口&#xff0c;扑克牌可以在窗口之间移动。 在线演示 屏幕坐标和窗口通信 实现代码 <!DOCTYPE html><html><head> <meta http-equiv"Content-Type" co…

华为od-C卷200分题目5 -项目排期

华为od-C卷200分题目5 -项目排期 题目描述 项目组共有N个开发人员&#xff0c;项目经理接到了M个独立的需求&#xff0c;每个需求的工作量不同&#xff0c;且每个需求只能由一个开发人员独立完成&#xff0c;不能多人合作。 假定各个需求之间无任何先后依赖关系&#xff0c;请…

使用DDR的MIG IP核,如何提高DDR的读写效率

要提高DDR MIG&#xff08;Memory Interface Generator&#xff09;的读写效率&#xff0c;有几种策略和技巧可以考虑&#xff1a; burst传输优化&#xff1a; 尽可能使用最大的burst长度。DDR3/DDR4通常支持8beat或8n beat的burst。更长的burst可以提高数据传输效率&#xff0…

IDLE-python windows官方安装包下载国内镜像下载地址汇总

此为IDLE-windows安装包,exe格式只能在windows x64系统下面使用 序号版本名称下载地址1IDLE-python-3.12.4-amd64.exe点我下载2IDLE-python-3.11.9-amd64.exe点我下载3IDLE-python-3.10.11-amd64.exe点我下载4IDLE-python-3.9.13-amd64.exe点我下载5IDLE-python-3.8.10-amd64.…

html--橙色火箭404维护

<!DOCTYPE html> <html> <head><meta charset"UTF-8"><title>系统维护通知</title><link rel"stylesheet" type"text/css" href"css/notice.css"/> </head> <body><div cla…

代码随想录——柠檬水找零(Leetcode860)

题目链接 贪心 class Solution {public boolean lemonadeChange(int[] bills) {if(bills[0] 10 || bills[0] 20 || bills[1] 20){return false;}int count5 1;int count10 0;for(int i 1; i < bills.length; i){if(bills[i] 5){count5;}if(bills[i] 10){count10;…

解决Java中的ParseException异常的实用方法

解决Java中的ParseException异常的实用方法 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 了解ParseException异常 ParseException是Java中常见的异常之一&…

重温react-11(userMemo和useContext的使用方式)

userMemo import React, { useState, useMemo } from reactexport default function LearnFunction08() {const [num1] useState(0);const [num2, setNum2] useState(0);const [num3, setNum3] useState(0);const number useMemo(() > {console.log(调用了吗);return n…

51单片机第16步_点灯

本章重点学习软件延时和普通IO口输出。 1、delay.c如下&#xff1a; #include <intrins.h> //包含头文件intrins.h,要放在stdio.h的头文件之前; //使能函数如下: //1 _nop_(); 相当于汇编的NOP指令; //2 bit _testbit_( bit bit_value ); 对bit_value进行测试,若b…

ZooKeeper 入门:初学者指南

在分布式系统领域&#xff0c;协调和同步至关重要。Apache ZooKeeper 是一种分布式协调服务&#xff0c;是帮助管理和同步分布式环境中服务的基本组件。本指南旨在深入分析 ZooKeeper、其架构及其在现代分布式系统中的作用。我们还将探索一个示例来展示其实际影响。 ZooKeeper…

Geeker-Admin:现代化的开源后台管理框架

Geeker-Admin&#xff1a;优雅管理&#xff0c;高效开发&#xff0c;尽在Geeker-Admin- 精选真开源&#xff0c;释放新价值。 概览 Geeker-Admin是一个基于Vue 3.4、TypeScript、Vite 5、Pinia和Element-Plus构建的开源后台管理框架。它为开发者提供了一套现代化、响应式的管理…

vue3的配置和使用

vue的使用需要配置node且node版本需要在15以上。管理员方式打开cmd&#xff0c;输入node -v&#xff0c;可以查看node版本。 创建vue有以下两种方式 npm init vuelatestnpm create vuelatest创建后输入项目名&#xff0c;其它的输入否即可&#xff0c;新手可以先不用 按照要求…

【信息系统项目管理师知识点速记】组织通用治理:转型升级

22.3转型升级 当组织面临社会经济发展环境不断变化、社会竞争日趋激烈、客户和服务对象需求日益个性化、发展空间和发展动能被不断挤压等挑战时,积极主动开展深层次的转型升级是组织可持续发展的关键,适时地进行组织优化调整升级是组织谋求健康发展的迫切要求和必然路径。 …