【论文阅读】PRIS: Practical robust invertible network for image steganography

内容简介

论文标题:PRIS: Practical robust invertible network for image steganography

作者:Hang Yang, Yitian Xu∗, Xuhua Liu∗, Xiaodong Ma∗

发表时间:2024年4月11日 Engineering Applications of Artificial Intelligence

关键字:图像隐写、稳健、深度学习、可逆神经网络

阅读目的

阅读方式:泛读

摘要

主要工作:为了提高图像隐写的鲁棒性,本文提出了一种实用的图像隐写鲁棒性可逆网络(PRIS),它基于可逆神经网络,在提取过程前后分别放置两个增强模块,采用三步训练策略。

代码 : 代码可在https://github.com/yanghangAI/PRIS上获得,我们的模型在http://yanghang.site/hide/上的实际演示。

引言

提出当前图像隐写一个显著的问题是图像隐写的鲁棒性

显著限制是对舍入误差的忽略,这个问题的出现是由于深度学习框架中使用的数值精度(通常是32位)和图像的标准位深度(通常是8位)之间的差异。

基准模型:HiNet

主要贡献

  1. 提出了一种具有两个增强模块的鲁棒可逆神经网络,用于多种攻击下的图像隐写。
  2. 我们在训练过程中引入了三步训练策略,以获得更好的鲁棒性。
  3. 考虑舍入误差,提出了一种梯度近似函数来解决舍入运算引起的不可导问题。
  4. 实验结果表明,本文提出的PRIS在鲁棒性和实用性方面都优于现有的先进方法,特别是在容器图像存在细微扭曲和不可避免的舍入误差时。

相关工作

基于传统的图像隐写

传统的图像隐写是在空间域和频域,空间域的方法为最小有效位(LSB)、像素值查分(PVD);频域的方法为离散余弦变换(DCT)、离散傅里叶变换(DFT)、离散小波变换(DWT)等

基于深度学习的图像隐写

HiDDeN:一个创新的端到端基于深度学习的图像隐写框架。它使用一个包含两个卷积神经网络(cnn)和一个对抗网络的编码器-解码器架构,以改进编码器损失,通过在训练期间调整参数,在容量、保密性和噪声鲁棒性之间实现灵活的权衡。

Ssgan:将深度学习与传统的 LSB 结合,通过生成对抗网络(Gans)生成封面图像,LSB 嵌入和提取信息。

潜在向量优化的生成图像隐写

基于去噪扩散模型的新型隐写方法

可逆神经网络

学习数据分布和潜在分布中的映射,INN 在同一网络中执行前向和后向传播,同时充当特征编码器和图像生成器。

CycleGan:使用两个生成器和一个周期损失实现双向映射

其他的 GLow、i-ResNet 是做出了改进

将 INN 引入图像隐写,获取到了最先进的 SOTA 效果

但是面对的一个问题是没有解决舍入误差,本文为解决这些问题,在提取前后分别加入了预增强和后增强模块,提出一个梯度近似函数解决舍入误差的不可微问题。

方法

整体结构

图一:PRIS的框架包括可逆块和增强模块两大部分,其中DWT和IWT分别表示离散小波变换和逆小波变换。左边块是嵌入过程,右边块是提取过程。z 是服从正态分布的随机噪声。

这个是整个模型的结构图, x h , x s x_h,x_s xh,xs 先通过离散小波变换变换到频域,通过可逆块输出两幅图像,对于 x h x_h xh 将会进一步经过 IWT 转换为空间域,输出为 x c x_c xc x c x_c xc会收到不同的攻击,然后变为 x d x_d xd,然后经过预增强模块、DWT、可逆块,同时,得到高斯分布图像 z 也被输入到可逆块中,最终得到两幅图像,在频域上显示并提取秘密图像,z 经过 IWT 得到 解密后的 x e x_e xe.

可逆块

增强模块

预增强模块以变形后的容器图像为输入,输出增强后的容器图像,便于通过可逆块进行提取。后增强模块将提取的图像作为输入,输出与原始秘密图像更相似的增强提取图像。

损失函数

PSNR:封面和容器、秘密和揭示图象之间,目的是最大化 PSNR

引入了两个损失

总损失为两种损失的加权和

作者提到,如果过于关注容器的损失而不关注揭示秘密图像的损失,则会出现无限大的 PSNR-C,极低的 PSNR-S,这个和我上次自己训练的结果,容器很模糊,但是秘密图像可以看出来有些类似,可能是上次我的损失函数设置的有问题。

未来解决这种问题,所以使用损失的加权和来作为总损失

3 步训练策略

将训练过程分为三个不同的阶段,目的是找到可逆和不可逆的平衡点

步骤1:预训练可逆模块。在这一步中,只启用可逆块,增强模块不进行前向和后向计算。这将保证整个网络的可逆性。

步骤2:预训练增强模块。在此步骤中,PRIS的所有组件都被激活,但可逆块的参数保持固定。这种方法旨在适度降低可逆性,确保它不会损害整体性能。

步骤3:微调可逆模块和增强模块。

在此步骤中,所有参数都被启用,并将在反向传播期间更新。进一步提高了系统的鲁棒性。

舍入误差为什么重要

实验

实验细节

数据集:DIV2K

输入的图像被裁剪为 224*224

对于训练数据,使用随机裁剪来更好的泛化;对于测试数据集,使用中心裁剪避免评估中的随机性,每个阶段用 1600 个 epoch,使用 Adam 优化器,初始学习率分别为 1 0 − 4.5 和 1 0 − 5.5 10^{-4.5}和10^{-5.5} 104.5105.5

消融实验

增强模块、三步训练策略和领域选择的有效性

添加了的模块分别和第一行对比,确实是有提升,但是数值上的提升并不是很大

空间域还是频域

频域隐藏图像比在空间域隐藏图像更有效。然而,频域仍然是增强模块的更好选择,因此我们进行了不同域的消融研究

计算舍入误差的不同方法

误差参数的影响

将舍入函数的梯度设置为0的视觉结果,通过忽略提取任务实现了较高的PSNR-C,本质上是在尝试学习一个相同的映射函数

与其他方法比较

总之,我们的PRIS在一系列攻击中表现出卓越的性能,与其他方法相比,它是最健壮的方法。值得注意的是,当受到高斯噪声或不可避免的舍入攻击等微妙攻击时,与之竞争的SOTA方法的性能会急剧下降,而PRIS在这些条件下保持了明显更好的恢复能力。

实践实验

给出了网站,可以自己上传进行测试

跨域实验

  1. ImageNet:此数据集包含1,000张图像,从ImageNet 2012数据集的验证分割的每个类中随机选择一张。

  2. COCO:该数据集包含来自COCO 2017验证分割的5000张图像。

  3. VOC:该数据集包含来自VOC-2007验证分割的2,510张图像。

结论

本文提出了一种实用的鲁棒可逆图像隐写网络——PRIS。它将两个增强模块和一个三步训练策略集成到可逆神经网络中。而且,以往的研究忽略了舍入失真;然而,在实际操作中不可避免,其不可微性给训练带来了挑战。因此,本文提出GAF来解决这个问题,并在其他失真之前应用舍入失真,这更现实。此外,尽管在224 × 224像素的分辨率上进行训练,PRIS在实践中可以适应任何分辨率。这些特征赋予PRIS在鲁棒性和实用性方面优于现有SOTA方法的能力,特别是在面对微妙的攻击和不可避免的舍入误差时

我的理解

基准模型是在 hinet 上,然后加了几个模块用来增强这个稳健性,论文的网络结构并没有很详细的给出,但是给出了代码,

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/63546.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux DNS域名解析服务器

DNS简介 DNS ( Domain Name System )是互联网上的一项服务,它作为将域名和 IP 地址相互映射的一个分 布式数据库,能够使人更方便的访问互联网。 DNS 使用的是 53 端口, 通常 DNS 是以 UDP 这个较快速的数据传输协议…

Vercel部署前端部署

Vercel 部署 今天要讲的是如何对别人向自己的开源仓库提的PR进行自动代码审核 1. 注册并登录Vercel 访问 Vercel官网点击右上角的"Sign Up"选择使用GitHub、GitLab、Bitbucket或邮箱注册完成注册流程并登录 2. 连接代码仓库 在Vercel仪表板,点击"New Proje…

LeetCode面试题04 检查平衡性

题目: 实现一个函数,检查二叉树是否平衡。在这个问题中,平衡树的定义如下:任意一个节点,其两棵子树的高度差不超过 1。 一、平衡树定义: 二叉树,一种由节点组成的树形数据结构,每…

【一文了解】C#基础-接口

目录 1. 定义 2. 接口的特点与规则 3. 接口的实现 3.1单接口实现 3.2多接口实现 4. 接口的作用和用途 1)扩展行为 2)规范行为 3)降低耦合 5. 接口与继承的比较 1)继承 2)接口 6. 接口与抽象类的比较 1)IComparable(比较器,常用) 2)IComparer(比较器)…

Notable是一款优秀开源免费的Markdown编辑器

一、Notable简介 ‌ Notable‌是一款开源的跨平台Markdown编辑器,支持Linux、MacOS、Windows以及国产操作系统等多种主流操作系统。它以其高颜值和强大的功能,成为了许多用户的首选工具。 主要特性 实时预览‌: Notable提供了实时预览功能&…

方案解读:46页数字化企业制造运营管理(MOM)系统运营实践方案

本文概述了数字化企业制造运营管理(MOM)系统的核心要素与实践路径,深入探讨了数字化企业建设的丰富内涵。数字化企业以智能制造为核心,融合了智能终端、智能制造单元、工业4.0边缘技术、赛博物理系统(CPS)等前沿技术,构建了数字化车间、智能工厂等高效生产环境。通过工业…

安卓报错Switch Maven repository ‘maven‘....解决办法

例如:Switch Maven repository ‘maven(http://developer.huawei.com/repo/)’ to redirect to a secure protocol 在库链接上方添加配置代码:allowInsecureProtocol true

es实现上传文件查询

es实现上传文件查询 上传文件,获取文件内容base64,使用es的ingest-attachment文本抽取管道转换为文字存储 安装插件 通过命令行安装(推荐) 1.进入 Elasticsearch 安装目录 2.使用 elasticsearch-plugin 命令安装 bin/elastics…

采集opc ua转profinet IO项目案例

目录 1 案例说明 1 2 VFBOX网关工作原理 1 3 准备工作 2 4 配置VFBOX网关采集OPC UA的数据 2 5 用PROFINET IO协议转发数据 4 6 案例总结 6 1 案例说明 设置网关采集OPC UA设备数据把采集的数据转成profinet IO协议转发给其他系统。 2 VFBOX网关工作原理 VFBOX网关是协议转换…

linux 安装composer

下载composer curl -sS https://getcomposer.org/installer | php下载后设置环境变量,直接通过命令composer -v mv composer.phar /usr/local/bin/composer查看版本看是否安装成功 composer -v

可视化建模以及UML期末复习----做题篇

一、单项选择题。(20小题,每小题2分,共40分) 1、UML图不包括( ) A、用例图 B、状态机图 C、流程图 D、类图 E、通信图 答案:C、流程图 UML中不包括传统意义上的流程图,流程图通常是指B…

VBA高级应用30例应用在Excel中的ListObject对象:向表中添加注释

《VBA高级应用30例》(版权10178985),是我推出的第十套教程,教程是专门针对高级学员在学习VBA过程中提高路途上的案例展开,这套教程案例与理论结合,紧贴“实战”,并做“战术总结”,以…

Mac mini m4本地跑大模型(ollama + llama + ComfyUI + Stable Diffusion | flux)

安装chat大模型(不推荐,本地运行的大模型只能聊废话,不如网页版使用openAI等高效) 首先下载ollama的安装包 https://ollama.com/ 点击启动访问:http://localhost:11434 Ollama is running 代表已经运行起来了&#x…

借助Aspose.Cells ,在 Excel 中将文本转换为数字

在 Excel 中将文本转换为数字是一项常见要求。许多用户会遇到以文本形式存储的数字,这可能会导致计算错误。此问题会影响财务、数据分析和报告。将这些文本条目转换为实际数字对于准确的数据处理至关重要。在这篇博文中,我们将探讨如何使用 C# 将以文本形…

mysql 报错 World-writable config file ‘/etc/my.cnf‘ is ignored.

/etc/my.cnf 配置文件, 或着docker 挂载的配置文件(宿主机中的配置文件),权限过大 如是二进制启动 chmod 644 /etc/my.cnf 如是docker启动 chmod 644 /opt/docker-data/mysql/conf/my.cnf 重启服务,就可以了 MySQL篇之解决启动时报错:Warning: World-writable …

Erlang socket编程(二)

模拟服务器和客户端通信 %%%------------------------------------------------------------------- %%% author Administrator %%% copyright (C) 2024, <COMPANY> %%% doc %%% %%% end %%% Created : 03. 12月 2024 22:28 %%%---------------------------------------…

2024 年 11 月区块链游戏研报:牛市加持下的 GameFi 破局之路

2024 年 11 月区块链游戏研报 作者&#xff1a;Stella L (stellafootprint.network) 数据来源&#xff1a;Footprint Analytics 区块链游戏 Research 页面 2024 年 11 月 Web3 游戏行业市场增长显著但大规模采用策略仍在演进。随着比特币创下历史新高并接近 10 万美元里程碑…

使用ssh免密登录实现自动化部署rsync+nfs+lsync(脚本)

单机一键部署sshrsyncnfslsync 执行准备 主机信息 主机角色外网IP内网IP主机名nfs、lsync10.0.0.31176.16.1.31nfs客户端10.0.0.7176.16.1.7web01rsync、nfs10.0.0.41172.16.1.41backup 秘钥信息 #web01可以免密连接nfs和backup [rootweb01 ~]# ssh-keygen [rootweb01 ~]#…

数据质量规则(Data Quality Rules)

数据质量规则&#xff08;Data Quality Rules&#xff09;是指用来确保数据的准确性、完整性、一致性和可用性的标准或逻辑规则。这些规则通常在数据集成、数据存储和数据分析过程中执行&#xff0c;以保证数据符合预期的业务需求或技术规范。 以下是数据质量规则的分类及其内…

QT 多级嵌套结构体,遍历成员--半自动。<模板+宏定义>QTreeWidget树结构显示

Qt的QTreeWidget来显示嵌套结构体的成员&#xff0c;并以树形结构展示。 #include <QApplication> #include <QTreeWidget> #include <QTreeWidgetItem> #include <QString> #include <cstdint>// 假设这些是你的结构体定义 struct BaseMeterPa…