markdown图片离线备份，批量替换url

MarkdownLogo

之前在某站写了很多笔记，最近想着迁移备份下，找到了接口写了个脚本将文章爬取下来了。文章是基于 Markdown 格式的，在写作时粘贴图片，直接上传到他们图床服务器了。Markdown 文本里面是个<img src="https://aaa.com/bbb.jpg">标签。

虽然笔记下载来了，本地看也没啥问题，但是万一哪天网站作妖就凉凉了，网站关停跑路了，线上图片挂了，或者升级做了防盗链等措施，那就不能愉快的玩耍了。

从我上网冲浪经历来看，这些事情时有发生。曾经丢失过，当时欲哭无泪，以后就怕，笔记还是得放一份自己本地心里踏实。

我常用的 Markdown 编辑器是 Typora 和 Obsidian，两者存在兼容差异。需要注意：

  1. 插入图片通用格式 ![描述](https://aaa.com/bbb.jpg)
  2. typora: <img src="https://aaa.com/bbb.jpg" />，typora 和 obsidian 都支持绝对路径，但后者尚不支持相对路径。参考方法：Typora插入图片后在Obsidian中显示（相对路径）
  3. obsidian: 用特有格式: ![[aaa/bbb.jpg]] ，调整图片宽度 ![[aaa/bbb.jpg|600]]。
    详见：Obsidian论坛-讨论区
  4. 图片转为 Base64 放进<img>标签的src。虽然只有一个 md 文件 All in one 很好，但我觉得比较丑陋，文本字数变得很多，以后复制图片也不方便。

因为我是用来备份，所以方便起见选择第一种方式，相对位置也不担心移动了文件夹图片就显示不了。

提取图片src的正则表达式：src="(https?:\S+.(jpg|jpeg|png|gif|webp|bmp|tiff|svg))"
推荐一个很好用的在线测试正则网站：正则表达式在线测试

全部代码：

/*** Markdown 网络图片下载器*/
public class MarkdownImgDownloader {// 源 markdown 仓库目录private static final Path SOURCE_VAULT_PATH = Paths.get("K:\\Download\\笔记\\md文档");// 目标 markdown 仓库目录private static final Path TARGET_VAULT_PATH = Paths.get("C:\\Users\\Administrator\\Desktop\\md备份");// 资源目录名称(与 md 目标文件同层级,存储离线图片)private static final String ASSETS_DIRECTORY_NAME = "assets";// 简单日志记录private static final String LOG_FILE = TARGET_VAULT_PATH + File.separator + "log_" + Instant.now().getEpochSecond() + ".txt";private static int MD_COUNT, IMG_COUNT, ERROR_COUNT;private static final ArrayList<String> ERROR_STR = new ArrayList<>();/*** 配置 markdown 仓库源和目标目录；* 遍历源仓库,复制目录结构和 md 文件到目标仓库;* 每个 md 文件同级新建 assets 文件夹,assets 下新建 md 文件同名的文件夹用以存放离线图片；*/public static void main(String[] args) {long startTime = Instant.now().getEpochSecond();log(">>>>> ALL_START:" + startTime);try {Files.createDirectories(TARGET_VAULT_PATH); // 目标文件夹不存在则创建Files.walkFileTree(SOURCE_VAULT_PATH, new SimpleFileVisitor<Path>() {@Overridepublic FileVisitResult preVisitDirectory(Path dir, BasicFileAttributes attrs) {Path targetPath = TARGET_VAULT_PATH.resolve(SOURCE_VAULT_PATH.relativize(dir).toString()); // 复制目录结构try {Files.createDirectories(targetPath);} catch (IOException e) {e.printStackTrace();return FileVisitResult.SKIP_SUBTREE;}return FileVisitResult.CONTINUE;}@Overridepublic FileVisitResult visitFile(Path file, BasicFileAttributes attrs) {if (file.toString().endsWith(".md")) { // 判断 .md 文件Path targetMdPath = TARGET_VAULT_PATH.resolve(SOURCE_VAULT_PATH.relativize(file).toString());try {Files.copy(file, targetMdPath, StandardCopyOption.REPLACE_EXISTING);downloadAndTransImgUrlToLocal(targetMdPath.toFile()); // 复制到目标文件夹,并下载图片和替换 urlMD_COUNT += 1;} catch (IOException e) {e.printStackTrace();}}return FileVisitResult.CONTINUE;}});} catch (IOException e) {e.printStackTrace();}// 输出错误统计log(">>>>> ALL FINISH! COST TIME:" + (Instant.now().getEpochSecond() - startTime));log(">>>>> MD_COUNT:" + MD_COUNT);log(">>>>> IMG_COUNT:" + IMG_COUNT);log(">>>>> ERROR_COUNT:" + ERROR_COUNT);ERROR_STR.stream().map(s -> ">>>>> ERROR_INFO:" + s).forEach(MarkdownImgDownloader::log);}/*** md 文件网络图片下载和替换为本地路径** @param mdFile markdown文件*/public static void downloadAndTransImgUrlToLocal(File mdFile) {try {Path asertsDir = Paths.get(mdFile.getParent() + File.separator + ASSETS_DIRECTORY_NAME + File.separator + mdFile.getName().substring(0, mdFile.getName().lastIndexOf(".")));Files.createDirectories(asertsDir);String mdContent = readMdContent(mdFile);ArrayList<String> imgUrls = extractUrls(mdContent);if (imgUrls.isEmpty()) {log(mdFile.getPath() + "\t #doesn't have image URL");return;}// 下载网络图片和替换网络 URL 为本地相对路径for (String imgUrl : imgUrls) {String imgName = imgUrl.substring(imgUrl.lastIndexOf("/") + 1);String imgLocalUrl = asertsDir + File.separator + imgName;getAndSaveImg(imgUrl, new File(imgLocalUrl));// 替换原文图片 URL 为本地相对位置路径Path imgLocalPath = Paths.get(imgLocalUrl);Path mdFilePath = Paths.get(mdFile.getPath());Path relativize = mdFilePath.getParent().relativize(imgLocalPath); // 转换相对位置 path 和 url 的路径分隔符mdContent = mdContent.replace(imgUrl, relativize.toString().replace("\\", "/"));log(imgUrl + "\t" + imgLocalPath + "\t" + relativize);}// 保存到新 md 文件,然后关闭文件输出FileWriter fileWriter = new FileWriter(mdFile);fileWriter.write(mdContent);fileWriter.close();} catch (Exception e) {ERROR_COUNT += 1;ERROR_STR.add(mdFile.getPath() + "\t" + e.getMessage());e.printStackTrace();}}/*** 读取 md文件内容** @param mdFile markdown文件* @return md文件内容*/public static String readMdContent(File mdFile) {StringBuilder sb = new StringBuilder();try (BufferedReader bf = new BufferedReader(new InputStreamReader(new FileInputStream(mdFile), StandardCharsets.UTF_8))) {String line;while ((line = bf.readLine()) != null) {sb.append(line).append(System.lineSeparator());}} catch (IOException e) {e.printStackTrace();}return sb.toString();}/*** 解析出图片 url** @param content md文本(源 md 文本使用 html 的 <img> 标签 src 属性引用图片)* @return 提取 src 属性值*/public static ArrayList<String> extractUrls(String content) {ArrayList<String> imgUrls = new ArrayList<>();String imgSrcEx = "src=\"(https?:\\S+.(jpg|jpeg|png|gif|webp|bmp|tiff|svg))\"";Pattern compile = Pattern.compile(imgSrcEx);Matcher matcher = compile.matcher(content);while (matcher.find()) {String group = matcher.group(1);String replace = group.replace("src=", "").replace("\"", "");imgUrls.add(replace);}return imgUrls;}/*** 下载网络图片保存到本地** @param imgUrl        网络图片 url* @param targetImgFile 待保存为的图片文件* @throws IOException 请求失败,非正常200响应*/public static void getAndSaveImg(String imgUrl, File targetImgFile) throws Exception {URL url = new URL(imgUrl);HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();httpConn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36 Edg/125.0.0.0");// 设置为不自动跟随重定向httpConn.setInstanceFollowRedirects(false);// 发起请求并获取响应码int responseCode = httpConn.getResponseCode();// 如果遇到重定向（3xx状态码），则获取新的 URL 并重新发起请求if (responseCode >= 300 && responseCode < 400) {String redirectUrl = httpConn.getHeaderField("Location");if (redirectUrl != null) {getAndSaveImg(redirectUrl, targetImgFile); // 使用新 URL 递归调用 downloadImage 方法return;}}// 如果响应码是200，则下载图片if (responseCode == HttpURLConnection.HTTP_OK) {try (InputStream inputStream = httpConn.getInputStream();FileOutputStream outputStream = new FileOutputStream(targetImgFile)) {byte[] buffer = new byte[4096];int bytesRead;while ((bytesRead = inputStream.read(buffer)) != -1) {outputStream.write(buffer, 0, bytesRead);}outputStream.flush(); // 刷新输出流} finally {httpConn.disconnect(); // 关闭连接}} else {throw new Exception(targetImgFile.getPath() + "\t" + imgUrl + "Failed to download image. HTTP error code: " + responseCode);}IMG_COUNT += 1;}/*** 简单日志输出保存** @param message 日志信息*/public static void log(String message) {FileWriter writer = null;try {// 创建 FileWriter 对象，追加模式（true）writer = new FileWriter(LOG_FILE, true);writer.write(message);writer.write(System.lineSeparator());writer.flush();} catch (IOException e) {e.printStackTrace();} finally {if (writer != null) {try {writer.close();} catch (IOException e) {e.printStackTrace();}}}}}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/24059.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

神经网络 torch.nn---Containers

神经网络 torch.nn---Containers

torch.nn — PyTorch 2.3 documentation torch.nn - PyTorch中文文档 (pytorch-cn.readthedocs.io) nn是Neural Network的简称&#xff0c;帮助程序员方便执行如下的与神经网络相关的行为&#xff1a; &#xff08;1&#xff09;创建神经网络 &#xff08;2&#xff09;训练…
阅读更多...
RERCS系统开发实战案例-Part01 快速启动面板创建新功能启动面板

RERCS系统开发实战案例-Part01 快速启动面板创建新功能启动面板

需求背景&#xff1a;RERCS系统设计合同应收付比例调整界面&#xff0c;目的为合同与应收付款调整关联&#xff0c;保证数据的完整性与准确性。 步骤① 参数化快速启动板事务码 &#xff1a;LPD_CUST_PARAM 选择对应的角色与实例 可以看到系统中的快速启动面板菜单中已有的功能…
阅读更多...
SD卡格式化怎么恢复？一键扫描，轻松找回丢失的数据

SD卡格式化怎么恢复？一键扫描，轻松找回丢失的数据

SD卡格式化怎么恢复数据&#xff1f;在日常生活中&#xff0c;我们常常会使用SD卡来存储各种数据&#xff0c;如照片、视频、文档等。然而&#xff0c;当SD卡意外格式化或者出现其他问题时&#xff0c;里面的数据就会面临丢失的风险。 此时&#xff0c;如何恢复格式化的SD卡就…
阅读更多...
2024-06-06 问AI: 在深度学习中，什么是欧几里德长度？

2024-06-06 问AI: 在深度学习中，什么是欧几里德长度？

文心一言 在深度学习中&#xff0c;欧几里德长度&#xff08;也称为欧几里得距离或欧氏距离&#xff09;是一个常用的概念&#xff0c;它衡量的是在多维空间中两个点之间的真实距离&#xff0c;或者说是向量的自然长度&#xff08;即该点到原点的距离&#xff09;。以下是关于…
阅读更多...
【ARM Cache 及 MMU 系列文章 6.3 -- ARMv8/v9 Cache Tag数据读取及分析】

【ARM Cache 及 MMU 系列文章 6.3 -- ARMv8/v9 Cache Tag数据读取及分析】

请阅读【ARM Cache 及 MMU/MPU 系列文章专栏导读】 及【嵌入式开发学习必备专栏】 文章目录 Cache Tag 数据读取测试代码Cache Tag 数据读取 在处理器中，缓存是一种快速存储资源，用于减少访问主内存时的延迟。缓存通过存储主内存中经常访问的数据来实现这一点。为了有效地管…
阅读更多...
问题：卫生事业的发展受多种因素的影响和制约，以下属于卫生事业发展影响因素的有（? ?）。 #微信#其他

问题：卫生事业的发展受多种因素的影响和制约，以下属于卫生事业发展影响因素的有（? ?）。 #微信#其他

问题&#xff1a;卫生事业的发展受多种因素的影响和制约&#xff0c;以下属于卫生事业发展影响因素的有&#xff08;? ?&#xff09;。 A、经济水平 B、管理水平 C、人口素质 D、科技发展 参考答案如图所示
阅读更多...
做外贸一些恶心人但是却很有效果的方法

做外贸一些恶心人但是却很有效果的方法

最近在国内的网购平台上买了一些日用品&#xff0c;一般情况下&#xff0c;我在购物的时候&#xff0c;会打算买什么&#xff0c;然后就直接打上这个产品的名称&#xff0c;然后去选择自己喜欢的图片样式&#xff0c;接着看对应的价格&#xff0c;再选择要不要购买。 但是最近…
阅读更多...
RockPI 4A单板Linux 4.4内核下的RK3399 GPIO功能解析

RockPI 4A单板Linux 4.4内核下的RK3399 GPIO功能解析

RockPI 4A单板Linux 4.4内核下的RK3399 GPIO功能解析 摘要&#xff1a;本文将基于RockPI 4A单板&#xff0c;介绍Linux 4.4内核下RK3399 GPIO&#xff08;通用输入输出&#xff09;功能的使用方法。通过详细的代码解析和示例&#xff0c;帮助读者理解如何在Linux内核中使用GPI…
阅读更多...
PCL 高阶多项式曲线回归拟合（二维）

PCL 高阶多项式曲线回归拟合（二维）

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 高阶多项式曲线回归（Polynomial Regression）是一种线性回归模型的扩展，它允许数据拟合一个非线性的曲线。虽然多项式本身是非线性的，但我们可以通过引入新的变量（例如，原始变量的平方、立方等）来将问题转化为…
阅读更多...
240508Scala笔记

240508Scala笔记

240508Scala笔记 Scala概述: SCala是Java的拓展,在Java的基础上又拓展了一些语法,例如: 输出Hello World println("HelloWorld")System.out.println("Hello Scala from Java") 上面两段代码都可以输出内容. package chapter01 ​ /*object: 关键字,声明…
阅读更多...
深度学习革命-AI发展详解

深度学习革命-AI发展详解

深度学习革命 《深度学习革命》是一部引人深思的作品&#xff0c;详细讲述了深度学习技术的发展历程及其对各个行业的深远影响。由杰出的计算机科学家、深度学习专家撰写&#xff0c;这本书不仅适合科技领域的专业人士阅读&#xff0c;也为普通读者提供了一个理解人工智能革命…
阅读更多...
vue数组在浏览器里可以看到值, 但是length为空

vue数组在浏览器里可以看到值, 但是length为空

arr数组 length为0, 检查了代码在created 里调用了 this.getEnergyList(); 和 this.initChart(); 问题就在这里, this.initChart用到了getEnergyList里的数据, 造成了数据异步, 把this.initChart(); 放入 this.getEnergyList(); 方法里即可解决问题
阅读更多...
鸿蒙原生应用元服务开发-设备管理USB服务开发场景与接口

鸿蒙原生应用元服务开发-设备管理USB服务开发场景与接口

场景介绍 Host模式下&#xff0c;可以获取到已经连接的USB设备列表&#xff0c;并根据需要打开和关闭设备、控制设备权限、进行数据传输等。 接口说明 USB服务主要提供的功能有&#xff1a;查询USB设备列表、批量数据传输、控制命令传输、权限控制等。 USB类开放能力如下&#…
阅读更多...
Web LLM 攻击技术

Web LLM 攻击技术

概述 在ChatGPT问世以来&#xff0c;我也尝试挖掘过ChatGPT的漏洞&#xff0c;不过仅仅发现过一些小问题&#xff1a;无法显示xml的bug和错误信息泄露&#xff0c;虽然也挖到过一些开源LLM的漏洞&#xff0c;比如前段时间发现的Jan的漏洞&#xff0c;但是不得不说传统漏洞越来…
阅读更多...
快速入门链路追踪sleuth整合zipkin（代码演示）

快速入门链路追踪sleuth整合zipkin（代码演示）

1、演示项目背景 2、pom.xml 3、启动项目 4、测试 5、保存数据到数据库 6、通过mq保存数据到mysql 7、通过mq保存数据到es 1、演示项目背景 下载zipkin&#xff0c;建议使用2.x版本的&#xff0c;3.x版本的要求jdk高版本。如果自己是1.8&#xff0c;就下载2.x的 下载地…
阅读更多...
一文看懂企业FTP服务器替代解决方案

一文看懂企业FTP服务器替代解决方案

FTP (File Transfer Protocol) 是一种用于在计算机网络上传输文件的协议。它基于客户端-服务器模型&#xff0c;用户可以通过一个支持FTP协议的客户端程序连接到远程FTP服务器&#xff0c;然后上传或下载文件。 FTP虽然是一种广泛使用的文件传输协议&#xff0c;但它也存在一些…
阅读更多...
php实现抖音小程序支付

php实现抖音小程序支付

开发者发起下单_小程序_抖音开放平台 第一步、抖音小程序发起支付 tt.pay_小程序_抖音开放平台 前端提交订单数据到后端接口&#xff0c;然后使用 tt.pay发起支付 请求参数 属性 类型 必填 说明 order_id string 是 担保交易服务端订单号 order_token string 是 …
阅读更多...
QComboBox条目可选择状态

QComboBox条目可选择状态

有时候下拉框需要根据情况&#xff0c;将某些条目设为不可点击状态&#xff0c;或者动态切换为可点击状态&#xff0c;可采用以下方法。 //item1可选ui->comboBox->setItemData(0, QVariant(-1), Qt::UserRole-1);//item2不可选ui->comboBox->setItemData(1, QVari…
阅读更多...
树莓派4B_OpenCv学习笔记3: 系统自动更新时间_测试CSI摄像头_安装OpenCv_4.6(未成功编译源码)_备份树莓派镜像

树莓派4B_OpenCv学习笔记3: 系统自动更新时间_测试CSI摄像头_安装OpenCv_4.6(未成功编译源码)_备份树莓派镜像

今日继续学习树莓派4B 4G&#xff1a;&#xff08;Raspberry Pi&#xff0c;简称RPi或RasPi&#xff09; 本文我只是安装了OpenCv 4.6&#xff0c;但编译源码失败了&#xff01;有关 OpenCv 部分仅做笔记暂存&#xff01; 本人所用树莓派4B 装载的系统与版本如下: 版本可用命令…
阅读更多...
python ---使用python操作mysql ---＞ pymysql

python ---使用python操作mysql ---＞ pymysql

本章内容: 1:能够完成从MySQL中读取出数据; [重点] 查询: execute()、fetchall() 2:能够将数据写入MySQL数据库。 [重点] 插入数据: execute() sql insert into xxx [掌握]pymysql模块的安装 目标&#xff1a;了解如何安装pymysql模块&#xff1f; 当要使用Python和M…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023