markdown图片离线备份,批量替换url

MarkdownLogo

之前在某站写了很多笔记,最近想着迁移备份下,找到了接口写了个脚本将文章爬取下来了。文章是基于 Markdown 格式的,在写作时粘贴图片,直接上传到他们图床服务器了。Markdown 文本里面是个<img src="https://aaa.com/bbb.jpg">标签。

虽然笔记下载来了,本地看也没啥问题,但是万一哪天网站作妖就凉凉了,网站关停跑路了,线上图片挂了,或者升级做了防盗链等措施,那就不能愉快的玩耍了。

从我上网冲浪经历来看,这些事情时有发生。曾经丢失过,当时欲哭无泪,以后就怕,笔记还是得放一份自己本地心里踏实。

我常用的 Markdown 编辑器是 Typora 和 Obsidian,两者存在兼容差异。需要注意:

  1. 插入图片通用格式 ![描述](https://aaa.com/bbb.jpg)
  2. typora: <img src="https://aaa.com/bbb.jpg" />,typora 和 obsidian 都支持绝对路径,但后者尚不支持相对路径。参考方法:Typora插入图片后在Obsidian中显示(相对路径)
  3. obsidian: 用特有格式: ![[aaa/bbb.jpg]] ,调整图片宽度 ![[aaa/bbb.jpg|600]]
    详见:Obsidian论坛-讨论区
  4. 图片转为 Base64 放进<img>标签的src。虽然只有一个 md 文件 All in one 很好,但我觉得比较丑陋,文本字数变得很多,以后复制图片也不方便。

因为我是用来备份,所以方便起见选择第一种方式,相对位置也不担心移动了文件夹图片就显示不了。

提取图片src的正则表达式:src="(https?:\S+.(jpg|jpeg|png|gif|webp|bmp|tiff|svg))"
推荐一个很好用的在线测试正则网站:正则表达式在线测试

全部代码:

/*** Markdown 网络图片下载器*/
public class MarkdownImgDownloader {// 源 markdown 仓库目录private static final Path SOURCE_VAULT_PATH = Paths.get("K:\\Download\\笔记\\md文档");// 目标 markdown 仓库目录private static final Path TARGET_VAULT_PATH = Paths.get("C:\\Users\\Administrator\\Desktop\\md备份");// 资源目录名称(与 md 目标文件同层级,存储离线图片)private static final String ASSETS_DIRECTORY_NAME = "assets";// 简单日志记录private static final String LOG_FILE = TARGET_VAULT_PATH + File.separator + "log_" + Instant.now().getEpochSecond() + ".txt";private static int MD_COUNT, IMG_COUNT, ERROR_COUNT;private static final ArrayList<String> ERROR_STR = new ArrayList<>();/*** 配置 markdown 仓库源和目标目录;* 遍历源仓库,复制目录结构和 md 文件到目标仓库;* 每个 md 文件同级新建 assets 文件夹,assets 下新建 md 文件同名的文件夹用以存放离线图片;*/public static void main(String[] args) {long startTime = Instant.now().getEpochSecond();log(">>>>> ALL_START:" + startTime);try {Files.createDirectories(TARGET_VAULT_PATH); // 目标文件夹不存在则创建Files.walkFileTree(SOURCE_VAULT_PATH, new SimpleFileVisitor<Path>() {@Overridepublic FileVisitResult preVisitDirectory(Path dir, BasicFileAttributes attrs) {Path targetPath = TARGET_VAULT_PATH.resolve(SOURCE_VAULT_PATH.relativize(dir).toString()); // 复制目录结构try {Files.createDirectories(targetPath);} catch (IOException e) {e.printStackTrace();return FileVisitResult.SKIP_SUBTREE;}return FileVisitResult.CONTINUE;}@Overridepublic FileVisitResult visitFile(Path file, BasicFileAttributes attrs) {if (file.toString().endsWith(".md")) { // 判断 .md 文件Path targetMdPath = TARGET_VAULT_PATH.resolve(SOURCE_VAULT_PATH.relativize(file).toString());try {Files.copy(file, targetMdPath, StandardCopyOption.REPLACE_EXISTING);downloadAndTransImgUrlToLocal(targetMdPath.toFile()); // 复制到目标文件夹,并下载图片和替换 urlMD_COUNT += 1;} catch (IOException e) {e.printStackTrace();}}return FileVisitResult.CONTINUE;}});} catch (IOException e) {e.printStackTrace();}// 输出错误统计log(">>>>> ALL FINISH! COST TIME:" + (Instant.now().getEpochSecond() - startTime));log(">>>>> MD_COUNT:" + MD_COUNT);log(">>>>> IMG_COUNT:" + IMG_COUNT);log(">>>>> ERROR_COUNT:" + ERROR_COUNT);ERROR_STR.stream().map(s -> ">>>>> ERROR_INFO:" + s).forEach(MarkdownImgDownloader::log);}/*** md 文件网络图片下载和替换为本地路径** @param mdFile markdown文件*/public static void downloadAndTransImgUrlToLocal(File mdFile) {try {Path asertsDir = Paths.get(mdFile.getParent() + File.separator + ASSETS_DIRECTORY_NAME + File.separator + mdFile.getName().substring(0, mdFile.getName().lastIndexOf(".")));Files.createDirectories(asertsDir);String mdContent = readMdContent(mdFile);ArrayList<String> imgUrls = extractUrls(mdContent);if (imgUrls.isEmpty()) {log(mdFile.getPath() + "\t #doesn't have image URL");return;}// 下载网络图片和替换网络 URL 为本地相对路径for (String imgUrl : imgUrls) {String imgName = imgUrl.substring(imgUrl.lastIndexOf("/") + 1);String imgLocalUrl = asertsDir + File.separator + imgName;getAndSaveImg(imgUrl, new File(imgLocalUrl));// 替换原文图片 URL 为本地相对位置路径Path imgLocalPath = Paths.get(imgLocalUrl);Path mdFilePath = Paths.get(mdFile.getPath());Path relativize = mdFilePath.getParent().relativize(imgLocalPath); // 转换相对位置 path 和 url 的路径分隔符mdContent = mdContent.replace(imgUrl, relativize.toString().replace("\\", "/"));log(imgUrl + "\t" + imgLocalPath + "\t" + relativize);}// 保存到新 md 文件,然后关闭文件输出FileWriter fileWriter = new FileWriter(mdFile);fileWriter.write(mdContent);fileWriter.close();} catch (Exception e) {ERROR_COUNT += 1;ERROR_STR.add(mdFile.getPath() + "\t" + e.getMessage());e.printStackTrace();}}/*** 读取 md文件内容** @param mdFile markdown文件* @return md文件内容*/public static String readMdContent(File mdFile) {StringBuilder sb = new StringBuilder();try (BufferedReader bf = new BufferedReader(new InputStreamReader(new FileInputStream(mdFile), StandardCharsets.UTF_8))) {String line;while ((line = bf.readLine()) != null) {sb.append(line).append(System.lineSeparator());}} catch (IOException e) {e.printStackTrace();}return sb.toString();}/*** 解析出图片 url** @param content md文本(源 md 文本使用 html 的 <img> 标签 src 属性引用图片)* @return 提取 src 属性值*/public static ArrayList<String> extractUrls(String content) {ArrayList<String> imgUrls = new ArrayList<>();String imgSrcEx = "src=\"(https?:\\S+.(jpg|jpeg|png|gif|webp|bmp|tiff|svg))\"";Pattern compile = Pattern.compile(imgSrcEx);Matcher matcher = compile.matcher(content);while (matcher.find()) {String group = matcher.group(1);String replace = group.replace("src=", "").replace("\"", "");imgUrls.add(replace);}return imgUrls;}/*** 下载网络图片保存到本地** @param imgUrl        网络图片 url* @param targetImgFile 待保存为的图片文件* @throws IOException 请求失败,非正常200响应*/public static void getAndSaveImg(String imgUrl, File targetImgFile) throws Exception {URL url = new URL(imgUrl);HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();httpConn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36 Edg/125.0.0.0");// 设置为不自动跟随重定向httpConn.setInstanceFollowRedirects(false);// 发起请求并获取响应码int responseCode = httpConn.getResponseCode();// 如果遇到重定向(3xx状态码),则获取新的 URL 并重新发起请求if (responseCode >= 300 && responseCode < 400) {String redirectUrl = httpConn.getHeaderField("Location");if (redirectUrl != null) {getAndSaveImg(redirectUrl, targetImgFile); // 使用新 URL 递归调用 downloadImage 方法return;}}// 如果响应码是200,则下载图片if (responseCode == HttpURLConnection.HTTP_OK) {try (InputStream inputStream = httpConn.getInputStream();FileOutputStream outputStream = new FileOutputStream(targetImgFile)) {byte[] buffer = new byte[4096];int bytesRead;while ((bytesRead = inputStream.read(buffer)) != -1) {outputStream.write(buffer, 0, bytesRead);}outputStream.flush(); // 刷新输出流} finally {httpConn.disconnect(); // 关闭连接}} else {throw new Exception(targetImgFile.getPath() + "\t" + imgUrl + "Failed to download image. HTTP error code: " + responseCode);}IMG_COUNT += 1;}/*** 简单日志输出保存** @param message 日志信息*/public static void log(String message) {FileWriter writer = null;try {// 创建 FileWriter 对象,追加模式(true)writer = new FileWriter(LOG_FILE, true);writer.write(message);writer.write(System.lineSeparator());writer.flush();} catch (IOException e) {e.printStackTrace();} finally {if (writer != null) {try {writer.close();} catch (IOException e) {e.printStackTrace();}}}}}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/24059.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

神经网络 torch.nn---Containers

torch.nn — PyTorch 2.3 documentation torch.nn - PyTorch中文文档 (pytorch-cn.readthedocs.io) nn是Neural Network的简称&#xff0c;帮助程序员方便执行如下的与神经网络相关的行为&#xff1a; &#xff08;1&#xff09;创建神经网络 &#xff08;2&#xff09;训练…

基于SpringBoot的装饰工程管理系统源码数据库

如今社会上各行各业&#xff0c;都喜欢用自己行业的专属软件工作&#xff0c;互联网发展到这个时候&#xff0c;人们已经发现离不开了互联网。新技术的产生&#xff0c;往往能解决一些老技术的弊端问题。因为传统装饰工程项目信息管理难度大&#xff0c;容错率低&#xff0c;管…

C++应用维纳滤波实现语音信号的去噪

维纳滤波是一种滤波器&#xff0c;它根据全部过去的和当前的观察数据来估计信号的当前值&#xff0c;它的解是以均方误差最小条件下所得到的系统的传递函数H(z)或单位样本响应h(n)的形式给出的&#xff0c;因此维纳滤波器也称为最佳线性滤波器。 可以使用MATLAB语言实现应用维纳…

RERCS系统开发实战案例-Part01 快速启动面板创建新功能启动面板

需求背景&#xff1a;RERCS系统设计合同应收付比例调整界面&#xff0c;目的为合同与应收付款调整关联&#xff0c;保证数据的完整性与准确性。 步骤① 参数化快速启动板事务码 &#xff1a;LPD_CUST_PARAM 选择对应的角色与实例 可以看到系统中的快速启动面板菜单中已有的功能…

Spring Boot 中的异步 @Async

效率工具 推荐一个程序员常用的工具网站&#xff1a;程序员常用工具&#xff08;http://cxytools.com&#xff09;&#xff0c;有时间戳、JSON格式化、文本对比、HASH生成、UUID生成等常用工具&#xff0c;效率加倍嘎嘎好用。 小报童专栏精选Top100 推荐一个小报童专栏导航站&a…

SD卡格式化怎么恢复?一键扫描,轻松找回丢失的数据

SD卡格式化怎么恢复数据&#xff1f;在日常生活中&#xff0c;我们常常会使用SD卡来存储各种数据&#xff0c;如照片、视频、文档等。然而&#xff0c;当SD卡意外格式化或者出现其他问题时&#xff0c;里面的数据就会面临丢失的风险。 此时&#xff0c;如何恢复格式化的SD卡就…

gitleb详细的搭建步骤

在本地机房部署GitLab时&#xff0c;详细的搭建步骤如下&#xff1a; 1. 准备环境 1.1 硬件准备 服务器&#xff1a;高性能服务器&#xff0c;建议配置至少4核CPU、8GB内存、100GB存储。网络设备&#xff1a;确保服务器与网络的连接稳定。 1.2 操作系统 推荐使用Ubuntu Se…

女生学计算机当程序员真的好酷!

总有人觉得IT是男生的天下&#xff0c;“女孩子不适合学计算机”“计算机对女孩子没用”的刻板思想。那是你不知道&#xff0c;会写代码的女孩子有多酷多厉害&#x1f60e; 给大家盘点几个我觉得特别棒特别适合女孩子学习的计算机方向&#x1f447;&#x1f447;&#x1f447; …

本地启动ollama大语言模型

官网 Ollama 安装 rootmaster-node:~# snap install ollama 启动 rootmaster-node:~# ollama run gemma:2b 输出 verifying sha256 digest writing manifest removing any unused layers success >>> who are you? I am a large language model, trained by…

2024-06-06 问AI: 在深度学习中,什么是欧几里德长度?

文心一言 在深度学习中&#xff0c;欧几里德长度&#xff08;也称为欧几里得距离或欧氏距离&#xff09;是一个常用的概念&#xff0c;它衡量的是在多维空间中两个点之间的真实距离&#xff0c;或者说是向量的自然长度&#xff08;即该点到原点的距离&#xff09;。以下是关于…

【ARM Cache 及 MMU 系列文章 6.3 -- ARMv8/v9 Cache Tag数据读取及分析】

请阅读【ARM Cache 及 MMU/MPU 系列文章专栏导读】 及【嵌入式开发学习必备专栏】 文章目录 Cache Tag 数据读取测试代码Cache Tag 数据读取 在处理器中,缓存是一种快速存储资源,用于减少访问主内存时的延迟。缓存通过存储主内存中经常访问的数据来实现这一点。为了有效地管…

问题:卫生事业的发展受多种因素的影响和制约,以下属于卫生事业发展影响因素的有(? ?)。 #微信#其他

问题&#xff1a;卫生事业的发展受多种因素的影响和制约&#xff0c;以下属于卫生事业发展影响因素的有&#xff08;? ?&#xff09;。 A、经济水平 B、管理水平 C、人口素质 D、科技发展 参考答案如图所示

编译libredwg

1. 安装编译工具 安装 MSYS2&#xff1a;MSYS2 提供了一个 Unix-like 环境&#xff0c;可以在 Windows 上编译软件。下载地址&#xff1a;https://www.msys2.org/ 安装 GCC 编译器&#xff1a;可以通过 MSYS2 终端来安装 pacman -Syu pacman -S mingw-w64-x86_64-gcc 安装 make…

做外贸一些恶心人但是却很有效果的方法

最近在国内的网购平台上买了一些日用品&#xff0c;一般情况下&#xff0c;我在购物的时候&#xff0c;会打算买什么&#xff0c;然后就直接打上这个产品的名称&#xff0c;然后去选择自己喜欢的图片样式&#xff0c;接着看对应的价格&#xff0c;再选择要不要购买。 但是最近…

RockPI 4A单板Linux 4.4内核下的RK3399 GPIO功能解析

RockPI 4A单板Linux 4.4内核下的RK3399 GPIO功能解析 摘要&#xff1a;本文将基于RockPI 4A单板&#xff0c;介绍Linux 4.4内核下RK3399 GPIO&#xff08;通用输入输出&#xff09;功能的使用方法。通过详细的代码解析和示例&#xff0c;帮助读者理解如何在Linux内核中使用GPI…

PCL 高阶多项式曲线回归拟合(二维)

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 高阶多项式曲线回归(Polynomial Regression)是一种线性回归模型的扩展,它允许数据拟合一个非线性的曲线。虽然多项式本身是非线性的,但我们可以通过引入新的变量(例如,原始变量的平方、立方等)来将问题转化为…

Android系统中xml的解压与压缩

Android系统中有一部分xml是二进制加密保存的&#xff0c;当我门用adb pull导出查看的时候发现是乱码&#xff0c;不用慌&#xff0c;下面我给大家介绍安卓系统自带的xml加解密工具&#xff0c;位于 /system/bin下&#xff0c;有abx2xml和xml2abx Android xml二进制解压 usage…

240508Scala笔记

240508Scala笔记 Scala概述: SCala是Java的拓展,在Java的基础上又拓展了一些语法,例如: 输出Hello World println("HelloWorld")System.out.println("Hello Scala from Java") 上面两段代码都可以输出内容. package chapter01 ​ /*object: 关键字,声明…

深度学习革命-AI发展详解

深度学习革命 《深度学习革命》是一部引人深思的作品&#xff0c;详细讲述了深度学习技术的发展历程及其对各个行业的深远影响。由杰出的计算机科学家、深度学习专家撰写&#xff0c;这本书不仅适合科技领域的专业人士阅读&#xff0c;也为普通读者提供了一个理解人工智能革命…

vue数组在浏览器里可以看到值, 但是length为空

arr数组 length为0, 检查了代码在created 里调用了 this.getEnergyList(); 和 this.initChart(); 问题就在这里, this.initChart用到了getEnergyList里的数据, 造成了数据异步, 把this.initChart(); 放入 this.getEnergyList(); 方法里即可解决问题