Git（七）.git 文件夹瘦身，GitLab 永久删除文件

目录

    • 一、问题背景
    • 二、问题复现
      • 2.1 新建项目
      • 2.2 上传大文件
      • 2.3 上传结果
    • 三、解决方案
      • 3.1 GitLab备份与还原
        • 1）备份
        • 2）还原
      • 3.2 删除方式一：git filter-repo 命令【推荐】
        • 1）安装
        • 2）删除本地仓库文件
        • 3）重新关联远程仓库
        • 4）删除远程仓库文件
        • 4）clean up 清理远程仓库
      • 3.3 删除方式二：git branch-filter 命令【不推荐】
        • 1）删除本地仓库文件
        • 2）删除远程仓库文件
        • 3）重新 repack 远程分支到本地

一、问题背景

由于项目在打 Docker 包的时候，需要将前端的包也打到 Docker 容器中，所以将前端包和前端的 Dockerfile 文件都放在了后端的 Git 目录下。

久而久之，由于前端包的更新迭代，Git 上面会一直保留前端包的历史版本，所以整个后端的 .git 越来越大，截至目前已经有 2.44G 了。每次有新的小伙伴加入 git 后都需要花很长时间来拉取代码，苦不堪言，而且 Jenkins 上面新建项目的拉取也会超时。

二、问题复现

2.1 新建项目

在 GitLab 上新建一个项目 my-test。

在这里插入图片描述

我们可以看到，新建好的项目，默认只有 20KB。

在这里插入图片描述

2.2 上传大文件

执行命令将项目克隆到本地：

git clone http://xxxx/xxx/xxx.git

此时，.git 文件夹大小为 30.7KB。

为了更加全面地测试，我们创建两个分支，并且分别上传文件。

分支、文件结构对应关系如下：

  • dev-test1 分支

    | - pdf 文件夹

    ​ | - test_1.pdf 文件，12.8MB

    ​ | - test_2.pdf 文件，12.8MB

  • dev-test2 分支

    | - pdf 文件夹

    ​ | - test_1.pdf 文件，12.8MB

    ​ | - test_2.pdf 文件，12.8MB

相关命令如下：

# 创建dev-test1分支
git checkout -b dev-test1
git add -A .
git commit -m "update test1"
git push origin dev-test1# 创建dev-test2分支
git checkout -b dev-test2
git add -A .
git commit -m "update test2"
git push origin dev-test2

2.3 上传结果

将大文件上传到 GitLab 后，仓库的大小如下：

  • .git：11.2MB
  • GitLab：11.3MB

在这里插入图片描述

三、解决方案

注意：操作前要保证是最新版本。

3.1 GitLab备份与还原

1）备份

在操作之前，我们要先备份 GitbLab 中的项目。最简单的方式就是直接将项目导出来。

在 GitLab 上打开项目，进入菜单 Settings -> General -> Advanced，点击 Expand 打开折叠。

在这里插入图片描述

点击 Export project。

在这里插入图片描述

可以看到提示，这个导出是一个异步的操作，当导出完毕之后会将通知发送到邮箱。

在这里插入图片描述

邮件中会有一个下载链接，点击链接下载，保存24小时。

在这里插入图片描述

下载后文件如下，文件名格式为：日期_时分秒_用户名_项目名.tar.gz

在这里插入图片描述

2）还原

点击首页的 New project。

在这里插入图片描述

选择 Import project。

在这里插入图片描述

选择 GitLab export。

在这里插入图片描述

输入项目名称，选择我们之前导出的 .tar.gz 文件，点击 Import project。

在这里插入图片描述

还原完毕，分支和大小都在。

在这里插入图片描述

3.2 删除方式一：git filter-repo 命令【推荐】

  • git-filter-repo 官网： https://github.com/newren/git-filter-repo
  • python 官网： https://www.python.org/

注意：git-filter-repo 工具需要依赖 Git 和 Python。

1）安装
# 安装（pip是Python自带的安装工具）
pip install git-filter-repo
# 查看版本
git-filter-repo --version

执行结果：

在这里插入图片描述

注意：git-filter-repo 需要在一个刚刚 clone 下来的仓库中进行操作，否则会操作失败。

Aborting: Refusing to destructively overwrite repo history since
this does not look like a fresh clone.
(expected at most one entry in the reflog for HEAD)
Please operate on a fresh clone instead. If you want to proceed
anyway, use --force.

在这里插入图片描述

2）删除本地仓库文件

git clone 到本地后立即执行如下命令：

（不要做切换分支等操作，否则会报错，删除重新克隆才行。）

# 模糊匹配，删除所有pdf文件（会同时删除pdf文件夹）
git filter-repo --path-glob '*.pdf' --invert-paths# 补充：精确匹配，仅删除pdf/test_1.pdf
git filter-repo --path-glob 'pdf/test_1.pdf' --invert-paths

执行结果如下：

在这里插入图片描述

git filter-repo 命令本身是用来将处理后的本地仓库重新推送到新的远程仓库用的，所以执行命令之后，查看 .git/config 配置文件，里面远程仓库的内容都被清空了：

在这里插入图片描述

执行之后，查看本地 .git 文件夹大小，从 11.2MB 直降至 32.8KB。

3）重新关联远程仓库

重新关联远程仓库的命令如下：

git remote add origin https://git.xxx.cn/acgkaka/my-test.git
4）删除远程仓库文件

执行如下命令，将本地仓库的改动强制推送到远程仓库即可。

git push --force origin --all

执行结果如下：

在这里插入图片描述

此时，GitLab 的远程仓库大小还是 11.2 MB，并无效果，别担心，还有最后一步操作。

在这里插入图片描述

4）clean up 清理远程仓库

做完上面的操作之后，等待半小时，是的，等待30分钟，因为 GitLab 不会清理半小时内提交的文件。

在 GitLab 上打开项目，进入菜单 Settings -> Repository -> Repository cleanup，点击 Expand 打开折叠。

在这里插入图片描述

在使用 clean up 时，需要提交一个文件，这个文件就是文件根目录下的 .git/filter-repo/commit-map。

在这里插入图片描述

可以看到提示，这个导出是一个异步的操作，当cleanup完毕之后会将通知发送到邮箱。

在这里插入图片描述

邮件中会说明 cleanup 后的仓库大小，为 0.1MB。

在这里插入图片描述

再去 GitLab 查看远程仓库大小，从 11.3MB 直降至 51KB，瘦身成功。

在这里插入图片描述

（经验证，这种方式删除掉的历史文件，即使有其他成员的本地仓库有未提交的版本，需要复制出来，删除本地仓库重新克隆后，再粘贴提交。）

3.3 删除方式二：git branch-filter 命令【不推荐】

注意： 目前经过尝试，发现 git branch-filter 虽然可以删除分支中的文件历史、提交记录，但是并不会减少 GitLab 中远程仓库的大小。

1）删除本地仓库文件

可以直接操作删除所有分支的文件，但是要注意必须保证所有分支都是最新代码才行。

也可以切换到具体分支，执行 git pull 拉取最新代码后，再进行删除，只要去除后面的 -- --all即可。

# 模糊匹配，删除所有pdf文件（会同时删除pdf文件夹）
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch '*.pdf'" --prune-empty --tag-name-filter cat -- --all# 补充：精确匹配，仅删除pdf/test_1.pdf
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch 'pdf/test_1.pdf'" --prune-empty --tag-name-filter cat -- --all

执行结果如下，可以看到 dev-test1 和 dev-test2 分支被重写了。

在这里插入图片描述

2）删除远程仓库文件

执行如下命令，将本地仓库的改动强制推送到远程仓库即可。

# 推送本地所有分支到远程
git push --force --all

执行结果如下，可以看到 dev-test1 和 dev-test2 分支被强制更新了。

在这里插入图片描述

我们可以去 GitLab 上面看下提交记录，"如果之前的提交只涉及被删除文件的话，对应提交记录就会被清空，如果提交中除了被删除文件之外还包含其他文件，那么提交记录和其他文件都会被保留，不受影响。

在这里插入图片描述

3）重新 repack 远程分支到本地

执行如下命令，删除 refs/original 文件夹，并重新更新远程仓库到本地。

git for-each-ref --format='delete %(refname)' refs/original | git update-ref --stdin
git reflog expire --expire=now --all
git gc --prune=now

执行之后，查看本地 .git 文件夹大小，从 11.2MB 直降至 32KB。

再次声明，这种方式虽然可以删除分支中的文件历史、提交记录，但是并不会减少 GitLab 中远程仓库的大小。远程仓库大小依然为 11.3MB。（有大佬知道后面怎么处理的，欢迎评论补充）

在这里插入图片描述

整理完毕，完结撒花~ 🌻





参考地址：

1.使用 git-filter-repo 清理 git 历史记录，https://nyakku.moe/posts/2020/06/12/use-git-filter-repo-clean-git-history.html

2.利用git-filter-repo无缝迁移git项目，https://zhuanlan.zhihu.com/p/465078705

3.git: 如何减少.git文件的大小？https://blog.csdn.net/LOI_QER/article/details/107911115

4…git文件过大，github仓库瘦身，https://blog.csdn.net/luchengtao11/article/details/82531044

5.从Git仓库（GitLab）中彻底去除大文件，https://zhuanlan.zhihu.com/p/589903338

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/131816.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

将 UniLinks 与 Flutter 集成（安卓 AppLinks + iOS UniversalLinks）

将 UniLinks 与 Flutter 集成（安卓 AppLinks + iOS UniversalLinks）

让我们使用 Flutter Mobile 和 Flutter Web 集成 UniLinks。 一步一步的指导！ 我是 Pedro Dionsio，是葡萄牙 InspireIT 公司的 Flutter 开发人员，我写这个 UniLinks 教程的座右铭是： Firebase DynamicLinks 已被弃用&#xff0…
阅读更多...
机器学习笔记 - 感知器的数学表达

机器学习笔记 - 感知器的数学表达

一、假设前提 感知机（或称感知器，Perceptron）是Frank Rosenblatt在1957年就职于Cornell航空实验室（Cornell Aeronautical Laboratory）时所发明的一种人工神经网络。 它可以被视为一种最简单形式的前馈神经网络，是一种二元线性分类模型，其输入为实例的特征向量，输出为实…
阅读更多...
206. 反转链表 --力扣 --JAVA

206. 反转链表 --力扣 --JAVA

题目 给你单链表的头节点 head ，请你反转链表，并返回反转后的链表。 解题思路 先排除特殊情况：当前链表包含节点数小于等于；获取末尾节点，即反转后的头节点；通过递归来反转节点间的上下级关系；…
阅读更多...
同为科技（TOWE）自动断电倒计时定时桌面PDU插排

同为科技（TOWE）自动断电倒计时定时桌面PDU插排

在每个家庭中，插排插座都是必不可少的电源设备。随着各种电器的普及应用和生活节奏的加快，人们对插排也有着多样化的需求，比如在插排中加入定时开关、自动断电、断电记忆、倒计时等等功能，让原本不支持智能家居的用电器秒变智能。…
阅读更多...
Mysql高级——Mysql8一主一从，多主多从搭建

Mysql高级——Mysql8一主一从，多主多从搭建

修改 /etc/hosts文件 ip地址 master1 ip地址 master2 ip地址 slave1 ip地址 slave2一主一从 create database master1db;create table master1db.master1tab(name char(50));insert into master1db.master1tab VALUES(1111);insert into master1db.master1tab VALUES(2222);m…
阅读更多...
重复的DNA序列

重复的DNA序列

问题： DNA序列 由一系列核苷酸组成，缩写为 A, C, G 和 T.。 例如，"ACGAATTCCG" 是一个 DNA序列 。 在研究 DNA 时，识别 DNA 中的重复序列非常有用。 给定一个表示 DNA序列 的字符串 s ，返回所有在 DNA 分…
阅读更多...
Linux命令--mkdir创建目录的方法

Linux命令--mkdir创建目录的方法

原文网址&#xff1a;Linux命令--mkdir创建目录的方法_IT利刃出鞘的博客-CSDN博客 简介 本文介绍Linux创建目录命令--mkdir的用法。 格式 mkdir [选项] 目录… -m, –mode模式&#xff0c;设定权限<模式> (类似 chmod)&#xff0c;而不是 rwxrwxrwx 减 umask-p, --p…
阅读更多...
按键开发环境搭建

按键开发环境搭建

雷电模拟器 创建虚拟机 2.设置root权限 打开按键精灵连接虚拟机 开启悬浮 mumu模拟器操作 查找端口方法 adb connect 127.0.0.1:16416 设置-应用-所有应用-按键精灵-开启悬浮 步骤二&#xff1a;开启root 处理未root&#xff1a;中途如果有如下未root的情况&#x…
阅读更多...
基于SSM的网吧计费管理系统（有报告）。Javaee项目，ssm项目。

基于SSM的网吧计费管理系统（有报告）。Javaee项目，ssm项目。

演示视频&#xff1a; 基于SSM的网吧计费管理系统&#xff08;有报告&#xff09;。Javaee项目&#xff0c;ssm项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#xff09;三层体系结构&#xff0c;通…
阅读更多...
软件测试的目的---防范项目风险

软件测试的目的---防范项目风险

软件测试的目的到底是什么一直是困扰开发人员和测试人员的一个问题, 项目管理人员希望测试能够保证软件项目的成功 开发人员希望希望测试可以让他们理直气壮的说,他们的软件是没有问题的,从而证明他们的工作成果 软件测试经典理论说,测试无法证明软件是没有问题,而只能证明软…
阅读更多...
P6462补刀

P6462补刀

灵光一现,突然就做出来了 正好写一下思路过程 一开始寻思是个数论的问题,貌似需要用到扩展欧几里得,不管那么多,直接写上,接着不断缝缝补补修修改改,此处省略一小时.... 做不出来....好难受 星期天,无聊,做个题.. 突然,不对啊 这个题实际上不就是我当前打还是不打的一个选…
阅读更多...
Monarch Mixer：一种性能比Transformer更强的网络架构

Monarch Mixer：一种性能比Transformer更强的网络架构

六年前&#xff0c;谷歌团队在arXiv上发表了革命性的论文《Attention is all you need》。作为一种优势的机器学习网络架构&#xff0c;Transformer技术迅速席卷全球。Transformer一直是现代基础模型背后的主力架构&#xff0c;并且在不同的应用程序中取得了令人印象深刻的成功…
阅读更多...
OCS2工具箱

OCS2工具箱

实时系统优化控制工具箱 参考视频&#xff1a;ETH 最优控制/MPC 实时求解器 OCS2 使用入门 参考文档&#xff1a;OCS2 求解器入门 选择OCS2 OCS2 是一个 MPC 实时求解器 (SLQ/iLQR)&#xff0c;依赖 Pinocchio 构建机器人动力学模型&#xff0c;采用 RViz 或者 RaiSim 验证 (…
阅读更多...
[LeetCode] 2.两数相加

[LeetCode] 2.两数相加

一、题目描述 给你两个 非空 的链表&#xff0c;表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的&#xff0c;并且每个节点只能存储 一位 数字。 请你将两个数相加&#xff0c;并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外&#xff0c;这两个…
阅读更多...
react native引用原生组件时无法显示的问题处理

react native引用原生组件时无法显示的问题处理

最近有个需求&#xff0c;要在react native中嵌入一个原生的视频组件&#xff0c;同事嵌入后发现有问题&#xff1a; 内容无法显示 https://musicfe.com/rn-android-webview 参考这个方法,在嵌入之后调用一下。 public void manuallyLayoutChildren(View view) {int width v…
阅读更多...
【前端笔记】ant-design-vue 3.x使用modal.method()自定义content内容小记

【前端笔记】ant-design-vue 3.x使用modal.method()自定义content内容小记

在一次编写业务代码时&#xff0c;碰到了一种既想要Modal.success样式&#xff0c;有想要定制其content内容的情况。 大部分情况下&#xff0c;使用Modal.method()这种方式时&#xff0c;可能content内容固定都是字符串&#xff0c;那如果想要做更高级的交互怎么办&#xff1f…
阅读更多...
1.计算机系统概述

1.计算机系统概述

目录 一. 计算机的发展 二. 计算机硬件的基本组成 三. 各个硬件的工作原理 &#xff08;1&#xff09;主存储器 &#xff08;2&#xff09;运算器 &#xff08;3&#xff09;控制器 &#xff08;4&#xff09;一个例子 四. 计算机系统的层次结构 五. 计算机的性能指标…
阅读更多...
【Mysql】Mysql中表连接的原理

【Mysql】Mysql中表连接的原理

连接简介 在实际工作中&#xff0c;我们需要查询的数据很可能不是放在一张表中&#xff0c;而是需要同时从多张表中获取。下面我们以简单的两张表为例来进行说明。 连接的本质 为方便测试说明&#xff0c;&#xff0c;先创建两个简单的表并给它们填充一点数据&#xff1a; …
阅读更多...
Redis Functions 介绍（二）

Redis Functions 介绍（二）

首先&#xff0c;让我们先回顾一下上一篇讲的在Redis Functions中关于将key的名字作为参数和非key名字作为参数的区别&#xff0c;先看下面的例子 首先&#xff0c;我们先在一个Lua脚本文件mylib.lua中定义如下的库和函数 //--------------------mylib.lua 文件开始 --------…
阅读更多...
SpringBoot项目从resources目录读取文件

SpringBoot项目从resources目录读取文件

SpringBoot 从 resources 读取文件 使用 Spring 给我们提供的工具类来进行读取 File file org.springframework.util.ResourceUtils.getFile("classpath:人物模板.docx");可能读取失败&#xff0c;出现如下错误&#xff1a; java.io.FileNotFoundException: clas…
阅读更多...
最新文章

Copyright @ 2022~2023