Git（七）.git 文件夹瘦身，GitLab 永久删除文件

目录

    • 一、问题背景
    • 二、问题复现
      • 2.1 新建项目
      • 2.2 上传大文件
      • 2.3 上传结果
    • 三、解决方案
      • 3.1 GitLab备份与还原
        • 1）备份
        • 2）还原
      • 3.2 删除方式一：git filter-repo 命令【推荐】
        • 1）安装
        • 2）删除本地仓库文件
        • 3）重新关联远程仓库
        • 4）删除远程仓库文件
        • 4）clean up 清理远程仓库
      • 3.3 删除方式二：git branch-filter 命令【不推荐】
        • 1）删除本地仓库文件
        • 2）删除远程仓库文件
        • 3）重新 repack 远程分支到本地

一、问题背景

由于项目在打 Docker 包的时候，需要将前端的包也打到 Docker 容器中，所以将前端包和前端的 Dockerfile 文件都放在了后端的 Git 目录下。

久而久之，由于前端包的更新迭代，Git 上面会一直保留前端包的历史版本，所以整个后端的 .git 越来越大，截至目前已经有 2.44G 了。每次有新的小伙伴加入 git 后都需要花很长时间来拉取代码，苦不堪言，而且 Jenkins 上面新建项目的拉取也会超时。

二、问题复现

2.1 新建项目

在 GitLab 上新建一个项目 my-test。

在这里插入图片描述

我们可以看到，新建好的项目，默认只有 20KB。

在这里插入图片描述

2.2 上传大文件

执行命令将项目克隆到本地：

git clone http://xxxx/xxx/xxx.git

此时，.git 文件夹大小为 30.7KB。

为了更加全面地测试，我们创建两个分支，并且分别上传文件。

分支、文件结构对应关系如下：

  • dev-test1 分支

    | - pdf 文件夹

    ​ | - test_1.pdf 文件，12.8MB

    ​ | - test_2.pdf 文件，12.8MB

  • dev-test2 分支

    | - pdf 文件夹

    ​ | - test_1.pdf 文件，12.8MB

    ​ | - test_2.pdf 文件，12.8MB

相关命令如下：

# 创建dev-test1分支
git checkout -b dev-test1
git add -A .
git commit -m "update test1"
git push origin dev-test1# 创建dev-test2分支
git checkout -b dev-test2
git add -A .
git commit -m "update test2"
git push origin dev-test2

2.3 上传结果

将大文件上传到 GitLab 后，仓库的大小如下：

  • .git：11.2MB
  • GitLab：11.3MB

在这里插入图片描述

三、解决方案

注意：操作前要保证是最新版本。

3.1 GitLab备份与还原

1）备份

在操作之前，我们要先备份 GitbLab 中的项目。最简单的方式就是直接将项目导出来。

在 GitLab 上打开项目，进入菜单 Settings -> General -> Advanced，点击 Expand 打开折叠。

在这里插入图片描述

点击 Export project。

在这里插入图片描述

可以看到提示，这个导出是一个异步的操作，当导出完毕之后会将通知发送到邮箱。

在这里插入图片描述

邮件中会有一个下载链接，点击链接下载，保存24小时。

在这里插入图片描述

下载后文件如下，文件名格式为：日期_时分秒_用户名_项目名.tar.gz

在这里插入图片描述

2）还原

点击首页的 New project。

在这里插入图片描述

选择 Import project。

在这里插入图片描述

选择 GitLab export。

在这里插入图片描述

输入项目名称，选择我们之前导出的 .tar.gz 文件，点击 Import project。

在这里插入图片描述

还原完毕，分支和大小都在。

在这里插入图片描述

3.2 删除方式一：git filter-repo 命令【推荐】

  • git-filter-repo 官网： https://github.com/newren/git-filter-repo
  • python 官网： https://www.python.org/

注意：git-filter-repo 工具需要依赖 Git 和 Python。

1）安装
# 安装（pip是Python自带的安装工具）
pip install git-filter-repo
# 查看版本
git-filter-repo --version

执行结果：

在这里插入图片描述

注意：git-filter-repo 需要在一个刚刚 clone 下来的仓库中进行操作，否则会操作失败。

Aborting: Refusing to destructively overwrite repo history since
this does not look like a fresh clone.
(expected at most one entry in the reflog for HEAD)
Please operate on a fresh clone instead. If you want to proceed
anyway, use --force.

在这里插入图片描述

2）删除本地仓库文件

git clone 到本地后立即执行如下命令：

（不要做切换分支等操作，否则会报错，删除重新克隆才行。）

# 模糊匹配，删除所有pdf文件（会同时删除pdf文件夹）
git filter-repo --path-glob '*.pdf' --invert-paths# 补充：精确匹配，仅删除pdf/test_1.pdf
git filter-repo --path-glob 'pdf/test_1.pdf' --invert-paths

执行结果如下：

在这里插入图片描述

git filter-repo 命令本身是用来将处理后的本地仓库重新推送到新的远程仓库用的，所以执行命令之后，查看 .git/config 配置文件，里面远程仓库的内容都被清空了：

在这里插入图片描述

执行之后，查看本地 .git 文件夹大小，从 11.2MB 直降至 32.8KB。

3）重新关联远程仓库

重新关联远程仓库的命令如下：

git remote add origin https://git.xxx.cn/acgkaka/my-test.git
4）删除远程仓库文件

执行如下命令，将本地仓库的改动强制推送到远程仓库即可。

git push --force origin --all

执行结果如下：

在这里插入图片描述

此时，GitLab 的远程仓库大小还是 11.2 MB，并无效果，别担心，还有最后一步操作。

在这里插入图片描述

4）clean up 清理远程仓库

做完上面的操作之后，等待半小时，是的，等待30分钟，因为 GitLab 不会清理半小时内提交的文件。

在 GitLab 上打开项目，进入菜单 Settings -> Repository -> Repository cleanup，点击 Expand 打开折叠。

在这里插入图片描述

在使用 clean up 时，需要提交一个文件，这个文件就是文件根目录下的 .git/filter-repo/commit-map。

在这里插入图片描述

可以看到提示，这个导出是一个异步的操作，当cleanup完毕之后会将通知发送到邮箱。

在这里插入图片描述

邮件中会说明 cleanup 后的仓库大小，为 0.1MB。

在这里插入图片描述

再去 GitLab 查看远程仓库大小，从 11.3MB 直降至 51KB，瘦身成功。

在这里插入图片描述

（经验证，这种方式删除掉的历史文件，即使有其他成员的本地仓库有未提交的版本，需要复制出来，删除本地仓库重新克隆后，再粘贴提交。）

3.3 删除方式二：git branch-filter 命令【不推荐】

注意： 目前经过尝试，发现 git branch-filter 虽然可以删除分支中的文件历史、提交记录，但是并不会减少 GitLab 中远程仓库的大小。

1）删除本地仓库文件

可以直接操作删除所有分支的文件，但是要注意必须保证所有分支都是最新代码才行。

也可以切换到具体分支，执行 git pull 拉取最新代码后，再进行删除，只要去除后面的 -- --all即可。

# 模糊匹配，删除所有pdf文件（会同时删除pdf文件夹）
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch '*.pdf'" --prune-empty --tag-name-filter cat -- --all# 补充：精确匹配，仅删除pdf/test_1.pdf
git filter-branch --force --index-filter "git rm --cached --ignore-unmatch 'pdf/test_1.pdf'" --prune-empty --tag-name-filter cat -- --all

执行结果如下，可以看到 dev-test1 和 dev-test2 分支被重写了。

在这里插入图片描述

2）删除远程仓库文件

执行如下命令，将本地仓库的改动强制推送到远程仓库即可。

# 推送本地所有分支到远程
git push --force --all

执行结果如下，可以看到 dev-test1 和 dev-test2 分支被强制更新了。

在这里插入图片描述

我们可以去 GitLab 上面看下提交记录，"如果之前的提交只涉及被删除文件的话，对应提交记录就会被清空，如果提交中除了被删除文件之外还包含其他文件，那么提交记录和其他文件都会被保留，不受影响。

在这里插入图片描述

3）重新 repack 远程分支到本地

执行如下命令，删除 refs/original 文件夹，并重新更新远程仓库到本地。

git for-each-ref --format='delete %(refname)' refs/original | git update-ref --stdin
git reflog expire --expire=now --all
git gc --prune=now

执行之后，查看本地 .git 文件夹大小，从 11.2MB 直降至 32KB。

再次声明，这种方式虽然可以删除分支中的文件历史、提交记录，但是并不会减少 GitLab 中远程仓库的大小。远程仓库大小依然为 11.3MB。（有大佬知道后面怎么处理的，欢迎评论补充）

在这里插入图片描述

整理完毕，完结撒花~ 🌻





参考地址：

1.使用 git-filter-repo 清理 git 历史记录，https://nyakku.moe/posts/2020/06/12/use-git-filter-repo-clean-git-history.html

2.利用git-filter-repo无缝迁移git项目，https://zhuanlan.zhihu.com/p/465078705

3.git: 如何减少.git文件的大小？https://blog.csdn.net/LOI_QER/article/details/107911115

4…git文件过大，github仓库瘦身，https://blog.csdn.net/luchengtao11/article/details/82531044

5.从Git仓库（GitLab）中彻底去除大文件，https://zhuanlan.zhihu.com/p/589903338

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/131816.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

将 UniLinks 与 Flutter 集成（安卓 AppLinks + iOS UniversalLinks）

将 UniLinks 与 Flutter 集成（安卓 AppLinks + iOS UniversalLinks）

让我们使用 Flutter Mobile 和 Flutter Web 集成 UniLinks。 一步一步的指导！ 我是 Pedro Dionsio，是葡萄牙 InspireIT 公司的 Flutter 开发人员，我写这个 UniLinks 教程的座右铭是： Firebase DynamicLinks 已被弃用&#xff0…
阅读更多...
机器学习笔记 - 感知器的数学表达

机器学习笔记 - 感知器的数学表达

一、假设前提 感知机（或称感知器，Perceptron）是Frank Rosenblatt在1957年就职于Cornell航空实验室（Cornell Aeronautical Laboratory）时所发明的一种人工神经网络。 它可以被视为一种最简单形式的前馈神经网络，是一种二元线性分类模型，其输入为实例的特征向量，输出为实…
阅读更多...
同为科技（TOWE）自动断电倒计时定时桌面PDU插排

同为科技（TOWE）自动断电倒计时定时桌面PDU插排

在每个家庭中，插排插座都是必不可少的电源设备。随着各种电器的普及应用和生活节奏的加快，人们对插排也有着多样化的需求，比如在插排中加入定时开关、自动断电、断电记忆、倒计时等等功能，让原本不支持智能家居的用电器秒变智能。…
阅读更多...
Mysql高级——Mysql8一主一从，多主多从搭建

Mysql高级——Mysql8一主一从，多主多从搭建

修改 /etc/hosts文件 ip地址 master1 ip地址 master2 ip地址 slave1 ip地址 slave2一主一从 create database master1db;create table master1db.master1tab(name char(50));insert into master1db.master1tab VALUES(1111);insert into master1db.master1tab VALUES(2222);m…
阅读更多...
Linux命令--mkdir创建目录的方法

Linux命令--mkdir创建目录的方法

原文网址&#xff1a;Linux命令--mkdir创建目录的方法_IT利刃出鞘的博客-CSDN博客 简介 本文介绍Linux创建目录命令--mkdir的用法。 格式 mkdir [选项] 目录… -m, –mode模式&#xff0c;设定权限<模式> (类似 chmod)&#xff0c;而不是 rwxrwxrwx 减 umask-p, --p…
阅读更多...
按键开发环境搭建

按键开发环境搭建

雷电模拟器 创建虚拟机 2.设置root权限 打开按键精灵连接虚拟机 开启悬浮 mumu模拟器操作 查找端口方法 adb connect 127.0.0.1:16416 设置-应用-所有应用-按键精灵-开启悬浮 步骤二&#xff1a;开启root 处理未root&#xff1a;中途如果有如下未root的情况&#x…
阅读更多...
基于SSM的网吧计费管理系统（有报告）。Javaee项目，ssm项目。

基于SSM的网吧计费管理系统（有报告）。Javaee项目，ssm项目。

演示视频&#xff1a; 基于SSM的网吧计费管理系统&#xff08;有报告&#xff09;。Javaee项目&#xff0c;ssm项目。 项目介绍&#xff1a; 采用M&#xff08;model&#xff09;V&#xff08;view&#xff09;C&#xff08;controller&#xff09;三层体系结构&#xff0c;通…
阅读更多...
Monarch Mixer：一种性能比Transformer更强的网络架构

Monarch Mixer：一种性能比Transformer更强的网络架构

六年前&#xff0c;谷歌团队在arXiv上发表了革命性的论文《Attention is all you need》。作为一种优势的机器学习网络架构&#xff0c;Transformer技术迅速席卷全球。Transformer一直是现代基础模型背后的主力架构&#xff0c;并且在不同的应用程序中取得了令人印象深刻的成功…
阅读更多...
OCS2工具箱

OCS2工具箱

实时系统优化控制工具箱 参考视频&#xff1a;ETH 最优控制/MPC 实时求解器 OCS2 使用入门 参考文档&#xff1a;OCS2 求解器入门 选择OCS2 OCS2 是一个 MPC 实时求解器 (SLQ/iLQR)&#xff0c;依赖 Pinocchio 构建机器人动力学模型&#xff0c;采用 RViz 或者 RaiSim 验证 (…
阅读更多...
[LeetCode] 2.两数相加

[LeetCode] 2.两数相加

一、题目描述 给你两个 非空 的链表&#xff0c;表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的&#xff0c;并且每个节点只能存储 一位 数字。 请你将两个数相加&#xff0c;并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外&#xff0c;这两个…
阅读更多...
【前端笔记】ant-design-vue 3.x使用modal.method()自定义content内容小记

【前端笔记】ant-design-vue 3.x使用modal.method()自定义content内容小记

在一次编写业务代码时&#xff0c;碰到了一种既想要Modal.success样式&#xff0c;有想要定制其content内容的情况。 大部分情况下&#xff0c;使用Modal.method()这种方式时&#xff0c;可能content内容固定都是字符串&#xff0c;那如果想要做更高级的交互怎么办&#xff1f…
阅读更多...
1.计算机系统概述

1.计算机系统概述

目录 一. 计算机的发展 二. 计算机硬件的基本组成 三. 各个硬件的工作原理 &#xff08;1&#xff09;主存储器 &#xff08;2&#xff09;运算器 &#xff08;3&#xff09;控制器 &#xff08;4&#xff09;一个例子 四. 计算机系统的层次结构 五. 计算机的性能指标…
阅读更多...
【Mysql】Mysql中表连接的原理

【Mysql】Mysql中表连接的原理

连接简介 在实际工作中&#xff0c;我们需要查询的数据很可能不是放在一张表中&#xff0c;而是需要同时从多张表中获取。下面我们以简单的两张表为例来进行说明。 连接的本质 为方便测试说明&#xff0c;&#xff0c;先创建两个简单的表并给它们填充一点数据&#xff1a; …
阅读更多...
SpringBoot项目从resources目录读取文件

SpringBoot项目从resources目录读取文件

SpringBoot 从 resources 读取文件 使用 Spring 给我们提供的工具类来进行读取 File file org.springframework.util.ResourceUtils.getFile("classpath:人物模板.docx");可能读取失败&#xff0c;出现如下错误&#xff1a; java.io.FileNotFoundException: clas…
阅读更多...
C语言实现九九乘法表

C语言实现九九乘法表

学习C语言后&#xff0c;我们会发现打印九九乘法表是很简单的&#xff0c;话不多说&#xff0c;我们上代码&#xff01; 目录 1.函数代码 2.运行结果 1.函数代码 #define _CRT_SECURE_NO_WARNINGS 1 #include<stdio.h> int main() {int i 1;int j 1;int n 0;//行数in…
阅读更多...
Instant-NGP论文笔记

Instant-NGP论文笔记

文章目录 论文笔记 论文笔记 instant-ngp的nerf模型与vanilla nerf的模型架构相同。 instant-ngp的nerf模型包含两个MLP&#xff0c;第一个MLP就两个全连接&#xff0c;输入维度是32&#xff08;16层分辨率x2&#xff09;&#xff0c;输出是16&#xff08;用于预测密度&#x…
阅读更多...
【LeetCode每日一题合集】2023.9.18-2023.9.24（⭐拓扑排序⭐设计数据结构:LRU缓存实现 LinkedHashMap⭐）

【LeetCode每日一题合集】2023.9.18-2023.9.24（⭐拓扑排序⭐设计数据结构:LRU缓存实现 LinkedHashMap⭐）

文章目录 337. 打家劫舍 III&#xff08;树形DP&#xff09;2560. 打家劫舍 IV&#xff08;二分查找动态规划&#xff09;LCP 06. 拿硬币&#xff08;简单贪心模拟&#xff09;2603. 收集树中金币⭐思路——拓扑排序删边 2591. 将钱分给最多的儿童&#xff08;分类讨论&#xf…
阅读更多...
记一次pdjs时安装glob出现，npm ERR! code ETARGET和npm ERR! code ELIFECYCLE

记一次pdjs时安装glob出现，npm ERR! code ETARGET和npm ERR! code ELIFECYCLE

如往常一样&#xff0c;我使用pdjs来编译proto文件&#xff0c;但出现了以下报错&#xff1a; 大致就是pdjs的util在尝试执行npm install glob^7.2.1 escodegen^1.13.0时出错了 尝试手动执行安装&#xff0c;escodegen被正确安装&#xff0c;但glob^7.2.1出错 npm ERR! code E…
阅读更多...
Redis那些事儿（三）

Redis那些事儿（三）

文章目录 1. 前言2. 常用api介绍3. 需求假设&#xff08;获取离我最近的停车场&#xff09;4. 代码示例 1. 前言 接着上一篇Redis那些事儿&#xff08;二&#xff09; &#xff0c;这一篇主要介绍Redis基于Geo数据结构实现的地理服务&#xff0c;它提供了一种方便的方式来存储和…
阅读更多...
库房管理软件采购申请流程代码实现解析

库房管理软件采购申请流程代码实现解析

300rmb掏了个javavue2的小系统&#xff0c;学习代码&#xff0c;调整下申请流程。 原有的入库流程是&#xff0c;库管&#xff08;admin&#xff09;提出采购申请给采购员&#xff08;caigou&#xff09;&#xff0c;采购员采购入库时点击入库完成采购入库流程。 想弄清后端代…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023