gitlab git lfs的替代软件整理汇总及分析

文章目录

  • 前言
  • 替代软件分析
    • git-annex
    • git-fat
    • git-sym
    • git-meida
  • 总结

前言

git-lfs科普
Git LFS(Large File Storage)是一个Git扩展,用于管理大型文件。Git LFS通过将大型文件存储在Git仓库之外,从而加快了Git操作的速度。它使用指针来跟踪大型文件,并在需要时下载它们。Git LFS支持各种大型文件,例如图像、视频和音频文件等。

Git LFS的工作原理是将大型文件存储在Git LFS服务器上,而不是存储在Git仓库中。当您提交更改时,Git LFS会将指向这些大型文件的指针添加到您的提交中。当其他人克隆您的仓库时,Git LFS会自动下载这些大型文件。

使用Git LFS可以避免Git仓库变得过于庞大,从而导致Git操作变慢。此外,由于大型文件存储在Git LFS服务器上,因此可以更轻松地与其他人共享这些文件。

最近遇到的问题

最近git lfs再pull的时候总是提示:

Smudge error: Error downloading
...(af56f3593fcfffd59e2f8164f9e5a72dc4f70acfe9aa3d2303d0a46719c74238): LFS: Repository or object not found:

尝试解决但是发现基本是无解的,不知道什么异常导致服务器上的lfs文件丢失了,重新上传,强制上传都提示文件已存在,所以其中一部分文件就这样完全丢失了。

当时在开启gitlab lfs服务时也有看到对于lfs的吐槽的文章,但由于二进制文件如果直接commit到git中会导致repo快速增大,且在pull的时候项目整体体积变得很大,那么有没有什么替代软件呢,博主查到如下几个:git-annex、git-fat、git-media、git-sym

及吐槽的文章:Git推出大文件储存工具Git LFS,但它真的好用吗?

替代软件分析

git-annex

这款软件相对来说是最好用的,也是博主测试后最后采用的,可以将数据同步传入到gitlab repo中,不用单独找存储的位置。附上几篇文章可能会帮助到你:

  1. Git 从LFS迁移到annex-极客笔记
  2. git 移除 LFS
  3. 如何使用 Git 管理二进制大对象
  4. github大文件上传:使用LFS (以及如何将lfs从仓库中移除!)

git-annex (branchable.com)这个是git annex官方的说明介绍页,里边不但有讲原理,也对如何使用有详细的介绍,出了什么问题也可以在该页面搜索。

git-fat

git-fat仅依赖于库存 Python 和 rsync,其有如下特点:

  • 源存储库的克隆体积小且速度快,因为没有传输二进制文件,但功能齐全,具有完整的元数据和增量检索(粒度有限,并将元数据与内容耦合)git clone --depth
  • git-fat支持对大型二进制文件和传统版本控制文件使用相同的工作流程,但在内部单独管理“胖”文件
  • git-bisect即使二进制文件的版本随时间变化也能正常工作
  • 选择性控制将哪些大文件拉入本地存储
  • 本地 FAT 对象存储可以在多个克隆之间共享,甚至可以由不同的用户共享
  • 可以轻松支持分布在多个主机上的胖对象存储

附上git-fat的gitlab官方地址jedbrown/git-fat: Simple way to handle fat files without committing them to git, supports synchronization using rsync (github.com)

git-sym

该软件与git-fat有很多相似点,不过看了提交日志自从2018年已经很久没有跟新了,此处还是附上官方的说明,有兴趣可以看看但是不建议使用。

Rationale · cdunn2001/git-sym Wiki (github.com)

git-meida

git-media 是使用 Ruby 语言开发的,所以首先要安装 gem(LCTT 译注:Gem 是基于 Ruby 的一些开发工具包)。

GitMedia 扩展允许您将 Git 用于大型媒体文件而不将媒体存储在 Git 本身中。

alebedev/git-media: Handling large media files in Git (github.com)

在使用前需要配置 git 要将大文件存储在哪里。 有五个选项:

  1. 远程存储在亚马逊的S3中
  2. 本地存储在文件系统路径中
  3. 通过SCP远程存储(应与任何SSH服务器一起使用)
  4. 在atmos中远程存储
  5. 通过 WebDav 远程存储

总结

如果你真的想要替换gitlab lfs服务,可以采用git annex作为替代品。它可以不用单独建立其他的存储设备或同步到云端什么的,与.git同步上传到服务器中同一管理,它会在git annex init时建立git-annex的branch,理论上源文件会存储在这里,记得将这个branch保护起来。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/101576.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

新的“HTTP/2 Rapid Reset”0day攻击打破了DDoS记录

导语 最近,一种名为“HTTP/2 Rapid Reset”的DDoS(分布式拒绝服务)攻击技术成为了热门话题,该技术自8月份以来被积极利用作为零日漏洞,打破了以往的攻击记录。亚马逊网络服务(Amazon Web Services&#xff…

C#的值类型和引用类型

不得不说c#的类型系统设计有点意思,不同的编程语言对于类型的设计各有取舍。 值类型: 当我们将一个int类型的值赋值到另一个int类型的值时,它实际上是创建了一个完全不同的副本。换句话说,如果你改变了其中某一个的值&#xff0…

短视频账号矩阵系统源码saas===独立部署

前言: 短视频账号矩阵是指在不同的短视频平台上,一个个人或企业所拥有的账号数量和分布情况。由于不同的短视频平台受众人群和内容类型等因素不同,因此拥有更多账号可以在更广泛的受众中传播内容,提高曝光度和流量。短视频账号矩阵…

uniapp获取公钥、MD5,‘keytool‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件。

获取MD5、SHA1、SHA256指纹信息 通过命令的形式获取 winr调出黑窗口cd到证书所在目录输入keytool -list -v -keystore test.keystore,其中 test.keystore为你的证书名称加文件后缀按照提示输入你的证书密码,就可以查看证书的信息 通过uniapp云端查看(证书是在DClou…

给 Linux0.11 添加网络通信功能 (Day3: 完成 MIT6.S081 最终实验 网卡驱动(1. 安装工具链和依赖))

url: https://pdos.csail.mit.edu/6.S081/2020/labs/net.html 首先看 tools章节:https://pdos.csail.mit.edu/6.S081/2020/tools.html 浏览了一下,就是要我们安装依赖 执行以下命令 sudo apt-get install git build-essential gdb-multiarch qemu-syst…

创建一个基本的win32窗口

1.建立一个窗口的基本步骤 (1)向系统注册一个窗体类 (2)根据窗体类创建窗口 (3)进入消息循环 2.程序结构 (1)主函数的输入参数 int WINAPI WinMain( HISTANCE hInstance,//当前窗口的句柄 HINSTANCE hPr…

腾讯云2核4G轻量服务器5M带宽支持多少人同时在线?

腾讯云轻量2核4G5M带宽服务器支持多少人在线访问?5M带宽下载速度峰值可达640KB/秒,阿腾云以搭建网站为例,假设优化后平均大小为60KB,则5M带宽可支撑10个用户同时在1秒内打开网站,从CPU内存的角度,网站程序效…

界面组件DevExpress WinForms v23.2新功能预览 - 增强MVVM相关功能

本文主要描述了DevExpress WinForms即将在几个月之后发布的v23.2中包含的新功能,持续关注我们获取更多最新资讯哦~ DevExpress WinForms有180组件和UI库,能为Windows Forms平台创建具有影响力的业务解决方案。同时能完美构建流畅、美观且易于使用的应用…

什么是Python虚拟环境?

视频教程地址:https://www.bilibili.com/video/BV1Zy4y1F7hC/ 大家好,这一集我们来介绍一下什么是Python虚假环境。虚拟环境是python基础知识中非常重要的一个知识点。 相信python新手都会遇到过这样的问题,在命令行中下载了某个三方库在py…

C++内存管理:其四、使用链表实现简易版内存池

一、为什么需要内存池? 按照标准库的写法,new一个对象的时候,会malloc一块内存;delete的时候会free这块内存。频繁的malloc与free存在两个问题: (1)耗时,这两个都是操作系统层级的函…

python3 -- json档案处理

import json 处理JSON文件通常涉及读取、解析和写入JSON数据的过程。下面是一些在Python中处理JSON文件的常用方法: 1. 读取JSON文件: 使用Python内置的json模块可以轻松读取JSON文件。首先,需要导入json模块并打开文件,然后使用…

前端本地存储方案-localForage-vue3中使用

前言 前端有多种本地存储方案可供选择,常见的有: Cookie:小型的文本文件,存储少量数据Web Storage :包括:localStorage和sessionStorage,存储数据有上限(5M)左右Indexe…

系统架构师备考倒计时26天(每日知识点)

详细的项目范围说明书,是项目成功的关键。 范围定义的输入包括以下内容: ① 项目章程。如果项目章程或初始的范围说明书没有在项目执行组织中使用,同样的信息需要进一步收集和开发,以产生详细的项目范围说明书。 ② 项目范围管理计划。 ③ 组…

mac M2芯片在使用Android studio 编译问题bad cpu type in executable android

由于mac的intel芯片的一些指令集没有同步在M1 M2芯片上所以需要做兼容 打开控制台(通过访达 - 应用程序 - 实用工具 - 终端 ) 输入 softwareupdate --install-rosetta 之后在输入 A 就可以了。 原产考地址:硬核!在 M1 芯…

一个非常简单的变分量子分类器 (VQC)

一、说明 在之前的帖子(这里和这里)中,我已经开始谈论 QML,为什么以及如何学习,从现在开始,我将开始分享我的研究和发现,到目前为止,这些都是非常基本的。 二、实验概述 今天&#…

学习黑马程序员JavaScript总结

今天注意学习了数据类型、运算符、常量、数组,这些内容接受的还是比较快的,因为前面学过C语言还有Python,比较不同的地方就是未定义类型undefined,这个类型是在只声明了变量但未赋值,而unll空类型它是赋了值但该值是空…

Docker-consul容器服务更新与发现

目录 一、consul简介 1、什么是服务注册与发现 2、什么是consul 3、consul的关键特性 二、consul部署 1、consul服务器部署 1.1 建立consul服务 2、查看集群信息 3、通过http api 获取集群信息 三、registrator部署 1、安装Gliderlabs/Registrator 2、测试服务发现…

常见排序算法详解

目录 排序的相关概念 排序: 稳定性: 内部排序: 外部排序: 常见的排序: 常见排序算法的实现 插入排序: 基本思想: 直…

Milvus踩坑笔记

本文用于记录在学习 Milvus文档时所遇到的一些Bug或报错及解决方法 参考文章: 官方demo:在Dynamic Schema的集合中插入数据 报错1:auto id enabled, id shouldnt in entities[0] 问题描述 此报错出现在Milvus官方在介绍 Dynamic Schema …

7.1 yolov5优化模型时,自动标注xml数据

yolov5优化模型时,一般需要继续标注一些检测错误的图片,将其标为xml数据。以下是根据训练好的模型自动标注xml数据的python代码: 注意:代码中包含了本人的yolov5的测试过程,测试过程可以自己根据yolov5的测试文件自行…