git、huggingface 学术加速

1、git

有时候服务器不能直接访问 github,下载代码会很麻烦;安装库的时候,pip xx @git 就更难了

比如,这次我需要安装 unsloth,官方给出的脚本是:

pip install “unsloth[cu121-torch220] @ git+https://github.com/unslothai/unsloth.git”

unsloth repo 下载后,没有常见的 setup.py 文件,这要如何处理呢? 我没有找到合适的方法


看一些教程,发现 学术加速的方法:https://mirror.ghproxy.com

我可以在服务器上,这样下载 git:

git clone https://mirror.ghproxy.com/https://github.com/unslothai/unsloth.git


那么是否可以按这个模式 安装呢? 尝试了下,是可行的:

pip install “unsloth[cu121-torch211] @ git+https://mirror.ghproxy.com/https://github.com/unslothai/unsloth.git”


有时候会报下述错误,但再尝试一次就好了

error: RPC failed; curl 56 GnuTLS recv error (-9): A TLS packet with unexpected length was received.


后记 : 有人说 把镜像复制到gitee,然后 git gitee
这个也不错


2、huggingface

借助 hf-mirror 下载数据:https://hf-mirror.com

export HF_ENDPOINT=https://hf-mirror.com

----下载模型
gated 模型需要 token,其他不需要则可以不加这个参数
huggingface-cli download --token hf_xxx meta-llama/Meta-Llama-Guard-2-8B --local-dir Llama-Guard-2-8B

---- 下载数据
huggingface-cli download --repo-type dataset teknium/OpenHermes-2.5


你可以把 HF_ENDPOINT 写到环境变量 ~/.bashrc (linux), ~/.bash_profile (macOS)

export HF_ENDPOINT=https://hf-mirror.com

保存、source 后,检验

echo $HF_ENDPOINT

2024-07-13(六)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/44946.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【python】函数重构

函数重构 函数重构pycharm函数重构步骤函数重构练习 函数重构 函数重构是指对现有函数进行修改和优化的过程。重构的目的是改善代码的可读性、可维护性和灵活性,同时保持其功能不变。函数重构通常包括以下步骤: 理解函数的功能和目的。了解函数的作用和…

OSPF.综合实验

1、首先将各个网段基于172.16.0.0 16 进行划分 1.1、划分为4个大区域 172.16.0.0 18 172.16.64.0 18 172.16.128.0 18 172.16.192.0 18 四个网段 划分R4 划分area2 划分area3 划分area1 2、进行IP配置 如图使用配置指令进行配置 ip address x.x.x.x /x 并且将缺省路由…

Sortable.js板块拖拽示例

图例 代码在图片后面 点赞❤️关注&#x1f64f;收藏⭐️ 页面加载后显示 拖拽效果 源代码 由于js库使用外链&#xff0c;所以会加载一会儿 <!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta name&qu…

【Go系列】 Go的错误处理

承上启下 上一篇文章中介绍了struct和interface&#xff0c;在Go语言中&#xff0c;是没有Class这个概念的&#xff0c;我们可以通过Struct和方法的组合&#xff0c;来实现Class。我们通过Struct嵌套来实现继承这样的一种机制&#xff0c;并且不用设置虚函数这样的特殊说明。同…

如何防止第三方DLL注入自己的进程?

PROCESS_MITIGATION_BINARY_SIGNATURE_POLICY 结构 struct _PROCESS_MITIGATION_BINARY_SIGNATURE_POLICY {union {DWORD Flags;struct {DWORD MicrosoftSignedOnly : 1;DWORD StoreSignedOnly : 1;DWORD MitigationOptIn : 1;DWORD AuditMicrosoftSignedOnly : 1;DWORD Audit…

C语言 ——— 实用调试技巧(Visual Studio)

目录 Debug 和 Release 的区别 F10 --- 逐过程调试 & F11 --- 逐语句调试 F9 --- 新建/切换断点 & F5 --- 开始调试 shift F5 & ctrl F5 Debug 和 Release 的区别 Debug&#xff1a;通常为调试版本&#xff0c;它包含调试信息&#xff0c;并且不作任何优化…

一 GD32 MCU 开发环境搭建

GD32 系列为通用型 MCU &#xff0c;所以开发环境也可以使用通用型的 IDE &#xff0c;目前使用较多的是 KEIL、 IAR 、 GCC 和 Embedded Builder &#xff0c;客户可以根据个人喜好来选择相应的开发环境。 目录 1、使用 Keil 开发 GD32 目前市面通用的MDK for ARM版本有Kei…

华为OD机试真题2024版-路口最短时间问题

题目描述 假定街道是棋盘型的&#xff0c;每格距离相等&#xff0c;车辆通过每格街道需要时间均为 timePerRoad&#xff1b; 街道的街口&#xff08;交叉点&#xff09;有交通灯&#xff0c;灯的周期 T(lights[row][col]) 各不相同&#xff1b; 车辆可直行、左转和右转&…

企业网三层架构

企业网三层架构&#xff1a;是一种层次化模型设计&#xff0c;旨在将复杂的网络设计分成三个层次&#xff0c;每个层次都着重于某些特定的功能&#xff0c;以提高效率和稳定性。 企业网三层架构层次&#xff1a; 接入层&#xff1a;使终端设备接入到网络中来&#xff0c;提供…

Python爬虫教程第二篇:进阶技巧与实战案例

Python爬虫教程第二篇&#xff1a;进阶技巧与实战案例 在上一篇教程中&#xff0c;我们学习了Python爬虫的基础概念、基本流程以及一个简单的入门实践案例。本篇教程将带领大家进一步探索Python爬虫的进阶技巧&#xff0c;并提供一个实战案例&#xff0c;帮助大家提升爬虫技能…

Android12 MultiMedia框架之GenericSource extractor

前面两节学习到了各种Source的创建和extractor service的启动&#xff0c;本节将以本地播放为例记录下GenericSource是如何创建一个extractor的。extractor是在PrepareAsync()方法中被创建出来的&#xff0c;为了不过多赘述&#xff0c;我们直接从GenericSource的onPrepareAsyn…

Mojolicious命令行工具:自动化Web开发的瑞士军刀

Mojolicious是一个高性能的、基于Perl的Web开发框架&#xff0c;它提供了一整套工具来简化Web开发流程。其中&#xff0c;Mojolicious的命令行工具集是其强大功能的一部分&#xff0c;允许开发者快速生成项目模板、运行开发服务器、执行各种开发任务等。本文将详细介绍Mojolici…

qt 自定义信号号槽 简单举例

在Qt中&#xff0c;自定义信号和槽是一种非常灵活的方式来处理对象之间的通信。以下是一个简单的例子&#xff0c;展示了如何定义和使用自定义的信号和槽。 首先&#xff0c;我们定义一个名为MyClass的类&#xff0c;该类继承自QObject&#xff0c;并声明一个自定义信号和一个…

13_Shell系统函数

13_Shell系统函数和自定义函数 一、系统函数 basename 获取文件名 #!/bin/bash#basename 相对路径文件名 basename ./1.sh#basename 绝对路径文件名 basename /tmp/1.sh#basename 去除文件后缀名 basename /tmp/1.sh .shdirname 获取文件所在目录名 #!/bin/bash#dirname 相对路…

Redis持久化RDB,AOF

目 录 CONFIG动态修改配置 慢查询 持久化 在上一篇主要对redis的了解入门&#xff0c;安装&#xff0c;以及基础配置&#xff0c;多实例的实现&#xff1a;redis的安装看我上一篇&#xff1a; Redis安装部署与使用,多实例 redis是挡在MySQL前面的&#xff0c;运行在内存…

Week 6-杨帆-学习总结

- 46 语义分割和数据集 语义分割概念 语义分割是一种计算机视觉任务&#xff0c;其目标是将图像分割成属于不同语义类别的区域。与目标检测不同&#xff0c;语义分割关注的是像素级别的标注和预测&#xff0c;能够识别并理解图像中每一个像素的内容。这使得语义分割在理解图像…

产品经理-研发流程-敏捷开发-迭代-需求评审及产品规划(15)

敏捷开发是以用户的需求进化为核心&#xff0c;采用迭代、循序渐进的方法进行软件开发。 通俗来说&#xff0c;敏捷开发是一个软件开发流程&#xff0c;是一个采用了迭代方法的开发流程 简单来说&#xff0c;迭代就是把一个大产品拆分出一些最小的实现单位。完成不同的迭代就最…

机器学习筑基篇,Jupyter Notebook 精简指南

[ 知识是人生的灯塔&#xff0c;只有不断学习&#xff0c;才能照亮前行的道路 ] 0x00 Jupyter Notebook 简明指南 描述&#xff1a;前面我们已经在机器学习工作站&#xff08;Ubuntu 24.04 Desktop Geforce RTX 4070Ti SUPER&#xff09;中安装 Anaconda 工具包&#xff0c;其…

老物件线上3D回忆展拓宽了艺术作品的展示空间和时间-深圳华锐视点

在数字技术的浪潮下&#xff0c;3D线上画展为艺术家们开启了一个全新的展示与销售平台。这一创新形式不仅拓宽了艺术作品的展示空间&#xff0c;还为广大观众带来了前所未有的观赏体验。 3D线上画展制作以其独特的互动性&#xff0c;让艺术不再是单一的视觉享受。在这里&#x…

数据处理-Matplotlib 绘图展示

文章目录 1. Matplotlib 简介2. 安装3. Matplotlib Pyplot4. 绘制图表1. 折线图2. 散点图3. 柱状图4. 饼图5. 直方图 5. 中文显示 1. Matplotlib 简介 Matplotlib 是 Python 的绘图库&#xff0c;它能让使用者很轻松地将数据图形化&#xff0c;并且提供多样化的输出格式。 Ma…