大模型学习资料整理:如何从0到1学习大模型,搭建个人或企业RAG系统,如何评估与优化(更新中...)

通过本文您可以了解到:

  • 学习:从小白如何入手,从0到1开始学习大模型。
  • RAG系统:我想搭建属于自己或者企业的RAG系统,我该怎么去做?
  • 评估:微调后的模型或者RAG系统,如何评估自己的模型和系统?有哪些工具集、数据库、指标可以使用?
  • 优化:怎么去优化RAG系统?包括:prompt工程,LLM选择,embedding选择,数据清洗,如何分块,检索,二阶段检索等

文章目录

  • 如何学习
    • llm-action
    • llm-universe
    • self-llm
    • Awesome-AGI
  • 模型下载地址
    • Huggingface官网
    • Huggingface 镜像站
    • ModelScope
    • wisemodel
  • 开源模型
    • LLama
      • Chinese-LLaMA-Alpaca
      • Llama-Chinese
    • 国内大模型整理
      • Awesome-Chinese-LLM
  • Prompt工程
    • promptingguide
    • LearnPrompt
    • LangGPT
  • 优化
  • 评估
    • Awesome-LLM-Eval
  • 工具
    • langchain
    • streamlit
    • gradio

欢迎大家访问个人博客网址:https://www.maogeshuo.com,博主努力更新中…

如何学习

给了以下几个推荐网站,每个网站各有侧重点

llm-action

  • https://github.com/liguodongiot/llm-action

侧重于大模型的训练、推理、压缩等

llm-universe

  • https://github.com/datawhalechina/llm-universe

大模型应用开发,如何搭建知识库、构建RAG应用等

self-llm

  • https://github.com/datawhalechina/self-llm

各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导

在这里插入图片描述

Awesome-AGI

  • https://github.com/ArronAI007/Awesome-AGI

模型下载地址

国内访问Huggingface官网下载模型和数据集,容易被墙。
可以使用Huggingface镜像站、ModelScope、wisemodel,若无法访问Huggingface官网,推荐Huggingface镜像站,理由是里面收集的模型和数据集比较全

Huggingface官网

  • https://huggingface.co/

Huggingface 镜像站

  • https://hf-mirror.com/

ModelScope

  • https://modelscope.cn/my/overview

wisemodel

  • https://wisemodel.cn/home

开源模型

LLama

Chinese-LLaMA-Alpaca

  • github地址

Llama-Chinese

  • Llama-Chinese

国内大模型整理

在这里插入图片描述

Awesome-Chinese-LLM

  • Awesome-Chinese-LLM

介绍了如何训练、微调、部署llama

Prompt工程

提示工程是一个较新的学科,应用于开发和优化提示词(Prompt),帮助用户有效地将语言模型用于各种应用场景和研究领域。

promptingguide

  • 官网地址
    在这里插入图片描述

LearnPrompt

  • 官网地址
    在这里插入图片描述

LangGPT

飞书地址
在这里插入图片描述

优化

评估

Awesome-LLM-Eval

  • https://github.com/onejune2018/Awesome-LLM-Eval/blob/main/README_CN.md

总结了几乎所有的测试工具、数据集合、model、论文等,以评估工具为例:

  • OpenCompass
  • evals

补充:

  • 评估工具:LangSmith https://docs.smith.langchain.com/

工具

langchain

  • langchain中文网

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它使得应用程序能够:

  • 具有上下文感知能力:将语言模型连接到上下文来源(提示指令,少量的示例,需要回应的内容等)
  • 具有推理能力:依赖语言模型进行推理(根据提供的上下文如何回答,采取什么行动等)

streamlit

  • streamlit

快速构建和部署应用程序

gradio


由于作者水平有限,因此不能保证文中内容准确无误,如有错误,请在下方留言,欢迎指出,谢谢!

大家有更好的学习资料,或者训练、应用落地,优化、评估等经验,欢迎大家在评论区留言,大家一起共勉和进步~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/20284.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

windows配置dns访问git , 加快访问速度保姆级教程

设置 DNS 访问 Git 需要修改电脑的 DNS 配置。下面是具体的操作流程: 第一步:打开命令提示符或终端窗口 在 Windows 系统中,可以按下 Win R 组合键,然后输入 “cmd”,按下 Enter 键打开命令提示符窗口。在 macOS 或 …

【活动】GPT-4O:AI语言生成技术的新里程碑

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 GPT-4O:AI语言生成技术的新里程碑引言GPT系列简史回顾GPT-1: 初露锋…

国际荐酒师(香港)协会亮相香港国际葡萄酒和烈酒展览会

2024年5月28日至30日,备受瞩目的香港国际葡萄酒和烈酒展览会VINEXPO Hong Kong在香港盛大举办。作为亚太区最盛大的葡萄酒展会,本届展会不仅吸引了全球葡萄酒和烈酒行业的目光,更见证了国际荐酒师(香港)协会&#xff0…

(2) qml诞生的原因 和Qt Creator开发环境的介绍

文章目录 qml诞生原因Qt Quick应⽤程序Qt Creator环境1、MSVC2、MinGWMSVC的优缺点MinGW的优缺点 最后的选择延伸阅读 一些常用的快捷键统一格式化代码统一qml 语言的格式Locator 定位器帮助 qml诞生原因 可以在Qt5中开发的不同类型的经典应⽤程序。桌⾯应⽤程 序正在发⽣着改…

GIS结合物联网:塑造智慧地球的新篇章

在信息技术飞速发展的今天,地理信息系统(GIS)与物联网(IoT)的深度融合,正以前所未有的方式重塑着我们对世界的认知。本文将深入探讨GIS与物联网结合的原理、应用实践以及面临的挑战与未来展望,共…

乡村振兴与乡村旅游品牌化:打造具有地方特色的乡村旅游品牌,提升乡村旅游吸引力,促进美丽乡村建设

目录 一、引言 二、乡村旅游品牌化的重要性 (一)增强乡村旅游的辨识度 (二)提升乡村旅游的附加值 (三)促进乡村文化的传承与创新 三、打造具有地方特色的乡村旅游品牌 (一)明…

Linux实验报告(二)——Linux系统中的常用命令

目录 一、实验名称: 二、仪器、设备: 三、参考资料: 四、实验目的: 五、实验内容(步骤): 六、实验数据(程序)记录: ​编辑 ​编辑 七、实验结果分析…

公司网站模板制作

公司网站模板的制作是一项极其重要的工作,因为网站模板决定了网站的整体风格和用户体验。一个漂亮、易用的网站模板将会吸引更多的用户,而一个糟糕的网站模板则会让用户不供选择。下面就让我们介绍一下公司网站模板的制作。 首先,一个好的网站…

前端 CSS 经典:mac docker 效果

前言:浏览器上实现 mac docker 效果,实现思路,1. 布局,方框间距用元素代替,因为有放大缩小功能,不用元素的话,不好控制。2. 定义个 css 变量 i,用来代表放大比例。3. 确定每个元素的…

信息系统项目管理师软考高级论文教程必过论文分享

很多人提到软考就会想到信息系统项目管理师和系统集成项目管理工程师,这两个不同的软考内容的区别不仅仅在于一个是高级,一个是中级,还有一个区别是它们的考试内容也是不同的,高级的信息系统项目管理师考试多了一项论文的考试&…

USART串口数据包

USART串口数据包 先来看两张图,本次程序是串口收发HEX数据包,第二种是串口收发文本数据包,之后两个图,展示的就是接收数据包的思路。 在PB1这里接了一个按键,用于控制。在串口助手,在发送模式和接收模式都…

SpringSecurity6从入门到实战之整合原生Filter链

SpringSecurity6从入门到实战之整合原生Filter链 DelegatingFilterProxy 从官网上来进行学习可以看到第一个类就是DelegatingFilterProxy,我们首先看看官网给下的定义. Spring提供了一个名为DelegatingFilterProxy的过滤器实现,它允许在Servlet容器的生命周期和Spr…

Raid的全局热备和独立热备

目录 Hot Spare背景: 1.定义与功能 2.数据存储与容量 3.配置模式 4.数量限制: 5.数据重建: 6.管理与维护 实操全局热备和独立热备: 配置全局热备: 配置独立热备: Hot Spare背景: 在RAID配置中,Hot Spare(热备)是一个非常重要的概念…

发现一个ai工具网站

网址 https://17yongai.com/ 大概看了下,这个网站收集的数据还挺有用的,有很多实用的ai教程。 懂ai工具的可以在这上面找找灵感。

善听提醒遵循易经原则。世界大同只此一路。

如果说前路是一个大深坑,那必然是你之前做的事情做的不太好,当坏的时候,坏的结果来的时候,是因为你之前的行为,你也就不会再纠结了,会如何走出这个困境,是好的来了,不骄不躁&#xf…

事先预判事的结果事先预防从容应对防微杜渐

很多人呢,学习倪老师的知识,也都是从他的中医方面,认识了他很多的东西呢,对于倪老师的知识性的总结的东西呢,不是很了解。 其实啊,倪老师也是一个,对于这种文化的传承,有着很大很深刻…

YOLOv10涨点改进:卷积魔改 | 分布移位卷积(DSConv),提高卷积层的内存效率和速度

💡💡💡本文改进内容: YOLOv10如何魔改卷积进一步提升检测精度?提出了一种卷积的变体,称为DSConv(分布偏移卷积),其可以容易地替换进标准神经网络体系结构并且实现较低的存储器使用和较高的计算速度。 DSConv将传统的卷积内核分解为两个组件:可变量化内核(VQK)和…

C# yolov8 TensorRT +ByteTrack Demo

C# yolov8 TensorRT ByteTrack Demo 目录 效果 说明 项目 代码 Form2.cs YoloV8.cs ByteTracker.cs 下载 参考 效果 说明 环境 NVIDIA GeForce RTX 4060 Laptop GPU cuda12.1cudnn 8.8.1TensorRT-8.6.1.6 版本和我不一致的需要重新编译TensorRtExtern.dll&…

微调医疗大模型,与通用大模型效果对比

下面是一份CT描述: “肝脏大小、形态未见明确异常。肝S2见一结节状低密度影,大小约13x11mm,增强扫描呈明显渐进性强化,延迟期呈等密度。余肝实质内未见异常密度影或强化灶。肝内大血管及其分支走行未见异常,肝门区层次…

ip地址告诉别人安全吗?ip地址告诉别人会有什么风险

IP地址告诉别人安全吗?在数字化时代,IP地址作为网络连接的关键标识符,承载着重要的安全意义。然而,很多人可能并不清楚,轻易地将自己的IP地址告诉他人可能带来一系列安全风险。那么,IP地址告诉别人会有什么…