大模型学习资料整理:如何从0到1学习大模型,搭建个人或企业RAG系统,如何评估与优化(更新中...)

通过本文您可以了解到:

  • 学习:从小白如何入手,从0到1开始学习大模型。
  • RAG系统:我想搭建属于自己或者企业的RAG系统,我该怎么去做?
  • 评估:微调后的模型或者RAG系统,如何评估自己的模型和系统?有哪些工具集、数据库、指标可以使用?
  • 优化:怎么去优化RAG系统?包括:prompt工程,LLM选择,embedding选择,数据清洗,如何分块,检索,二阶段检索等

文章目录

  • 如何学习
    • llm-action
    • llm-universe
    • self-llm
    • Awesome-AGI
  • 模型下载地址
    • Huggingface官网
    • Huggingface 镜像站
    • ModelScope
    • wisemodel
  • 开源模型
    • LLama
      • Chinese-LLaMA-Alpaca
      • Llama-Chinese
    • 国内大模型整理
      • Awesome-Chinese-LLM
  • Prompt工程
    • promptingguide
    • LearnPrompt
    • LangGPT
  • 优化
  • 评估
    • Awesome-LLM-Eval
  • 工具
    • langchain
    • streamlit
    • gradio

欢迎大家访问个人博客网址:https://www.maogeshuo.com,博主努力更新中…

如何学习

给了以下几个推荐网站,每个网站各有侧重点

llm-action

  • https://github.com/liguodongiot/llm-action

侧重于大模型的训练、推理、压缩等

llm-universe

  • https://github.com/datawhalechina/llm-universe

大模型应用开发,如何搭建知识库、构建RAG应用等

self-llm

  • https://github.com/datawhalechina/self-llm

各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导

在这里插入图片描述

Awesome-AGI

  • https://github.com/ArronAI007/Awesome-AGI

模型下载地址

国内访问Huggingface官网下载模型和数据集,容易被墙。
可以使用Huggingface镜像站、ModelScope、wisemodel,若无法访问Huggingface官网,推荐Huggingface镜像站,理由是里面收集的模型和数据集比较全

Huggingface官网

  • https://huggingface.co/

Huggingface 镜像站

  • https://hf-mirror.com/

ModelScope

  • https://modelscope.cn/my/overview

wisemodel

  • https://wisemodel.cn/home

开源模型

LLama

Chinese-LLaMA-Alpaca

  • github地址

Llama-Chinese

  • Llama-Chinese

国内大模型整理

在这里插入图片描述

Awesome-Chinese-LLM

  • Awesome-Chinese-LLM

介绍了如何训练、微调、部署llama

Prompt工程

提示工程是一个较新的学科,应用于开发和优化提示词(Prompt),帮助用户有效地将语言模型用于各种应用场景和研究领域。

promptingguide

  • 官网地址
    在这里插入图片描述

LearnPrompt

  • 官网地址
    在这里插入图片描述

LangGPT

飞书地址
在这里插入图片描述

优化

评估

Awesome-LLM-Eval

  • https://github.com/onejune2018/Awesome-LLM-Eval/blob/main/README_CN.md

总结了几乎所有的测试工具、数据集合、model、论文等,以评估工具为例:

  • OpenCompass
  • evals

补充:

  • 评估工具:LangSmith https://docs.smith.langchain.com/

工具

langchain

  • langchain中文网

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。它使得应用程序能够:

  • 具有上下文感知能力:将语言模型连接到上下文来源(提示指令,少量的示例,需要回应的内容等)
  • 具有推理能力:依赖语言模型进行推理(根据提供的上下文如何回答,采取什么行动等)

streamlit

  • streamlit

快速构建和部署应用程序

gradio


由于作者水平有限,因此不能保证文中内容准确无误,如有错误,请在下方留言,欢迎指出,谢谢!

大家有更好的学习资料,或者训练、应用落地,优化、评估等经验,欢迎大家在评论区留言,大家一起共勉和进步~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/20284.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

windows配置dns访问git , 加快访问速度保姆级教程

设置 DNS 访问 Git 需要修改电脑的 DNS 配置。下面是具体的操作流程: 第一步:打开命令提示符或终端窗口 在 Windows 系统中,可以按下 Win R 组合键,然后输入 “cmd”,按下 Enter 键打开命令提示符窗口。在 macOS 或 …

【活动】GPT-4O:AI语言生成技术的新里程碑

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 GPT-4O:AI语言生成技术的新里程碑引言GPT系列简史回顾GPT-1: 初露锋…

国际荐酒师(香港)协会亮相香港国际葡萄酒和烈酒展览会

2024年5月28日至30日,备受瞩目的香港国际葡萄酒和烈酒展览会VINEXPO Hong Kong在香港盛大举办。作为亚太区最盛大的葡萄酒展会,本届展会不仅吸引了全球葡萄酒和烈酒行业的目光,更见证了国际荐酒师(香港)协会&#xff0…

(2) qml诞生的原因 和Qt Creator开发环境的介绍

文章目录 qml诞生原因Qt Quick应⽤程序Qt Creator环境1、MSVC2、MinGWMSVC的优缺点MinGW的优缺点 最后的选择延伸阅读 一些常用的快捷键统一格式化代码统一qml 语言的格式Locator 定位器帮助 qml诞生原因 可以在Qt5中开发的不同类型的经典应⽤程序。桌⾯应⽤程 序正在发⽣着改…

物联网断点续传

断点续传是一种在网络传输中断后,能够从中断的位置继续传输的技术。它可以有效地避免因为网络不稳定、服务器故障、用户操作等原因导致的传输失败,节省了用户的时间和流量,提高了传输的效率和可靠性。断点续传在很多场景中都有广泛的应用&…

GIS结合物联网:塑造智慧地球的新篇章

在信息技术飞速发展的今天,地理信息系统(GIS)与物联网(IoT)的深度融合,正以前所未有的方式重塑着我们对世界的认知。本文将深入探讨GIS与物联网结合的原理、应用实践以及面临的挑战与未来展望,共…

乡村振兴与乡村旅游品牌化:打造具有地方特色的乡村旅游品牌,提升乡村旅游吸引力,促进美丽乡村建设

目录 一、引言 二、乡村旅游品牌化的重要性 (一)增强乡村旅游的辨识度 (二)提升乡村旅游的附加值 (三)促进乡村文化的传承与创新 三、打造具有地方特色的乡村旅游品牌 (一)明…

Python知识点6---列表和元组

提前说一点:如果你是专注于Python开发,那么本系列知识点只是带你入个门再详细的开发点就要去看其他资料了,而如果你和作者一样只是操作其他技术的Python API那就足够了。 Python的列表和和元组定义方式如下,且注意列表和元组拥有…

【深度强化学习入门:结合直觉与算法的学习之旅】

文章目录 前言深度强化学习的关键要素简单的深度Q网络(DQN)实现分析代码结论 前言 深度强化学习结合了深度学习的表征学习能力和强化学习的决策制定机制,这使得机器能够在复杂环境中自我学习并做出合理的行动策略。它在游戏玩耍、自动驾驶、…

Linux实验报告(二)——Linux系统中的常用命令

目录 一、实验名称: 二、仪器、设备: 三、参考资料: 四、实验目的: 五、实验内容(步骤): 六、实验数据(程序)记录: ​编辑 ​编辑 七、实验结果分析…

Python知识点9---推导式

提前说一点:如果你是专注于Python开发,那么本系列知识点只是带你入个门再详细的开发点就要去看其他资料了,而如果你和作者一样只是操作其他技术的Python API那就足够了。 Python提供的推导式,只对列表、字典、集合三种数据类型生…

公司网站模板制作

公司网站模板的制作是一项极其重要的工作,因为网站模板决定了网站的整体风格和用户体验。一个漂亮、易用的网站模板将会吸引更多的用户,而一个糟糕的网站模板则会让用户不供选择。下面就让我们介绍一下公司网站模板的制作。 首先,一个好的网站…

iCold编程入门:探索未知的编程世界

iCold编程入门:探索未知的编程世界 在浩瀚的数字宇宙中,iCold编程犹如一颗璀璨的新星,吸引着无数好奇而勇敢的探险家。然而,对于初学者来说,这个神秘的世界往往充满了未知与挑战。今天,我们就将一同踏入这…

前端 CSS 经典:mac docker 效果

前言:浏览器上实现 mac docker 效果,实现思路,1. 布局,方框间距用元素代替,因为有放大缩小功能,不用元素的话,不好控制。2. 定义个 css 变量 i,用来代表放大比例。3. 确定每个元素的…

信息系统项目管理师软考高级论文教程必过论文分享

很多人提到软考就会想到信息系统项目管理师和系统集成项目管理工程师,这两个不同的软考内容的区别不仅仅在于一个是高级,一个是中级,还有一个区别是它们的考试内容也是不同的,高级的信息系统项目管理师考试多了一项论文的考试&…

K-means 聚类算法和K-means ++聚类算法详解【5】

1、通俗易懂的讲解链接 补充链接,K- means算法的K值选择策略:链接一,链接二​​​​​​​; 后续关键点渐次补充

MySQL入门学习-查询进阶.正则表达式

在 MySQL 中,正则表达式是用于匹配文本模式的工具。正则表达式可以用于在查询中进行模式匹配,以便更精确地查找和操作数据。 一、以下是一些常见的查询进阶操作和正则表达式的特点、使用方法以及与其他比较和高级应用的示例: 1. LIKE操作符…

USART串口数据包

USART串口数据包 先来看两张图,本次程序是串口收发HEX数据包,第二种是串口收发文本数据包,之后两个图,展示的就是接收数据包的思路。 在PB1这里接了一个按键,用于控制。在串口助手,在发送模式和接收模式都…

Debian 常用命令指南:基础篇

Debian 是一款广泛使用的 Linux 发行版,以其稳定性和安全性著称。对于新手来说,掌握一些常用的命令行工具是顺利使用 Debian 的第一步。本篇文章将介绍一些 Debian 系统中最常用的基础命令,帮助你更好地管理和操作你的系统。 1. 系统信息相关…

JAVA拦截器的三种实现方式

JAVA拦截器的三种实现方式 一、java原生过滤器Filter二、springMVC拦截器三、aop切面实现拦截器 一、java原生过滤器Filter /*** 自定义Filter* 对请求的header 过滤token** 过滤器Filter可以拿到原始的HTTP请求和响应的信息,* 但是拿不到你真正处理请求方法的…