说明

目前是大范围整理阶段，所以存在大量机翻说明，后续会逐渐补充和完善资料，减少机翻并增加说明。

Github上的汇总资源（大部分英文）

awesome-production-machine-learning

此存储库包含一系列精选的优秀开源库，可帮助您部署、监控、版本化、扩展和保护生产机器学习。您可以通过观看此 github 存储库来了解最新信息。此外，我们还提供了一个搜索工具包，可帮助您快速浏览工具链。如下图：

工具包：https://huggingface.co/spaces/zhiminy/Awesome-Production-Machine-Learning-Search

数据处理

data-juicer

Data-Juicer 是一个一站式多模式数据处理系统，可以使数据质量更高、更丰富、更易于LLMs理解。
阿里云人工智能平台（PAI）引用了他们的工作，并将Data-Juicer集成到其数据处理产品中。 PAI是一个AI Native大模型和AIGC工程平台，提供数据集管理、算力管理、模型工具链、模型开发、模型训练、模型部署和AI资产管理。有关数据处理的文档，请参阅： PAI-大型模型的数据处理。
Data-Juicer 正在积极更新和维护。我们将定期增强和添加更多功能、数据配方和数据集。
https://github.com/modelscope/data-juicer

datatrove

通过提供一组与平台无关的可自定义管道处理块，将数据处理从脚本疯狂中解放出来。
https://github.com/huggingface/datatrove

dolma

用于生成和检查 OLMo 预训练数据的数据和工具。
https://github.com/allenai/dolma

NeMo-Curator

用于数据管理的可扩展工具包。
https://github.com/NVIDIA/NeMo-Curator

dataverse

数据宇宙。关于数据、数据科学和数据工程。
https://github.com/UpstageAI/dataverse

EasyInstruct

一个易于使用的 LLM 指令处理框架。
https://github.com/zjunlp/EasyInstruct

data-prep-kit

用于 LLM 应用程序构建器数据准备的开源项目。
https://github.com/IBM/data-prep-kit

dps

多语言数据处理系统。
https://github.com/EleutherAI/dps

LLM 训练/微调

nanoGPT

用于训练/微调中型 GPT 的最简单、最快的存储库。
https://github.com/karpathy/nanoGPT

LLaMA-Factory

用于对 100+ LLM 进行高效微调的 WebUI。
https://github.com/hiyouga/LLaMA-Factory

unsloth

微调Llama 3.2、Mistral、Phi和Gemma LLMs的速度提高2-5倍，同时内存减少80%。
https://github.com/unslothai/unsloth

peft

PEFT： 最先进的参数高效微调。

llama-recipes

用于微调Meta Llama3的脚本，使用可组合的FSDP和PEFT方法覆盖单/多节点GPU。
https://github.com/huggingface/peft

litgpt

20+ 高性能 LLM，具有用于大规模预训练、微调和部署的配方。
https://github.com/Lightning-AI/litgpt

Megatron-LM

正在进行的研究大规模训练变压器模型。
https://github.com/NVIDIA/Megatron-LM

trl

使用强化学习训练 transformer 语言模型。
https://github.com/huggingface/trl

LMFlow

一个用于微调和推理大型基础模型的可扩展工具包。适合所有人的大型模型。
https://github.com/OptimalScale/LMFlow

gpt-neox

基于 Megatron 和 DeepSpeed 库的 GPU 上模型并行自回归转换器的实现。
https://github.com/EleutherAI/gpt-neox

torchtune

用于 LLM 微调的 Native-PyTorch 库。
https://github.com/pytorch/torchtune

xtuner

一个高效、灵活且功能齐全的工具包，用于微调 LLM （InternLM2， Llama3， Phi3， Qwen， Mistral， …）。
https://github.com/InternLM/xtuner

torchtitan

用于大型模型训练的原生 PyTorch 库。
https://github.com/pytorch/torchtitan

nanotron

极简大语言模型 3D 并行训练。
https://github.com/huggingface/nanotron

LLM 服务和推理

ollama

启动并运行 Llama 3.1、Mistral、Gemma 2 和其他大型语言模型。
https://github.com/ollama/ollama

gpt4all

GPT4All：在任何设备上与本地 LLM 聊天
https://github.com/nomic-ai/gpt4all

llama.cpp

C/C++ 中的 LLM 推理
https://github.com/ggerganov/llama.cpp

FastChat

一个用于训练、服务和评估大型语言模型的开放平台。Vicuna 和 Chatbot Arena 的发布存储库。
https://github.com/lm-sys/FastChat

vllm

用于 LLM 的高吞吐量和内存高效推理和服务引擎。
https://github.com/vllm-project/vllm

guidance

用于控制大型语言模型的指导语言。
https://github.com/guidance-ai/guidance

text-generation-inference

大型语言模型 Text Generation Inference
https://github.com/huggingface/text-generation-inference

TensorRT-LLM

TensorRT-LLM 为用户提供了一个易于使用的 Python API 来定义大型语言模型 （LLM） 并构建包含最先进优化的 TensorRT 引擎，以在 NVIDIA GPU 上高效执行推理。
https://github.com/NVIDIA/TensorRT-LLM

SGLang

是适用于大型语言模型和视觉语言模型的快速服务框架。
https://github.com/sgl-project/sglang

LMDeploy

是一个用于压缩、部署和提供 LLM 的工具包。
https://github.com/InternLM/lmdeploy

torchchat

在服务器、桌面和移动设备上本地运行.
https://github.com/pytorch/torchchat

RouteLLM

一个用于服务和评估 LLM 路由器的框架 - 在不影响质量的情况下节省 LLM 成本！
https://github.com/lm-sys/RouteLLM

LightLLM

是一个基于 Python 的 LLM（大型语言模型）推理和服务框架，以其轻量级设计、轻松的可扩展性和高速性能而著称。ModelTC
https://github.com/ModelTC/lightllm

LLM 防护/安全

NeMo-GuardrailsNeMo Guardrails
是一个开源工具包，用于轻松地将可编程护栏添加到基于 LLM 的对话系统中。
https://github.com/NVIDIA/NeMo-Guardrails

guardrails

向大型语言模型添加 guardrail。
https://github.com/guardrails-ai/guardrails

PurpleLlama

用于评估和改进 LLM 安全性的工具集。
https://github.com/meta-llama/PurpleLlama

llm-guard

用于 LLM 交互的安全工具包。
https://github.com/protectai/llm-guard

LLM开发和示例文档

openai-cookbook

使用 OpenAI API 的示例和指南。

anthropic-cookbook

一组笔记本/食谱，展示了一些使用 Claude 的有趣且有效的方法。

gemini-cookbook

使用 Gemini API 的示例和指南。

Phi-3CookBook

这是一本用于 Phi-3 入门的 Phi-3 书籍。Phi-3 是 Microsoft 开发的一系列开放式 AI 模型。

amazon-bedrock-workshop

这是专为 Amazon Bedrock（一种基础模型服务）设计的研讨会。

mistral-cookbook

Mistral Cookbook 包含由 Mistralers 和我们的社区以及我们的合作伙伴提供的示例。

gemma-cookbook

来自 Google 的 Gemma 开放模型的指南和示例集合。

amazon-bedrock-samples

此存储库包含供客户开始使用 Amazon Bedrock 服务的示例。这包含所有可用基础模型的示例

cohere-notebooks

适用于 Cohere 平台的代码示例和 Jupyter 笔记本Cohere

upstage-cookbook

Upstage API 示例和指南

课程

generative-ai-for-beginners

18 节课，开始使用生成式 AI 进行构建Microsoft LLM课程，通过路线图和 Colab 笔记本进入大型语言模型 （LLM）。
https://github.com/microsoft/generative-ai-for-beginners

llm-zoomcampLLM

关于构建问答系统的免费在线课程DataTalksClub
https://github.com/DataTalksClub/llm-zoomcamp

llm-twin-course

免费学习如何使用LLMOps最佳实践构建端到端的生产就绪LLM和RAG系统：~源代码+12个实践课程
https://github.com/decodingml/llm-twin-course

LLM 基准测试

SWE-benchSWE-bench

是一个基准测试，用于评估从 GitHub 收集的真实世界软件问题上的大型语言模型。

MMAU （axlearn）

大规模多任务代理理解 （MMAU） 基准测试旨在评估大型语言模型 （LLM） 作为代理在各种任务中的性能。

mle-benchMLE-bench

是衡量 AI 代理在机器学习工程中表现的基准

WindowsAgentArena（WAA）

是一个可扩展的操作系统平台，用于多模态 AI 代理的测试和基准测试。Microsoft
DevAI （agent-as-a-judge）DevAI，一个由 55 个现实的 AI 开发任务和 365 个分层用户需求组成的基准测试。

natural-planNatural Plan

是自然语言中现实的规划基准，包含 3 项关键任务：旅行计划、会议计划和日历安排。

RAG增强检索

AutoGPT AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.
langchain (LangChain) Build context-aware reasoning applications
dify (LangGenius) Dify is an open-source LLM app development platform. Dify’s intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production.
MetaGPT The Multi-Agent Framework: First AI Software Company, Towards Natural Language Programming
llama_index (LlamaIndex) LlamaIndex is a data framework for your LLM applications
AutoGen (Microsoft) A programming framework for agentic AI
Flowise (FlowiseAI) Drag & drop UI to build your customized LLM flow
mem0 (Mem0) The memory layer for Personalized AI
RAGFlow (InfiniFlow) RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine based on deep document understanding.
crewAI (crewAI) Framework for orchestrating role-playing, autonomous AI agents. By fostering collaborative intelligence, CrewAI empowers agents to work together seamlessly, tackling complex tasks.
GraphRAG (Microsoft) A modular graph-based Retrieval-Augmented Generation (RAG) system
haystack (Deepset) LLM orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data.
swarm (OpenAI) Educational framework exploring ergonomic, lightweight multi-agent orchestration. Managed by OpenAI Solution team.
Letta (Letta) Letta (fka MemGPT) is a framework for creating stateful LLM services.
llmware (LLMware.ai) Unified framework for building enterprise RAG pipelines with small, specialized models
TaskingAI (TaskingAI) The open source platform for AI-native application development.
AgentScope (ModelScope) Start building LLM-empowered multi-agent applications in an easier way.
pathway (Pathway) Python ETL framework for stream processing, real-time analytics, LLM pipelines, and RAG.
llama-stack (Meta) Model components of the Llama Stack APIs

• llama-stack-apps (Meta) Agentic components of the Llama Stack APIs
  Qwen-Agent (QwenLM) Agent framework and applications built upon Qwen>=2.0, featuring Function Calling, Code Interpreter, RAG, and Chrome extension.
  Langroid (Langroid) Harness LLMs with Multi-Agent Programming
  AutoRAG (Markr Inc.) AutoML tool for RAG
  AgentOps (AgentOps-AI) Python SDK for AI agent monitoring, LLM cost tracking, benchmarking, and more. Integrates with most LLMs and agent frameworks like CrewAI, Langchain, and Autogen
  Lagent (InternLM) A lightweight framework for building LLM-based agents