DeepSeek R1

DeepSeek R1是由DeepSeek团队开发的一款高性能AI推理模型，其开源版本包括完整的DeepSeek R1 671B权重，以及基于其蒸馏出的多个小型模型。

DeepSeek R1通过蒸馏技术将推理模式迁移到更小的模型中，显著提升了这些模型的推理能力。例如：

• DeepSeek R1-Distill-Qwen-7B：在AIME 2024上达到55.5%，超越QwQ-32B-Preview。

• DeepSeek R1-Distill-Qwen-32B：在AIME 2024上得分为72.6%，在MATH-500上得分为94.3%，在LiveCodeBench上得分为57.2%，这些结果显著优于之前的开源模型。

LMStudio

LM Studio是一款功能强大的桌面应用程序，用于在本地计算机上运行和管理大型语言模型（LLMs），支持离线运行，确保用户数据的隐私和安全。以下是关于LM Studio的详细介绍：

功能特点

• 本地运行与离线支持：LM Studio允许用户在本地设备上运行LLMs，完全脱机运行，无需依赖云端服务。

• 丰富的模型支持：支持从Hugging Face下载多种开源模型，如Llama 2、Vicuna、Mistral、OpenOrca等。此外，它还支持Hugging Face上的任何ggml Llama、MPT和StarCoder模型。

• 用户友好界面：提供直观的图形化界面，方便用户进行模型搜索、下载和使用。

• OpenAI兼容API：支持本地服务器模式，提供与OpenAI兼容的API接口，方便开发者集成和调用。

• 本地文档交互：用户可以将本地文件导入LM Studio，并与模型进行交互，实现文档内容的查询和分析。

• 模型微调与个性化训练：支持在本地数据集上对模型进行微调，以适应特定领域或任务。

硬件要求

• 操作系统：支持Windows、macOS（M1/M2/M3芯片）和Linux。

• 内存：建议至少16GB RAM。

• 显卡：支持NVIDIA、AMD等多种GPU，推荐使用支持CUDA的显卡。

• 硬盘空间：至少需要250GB的可用空间。

安装与使用

1. 下载与安装：

   • 访问LM Studio官网，下载适合您操作系统的安装包。

   • 安装完成后，打开LM Studio。

2. 模型下载与使用：

   • 在LM Studio主界面中，通过搜索栏查找并下载所需的模型。

   • 下载完成后，选择模型并开始使用。

3. 本地服务器模式：

   • LM Studio可以作为本地服务器运行，提供与OpenAI兼容的API接口。

   • 用户可以通过API接口在其他程序或应用中调用LM Studio。

优势与挑战

• 优势：

  • 隐私保护：所有数据和计算都在本地进行，确保数据隐私。

  • 多功能集成：除了文本生成，还支持本地文档交互和模型微调。

  • 强大的社区支持：通过Hugging Face集成，用户可以轻松访问和下载丰富的模型资源。

• 挑战：

  • 硬件要求较高：高性能硬件是运行大型模型的必要条件。

  • 技术门槛：尽管界面友好，但模型优化和微调仍需要一定的技术背景。

LM Studio为用户提供了一个灵活、强大的平台，适合对数据隐私要求较高的用户，以及希望在本地环境中运行和管理大型语言模型的开发者。

安装LMStudio

在LMStudio的官网下载对应的安装包，支持 Windows，Linux，MacOS。

LMStudio 官网: https://lmstudio.ai/

下载完之后，打开文件，跟随指引正常安装。

LMStudio 的默认模型下载地址为 Hugging Face 平台，但由于众所周知的原因，我们需要设置一下国内可访问的 HF 镜像源。

打LMStudio的下载地址（最好用VScode打开）

将所有/huggingface.co/
全部替换成/hf-mirror.com/

https://huggingface.co/https://hf-mirror.com/

将https://huggingface.co/全部替换为https://hf-mirror.com/，然后重新打开LMStudio即可。

LMStudio使用

打开软件后，是如下画面：

点击左边的放大镜，在搜索栏中搜索r1

然后点击下载按钮即可。

下载完毕之后就可以在主页面对话啦！

当然LMStudio也支持部署api

点击 LMStudio 主界面的第二个按钮，可以进入开发者界面，打开此处的 api 部署服务，并在 Setting 中选择全部打开，这样就算 windows 部署 LMStudio 之后也可以在wsl 中访问到服务。