成绩查询网站开发/营销型网站制作成都

成绩查询网站开发,营销型网站制作成都,c 怎么做网站,wordpress电脑主题【LLM】本地部署LLM大语言模型可视化交互聊天，附常见本地部署硬件要求（以OllamaOpenWebUI部署DeepSeekR1为例） 文章目录 1、本地部署LLM（以Ollama为例）2、本地LLM交互界面（以OpenWebUI为例）3、本…

【LLM】本地部署LLM大语言模型+可视化交互聊天，附常见本地部署硬件要求（以Ollama+OpenWebUI部署DeepSeekR1为例）

文章目录

    • 1、本地部署LLM（以Ollama为例）
    • 2、本地LLM交互界面（以OpenWebUI为例）
    • 3、本地部署硬件要求对应表

1、本地部署LLM（以Ollama为例）

本地部署LLM的框架

  • 129k-Ollama 1
    是一个提供简单命令行接口的工具，可以轻松下载和运行本地 AI 模型。
  • 139k-Transformers 2
    Hugging Face 的 Transformers 库支持多种预训练语言模型，并提供简单的 API 以在本地运行这些模型，适合进行微调和推理。
  • 75k-llama.cpp, 3
    CPU友好，一个高效的 C++ 实现，支持在各种设备上运行 LLaMA 模型，适合追求性能的用户。
  • 39k-vllm, link
    GPU优化，vLLM 是一个高效的、用于推理的框架，特别针对大型语言模型的并行推理进行优化。它利用了内存和计算资源的高效管理，提供了显著的性能提升。
  • 69k-stable-diffusion,link
    虽然主要用于图像生成，它也在开源领域取得了极大的关注，且可以灵活地与文本模型结合使用。

ollama是什么

  • Ollama 是一个用于构建和运行本地 AI 模型的开源工具。
  • 它可以帮助开发者和研究人员更方便地利用 AI 模型进行各种应用，如自然语言处理、图像识别等。
    在这里插入图片描述

下载ollama

  • 要安装Ollama，可以官方网站的下载页面：Ollama下载页面
  • 支持的模型列表
  • 参考安装 1
    在这里插入图片描述

使用ollama

ollama     
Usage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelstop        Stop a running modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

例子，安装deepseek r1

# ollma --version
ollama version is 0.5.12# ollama pull deepseek-r1:1.5b
pulling manifest 
pulling aabd4debf0c8... 100% ▕██████████████████████████████████▏ 1.1 GB                         
pulling 369ca498f347... 100% ▕██████████████████████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕██████████████████████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕██████████████████████████████████▏  148 B                         
pulling a85fe2a2e58e... 100% ▕██████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success # ollama run deepseek-r1:1.5b
# ollama run llama3.2:1b# ollama list
NAME                ID              SIZE      MODIFIED      
llama3.2:1b         baf6a787fdff    1.3 GB    3 minutes ago    
deepseek-r1:1.5b    a42b25d8c10a    1.1 GB    2 hours ago# systemctl stop ollama

2、本地LLM交互界面（以OpenWebUI为例）

本地LLM交互界面项目

  • 78k-OpenWebUI, link
    OpenWebUI是一个开源Web用户界面，旨在让用户能够方便地与本地大语言模型（如GPT、LLaMA等）进行交互。用户可以通过简单的Web界面进行对话，支持多种模型。

  • 82k-Nextchat(ChatGPT Next Web) , link
    兼容本地LLM，轻量快速的 AI 助手。支持：Web | iOS | MacOS | Android | Linux | Windows。一键免费部署私人 ChatGPT 网页应用，支持 Claude, GPT4 & Gemini Pro 模型。

  • 32k-ChatBox , link
    Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
    客户端安装参考 1，2：选择使用自己的api-key或本地模型，目前支持

  • 72k-GPT4All, link
    GPT4All 在日常台式机和笔记本电脑上私下运行大型语言模型 (LLM)。无需 API 调用或 GPU - 您只需下载应用程序并开始使用即可。

  • 42k-text-generation-webui, link
    适用于大型语言模型的 Gradio Web UI，支持多个推理后端。其目标是成为文本生成的stable-diffusion-webui 。

  • 39k-AnythingLLM, link
    全栈应用程序，可以将任何文档、资源（如网址链接、音频、视频）或内容片段转换为上下文，以便任何大语言模型（LLM）在聊天期间作为参考使用。
    此应用程序允许您选择使用哪个LLM或向量数据库，同时支持多用户管理并设置不同权限。

  • 150k-stable-diffusion-webui, link
    支持一键安装的stable Diffusion网页用户界面。

  • jetbrain-idea/goland集成插件, link
    设置-插件里安装后，配置Ollama API 默认调用端口号：11434

OpenWebUI是什么？

  • 一个可扩展、功能丰富且用户友好的自托管WebUI，它支持完全离线操作，并兼容Ollama和OpenAI的API。
  • 这为用户提供了一个可视化的界面，使得与大型语言模型的交互更加直观和便捷。
    在这里插入图片描述

安装openwebUI

# 基于docker的安装
# 电脑上有Ollama
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
# Ollama在其他服务器上，OLLAMA_BASE_URL替换为地址
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main# 安装完成后，您可以通过http://localhost:3000 访问OpenWebUI
# 这个时候会发现【Select a model】可以选择我们刚刚下载好的模型
# 并且他还可以一次性加入多个模型，一起对话对比使用

3、本地部署硬件要求对应表

大模型名称中的数字含义

  • 例如 1.5b、7b、8b、14b、32b、70b和671b等
  • 这些数字代表模型的参数量（Parameters），单位为 「B」（Billion，十亿）。例如：
    1.5B：15 亿参数
    7B：70 亿参数
    671B：6710 亿参数（接近万亿规模）
  • 参数量的意义：
    模型能力：参数量越大，模型就有更强的理解和生成能力，但是需要更多计算资源。
    硬件需求：参数越多，对内存（RAM）和显存（VRAM）的需求就越高。
    运行速度：参数量大的模型，推理速度更慢，尤其是资源不足的时候。1

本地部署的硬件配置「最低」要求（按模型规模分类）

  • 1.3B、1.5B 模型
    适用场景：简单文本生成、问答、轻量级任务
    CPU：4 核以上（需支持 AVX2 指令集）
    内存（RAM）：8GB 以上
    GPU（可选）：显存 ≥ 4GB（如 NVIDIA GTX 1650）
    存储：需 3~5GB 硬盘空间（模型文件 + 依赖库）
    说明：可在纯 CPU 环境下运行，但速度较慢（约 1~2 秒/词）。

  • 6.7b、7B、8B 模型
    适用场景：复杂文本生成、代码生成、多轮对话
    CPU：8 核以上（推荐 Intel i7 或 AMD Ryzen 7）
    内存（RAM）：32GB 以上（纯 CPU 运行时需更高内存）
    GPU（推荐）：显存 ≥ 16GB（如 RTX 4090 或 Tesla T4）
    存储：需 15~20GB 硬盘空间
    优化建议：
    使用 4-bit 量化可将显存需求降至 8GB。
    使用 vLLM 或 HuggingFace TGI 框架提升推理速度。

  • 32B、70B 模型
    适用场景：企业级应用、高精度需求
    CPU：无法纯 CPU 运行
    内存（RAM）：≥ 128GB（用于加载中间数据）
    GPU：显存 ≥ 80GB（如 A100 80GB x2 或 H100）
    存储：需 70~150GB 硬盘空间
    关键点：
    必须使用多卡并行（如 NVIDIA NVLink 互联）。
    推荐 FP16 或 8-bit 量化以降低显存占用。

硬件选择对比表

模型规模CPU 需求内存需求显卡 型号适用场景
1.5B纯 CPU4GBRTX 3050个人学习
7B7GB16GBRTX 4090个人学习
14B24GBA5000 x2264GB小型项目
32B48GBA100 40GBx2专业应用
40GB80GBx4RTX 7000企业级服务
64GB+H100H100640GB+H100集群不可行

一些QA

  • 能否用 Mac 电脑运行这些DeepSeek模型？
    可以，但仅限于小模型（如 7B以下）。需使用 llama.cpp 的 Metal 后端，M1/M2 芯片需 16GB 以上统一内存。
  • 官方仓库（如 HuggingFace Hub）、开源社区（如 modelscope）。
    如果使用Ollama在本地部署，那么直接在Ollama中下载。
  • 为什么实际显存占用比参数量大很多？
    除了模型权重，还需存储中间计算结果（KV Cache），尤其在长文本生成时占用显著增加。
  • 没有显存、显存的笔记本电脑，能在本地部署和运行DeepSeek吗？
    可以。但是内存要求更高，文本生成速度慢。1，

更多部署教程
1 从零到一：本地部署Llama3大模型的简明指南,
2 本地部署 DeepSeek-R1-671B 满血版大模型教程
3 预算50-100万：4 * H100 80GB + NVLink，8 * A100 80GB + NVLink

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/70798.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

温湿度监控设备融入智慧物联网

温湿度监控设备融入智慧物联网

当医院的温湿度监控设备融入智慧物联网，将会带来许多新的体验，可以帮助医院温湿度监控设备智能化管理，实现设备之间的互联互通，方便医院对温湿度数据进行统一管理和分析。 添加智慧物联网技术，实现对医院温湿度的实时…
阅读更多...
在ubuntu如何安装samba软件？

在ubuntu如何安装samba软件？

我们在开发过程中，经常修改代码，可以安装samba文件来实现，把ubuntu的存储空间指定为我们win上的一个磁盘，然后我们在或者磁盘里面创建.c文件，进行代码修改和编写。samba能将linux的文件目录直接映射到windows&#xff…
阅读更多...
[ComfyUI]官方已支持Skyreels混元图生视频，速度更快，效果更好(附工作流）

[ComfyUI]官方已支持Skyreels混元图生视频，速度更快，效果更好(附工作流）

一、介绍 昨天有提到官方已经支持了Skyreels，皆大欢喜，效果更好一些，还有GGUF量化版本，进一步降低了大家的显存消耗。 今天就来分享一下官方流怎么搭建，我体验下来感觉更稳了一些，生成速度也更快&#xf…
阅读更多...
B站pwn教程笔记-3

B站pwn教程笔记-3

栈知识、部分保护措施 GDB显示的栈地址有时候并不是可靠的地址，gdb也是用特殊的进程映像来拿地址的。且gdb默认关闭栈地址随机化。但是，偏移量是没有错误的。目前还没学到咋解决 第一个栈帧是main函数栈帧，之前的一些系统函数什么的没有栈帧…
阅读更多...
OpenCV计算摄影学（2）图像去噪函数denoise_TVL1()

OpenCV计算摄影学（2）图像去噪函数denoise_TVL1()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 原始-对偶算法是用于解决特定类型变分问题（即，寻找一个函数以最小化某个泛函）的算法。特别地，图像…
阅读更多...
九、数据治理架构流程

九、数据治理架构流程

一、总体结构 《数据治理架构流程图》（Data Governance Architecture Flowchart） 水平结构：流程图采用水平组织，显示从数据源到数据应用的进程。 垂直结构：每个水平部分进一步划分为垂直列，代表数据治理的…
阅读更多...
Docker 搭建 Gitlab 服务器 (完整详细版)

Docker 搭建 Gitlab 服务器 (完整详细版)

参考 Docker 搭建 Gitlab 服务器 (完整详细版)_docker gitlab-CSDN博客 Docker 安装 (完整详细版)_docker安装-CSDN博客 Docker 日常命令大全(完整详细版)_docker命令-CSDN博客 1、Gitlab镜像 # 查找Gitlab镜像 docker search gitlab # 拉取Gitlab镜像 docker pull gitlab/g…
阅读更多...
Spring MVC 框架学习笔记：从入门到精通的实战指南

Spring MVC 框架学习笔记：从入门到精通的实战指南

目录 1. Spring MVC 概述 2. Spring MVC 项目搭建 3. Spring MVC 执行流程 4. Spring MVC RequestMapping 注解 5. Spring MVC 获取请求参数 6. Spring MVC 常见注解 7. Spring MVC 响应处理 8. Spring MVC SSM 整合 9. Spring MVC 作用域传参 10. Spring MVC 上传 1…
阅读更多...
【对话推荐系统】Towards Topic-Guided Conversational Recommender System 论文阅读

【对话推荐系统】Towards Topic-Guided Conversational Recommender System 论文阅读

Towards Topic-Guided Conversational Recommender System 论文阅读 Abstract1 Introduction2 Related Work2.1 Conversation System2.2 Conversational Recommender System2.3 Dataset for Conversational Recommendation 3 Dataset Construction3.1 Collecting Movies for Re…
阅读更多...
ASP.NET Core 8.0学习笔记（二十八）——EFCore反向工程

ASP.NET Core 8.0学习笔记（二十八）——EFCore反向工程

一、什么是反向工程 1.原则：DBFirst 2.反向工程：根据数据库表来反向生成实体类 3.生成命令：Scaffold-DbContext ‘连接字符串’ 字符串示例： Server.;DatabaseDemo1;Trusted_Connectiontrue; MultipleActiveResultSets true;Tru…
阅读更多...
【大模型LLM】DeepSeek LLM Scaling Open-Source Language Models with Longtermism

【大模型LLM】DeepSeek LLM Scaling Open-Source Language Models with Longtermism

深度探索LLM：以长期主义扩展开源语言模型 0.论文摘要 开源大语言模型（LLMs）的快速发展确实令人瞩目。然而，以往文献中描述的扩展规律得出了不同的结论，这为LLMs的扩展蒙上了一层阴影。我们深入研究了扩展规律&#…
阅读更多...
C#快速调用DeepSeek接口，winform接入DeepSeek查询资料 C#零门槛接入DeepSeek C#接入DeepSeek源代码下载

C#快速调用DeepSeek接口，winform接入DeepSeek查询资料 C#零门槛接入DeepSeek C#接入DeepSeek源代码下载

下载地址<------完整源码 在数字化转型加速的背景下&#xff0c;企业应用系统对智能服务的需求日益增长。DeepSeek作为先进的人工智能服务平台&#xff0c;其自然语言处理、图像识别等核心能力可显著提升业务系统的智能化水平。传统开发模式下&#xff0c;C#开发者需要耗费大…
阅读更多...
Qt常用控件之多行输入框QTextEdit

Qt常用控件之多行输入框QTextEdit

多行输入框QTextEdit QTextEdit 是一个多行输入框控件&#xff0c;支持富文本和 markdown 格式&#xff0c;当文本内容超出编辑框的范围时能自动提供滚动条。 QPlainTextEdit 是只支持富文本格式的多行输入框&#xff0c;属性和使用上与 QTextEdit 几乎没有区别。 QTextEdit属…
阅读更多...
【前端】react+ts 轮播图的实现

【前端】react+ts 轮播图的实现

一、场景描述 在很多网站的页面中都有轮播图&#xff0c;所以我想利用react.js和ts实现一个轮播图。自动轮播图已经在前面实现过了&#xff0c;如&#xff1a;https://blog.csdn.net/weixin_43872912/article/details/145622444?sharetypeblogdetail&sharerId145622444&a…
阅读更多...
深入理解C语言中的位段

深入理解C语言中的位段

在C语言编程中&#xff0c;我们常常会遇到需要对内存进行精细控制的场景&#xff0c;位段&#xff08;bit - field&#xff09;便是C语言提供的一种强大工具&#xff0c;它允许我们在一个字节或多个字节内对数据进行按位的定义和操作&#xff0c;极大地提高了内存使用效率。 一…
阅读更多...
Grouped-Query Attention（GQA）详解: Pytorch实现

Grouped-Query Attention（GQA）详解: Pytorch实现

Grouped-Query Attention&#xff08;GQA&#xff09;详解 Grouped-Query Attention&#xff08;GQA&#xff09; 是 Multi-Query Attention&#xff08;MQA&#xff09; 的改进版&#xff0c;它通过在 多个查询头&#xff08;Query Heads&#xff09;之间共享 Key 和 Value&am…
阅读更多...
ReentrantLock 用法与源码剖析笔记

ReentrantLock 用法与源码剖析笔记

&#x1f4d2; ReentrantLock 用法与源码剖析笔记 &#x1f680; 一、ReentrantLock 核心特性 &#x1f504; 可重入性&#xff1a;同一线程可重复获取锁&#xff08;最大递归次数为 Integer.MAX_VALUE&#xff09;&#x1f527; 公平性&#xff1a;支持公平锁&#xff08;按等…
阅读更多...
基于 DeepSeek LLM 本地知识库搭建开源方案(AnythingLLM、Cherry、Ragflow、Dify)认知

基于 DeepSeek LLM 本地知识库搭建开源方案(AnythingLLM、Cherry、Ragflow、Dify)认知

写在前面 博文内容涉及 基于 Deepseek LLM 的本地知识库搭建使用 ollama 部署 Deepseek-R1 LLM知识库能力通过 Ragflow、Dify 、AnythingLLM、Cherry 提供理解不足小伙伴帮忙指正 &#x1f603;,生活加油 我站在人潮中央&#xff0c;思考这日日重复的生活。我突然想&#xff0c…
阅读更多...
PCB设计常用布局布线方法

PCB设计常用布局布线方法

PCB设计常用布局布线方法 **1.模块化布局&#xff0c;**先放大器件再放小器件。 立创在原理图框完后&#xff0c;在PCB快捷shiftp 2.布局对齐美观 3.重要信号线优先处理 分类再画 4.减少Stub布线&#xff1a;就是避免为连接的线段&#xff0c;防止产生“天线效应”&#xff…
阅读更多...
Mac 版 本地部署deepseek ➕ RAGflow 知识库搭建流程分享（附问题解决方法）

Mac 版 本地部署deepseek ➕ RAGflow 知识库搭建流程分享（附问题解决方法）

安装&#xff1a; 1、首先按照此视频的流程一步一步进行安装&#xff1a;(macos版&#xff09;ragflowdeepseek 私域知识库搭建流程分享_哔哩哔哩_bilibili 2、RAGflow 官网文档指南&#xff1a;https://ragflow.io 3、RAGflow 下载地址&#xff1a;https://github.com/infi…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023