文章目录
- DeepSeek介绍
- 公司背景
- 核心技术
- 产品与服务
- 应用场景
- 优势与特点
- 访问与体验
- 各个DeepSeek-R系列模型的硬件需求和适用场景
- Ollama
- 主要特点
- 优势
- 应用场景
- 安装和使用
- 配置环境变量
- 总结
- 安装open-webui
- 下载和安装docker desktop
- 配置镜像源
- 安装open-webui
- 运行和使用
- RagFlow介绍
- 主要功能
- 适用场景
- 优势
- 下载及安装
- 私有知识库
- 1. 模型供应商配置
- 2. 创建知识库
- 3. 创建数据集
- 4. 创建助理和对话
个人主页：道友老李
欢迎加入社区：道友老李的学习社区
DeepSeek介绍
DeepSeek官网
DeepSeek（深度求索）是一家专注于实现通用人工智能（AGI）的中国科技公司，致力于通过技术探索与创新，推动智能技术的广泛应用。以下是其核心信息的概述：
公司背景
- 成立时间：2023年（具体时间未公开披露）
- 总部：中国杭州
- 使命：通过AGI技术提升人类生产力，推动社会进步。
- 愿景：成为全球AGI领域的领导者。
核心技术
-
大语言模型（LLM）
- 自主研发高性能基座模型（如DeepSeek-R1、DeepSeek-R2），支持长文本理解、复杂推理和多语言处理。
- 模型参数量覆盖数十亿至千亿级，平衡性能与计算效率。
-
多模态AI
- 整合文本、图像、语音等多模态数据，开发跨模态理解与生成能力。
-
搜索增强技术
- 结合搜索引擎实时数据，提升模型在知识更新与事实准确性上的表现。
产品与服务
- 通用大模型：面向开发者的开放API（如DeepSeek API），支持文本生成、代码编写等任务。
- 行业定制模型：针对金融、医疗、教育等领域提供垂直场景优化方案。
- 企业级平台：提供模型训练、部署及管理的全流程工具链（如Fine-tuning平台）。
- 开源社区：部分模型和技术开源，促进开发者协作（如发布轻量版模型）。
应用场景
- 智能客服：自动化应答与客户意图分析。
- 内容生成：营销文案、代码、报告等自动化创作。
- 数据分析：从非结构化数据中提取洞察，辅助决策。
- 教育：个性化学习助手与智能题库生成。
优势与特点
- 技术领先：模型性能在多项基准测试（如MMLU、HumanEval）中位居前列。
- 场景深耕：聚焦企业级需求，提供高可用的行业解决方案。
- 生态合作：与云计算厂商、硬件供应商及高校建立联合实验室。
访问与体验
- 官网提供在线体验入口（如Chat界面）和开发者文档。
- 部分模型可通过Hugging Face、GitHub等平台获取。
如需更详细的技术参数、商业合作或最新动态，建议访问其官方网站或查阅官方发布的白皮书。
各个DeepSeek-R系列模型的硬件需求和适用场景
我的电脑配置：
可以跑7b和14b
Ollama
ollama search
Ollama 是一个开源的 AI 推理框架，专注于模型压缩和部署。它的目标是帮助用户在本地或边缘设备上高效运行大型语言模型（LLM），通过量化和其他技术显著减少模型大小，同时保持高性能。
主要特点
-
模型压缩与优化：
- Ollama 提供了多种模型压缩技术，如 4-bit 和 8-bit 量化，使大模型能够在低资源环境下运行。
- 支持主流语言模型（如 LLaMA、Vicuna 等）的适配和部署。
-
高性能推理：
- Ollama 能够在本地设备上实现低延迟、高吞吐量的推理，适合实时应用。
-
易于部署：
- 提供简洁的命令行界面（CLI），用户可以轻松下载模型、调整参数并运行推理服务。
- 支持 Docker 部署，便于在云服务器或边缘设备上快速搭建。
-
社区驱动：
- Ollama 是一个开源项目，依赖于活跃的社区支持，用户可以根据需求贡献和改进功能。
优势
- 轻量化：通过量化技术显著降低模型大小，适合资源受限的环境。
- 高性能：优化了推理速度，能够在本地快速响应。
- 灵活性：支持多种模型格式和后端（如 GGML、TensorRT 等）。
- 易于上手：用户无需复杂的配置即可开始使用。
应用场景
-
本地开发与实验：
- 开发者可以轻松在本地运行 LLM，用于快速测试和原型设计。
-
边缘计算：
- 在边缘设备（如 Raspberry Pi）上部署轻量级 AI 服务。
-
实时推理服务：
- 快速搭建支持多语言模型的推理服务器，满足企业或个人需求。
-
教育与研究：
- 提供了一个易于使用的工具，适合教学和研究场景。
安装和使用
国内下载：Ollama下载
-
打开cmd控制台，输入：
ollama可以看到帮助命令
-
下载模型（以 DeepSeek-R系列为例）：
ollama pull deepseek-r1:1.5b -
启动推理服务：
ollama serve --port 11434 -
运行模型：
ollama run deepseek-r1:1.5b
可以开始对话了。
配置环境变量
OLLAMA_MODELS 是修改OLLAMA下载的模型存储位置，默认是在C盘
总结
Ollama 是一个强大的工具，旨在简化大型语言模型的部署和推理过程。它通过模型压缩和优化技术，使得在本地或边缘设备上运行 AI 模型变得高效且易于管理。无论是开发者、研究人员还是企业用户，Ollama 都能提供灵活和支持，满足多种应用场景的需求。
安装open-webui
下载和安装docker desktop
官网地址：Docker Desktop
GitHub地址：Docker Desktop
配置镜像源
第一个是阿里云的镜像源，可登录阿里云平台查看
"registry-mirrors": ["https://${阿里云的}.mirror.aliyuncs.com","https://docker.m.daocloud.io","https://mirror.baidubce.com","https://docker.nju.edu.cn","https://mirror.iscas.ac.cn"]
安装open-webui
搜索open-webui
我这里已经安装过了。
运行和使用
在容器中运行open-webui，然后浏览器输入http://localhost:3000
进入设置
配置Ollama地址
配置好后，保存，正常的情况下，界面就会显示Ollama中已下载好的模型了
完成！可以开始对话了！
RagFlow介绍
RagFlow 是一个基于大语言模型的流程自动化工具，旨在帮助用户通过自然语言处理（NLP）技术来自动化和优化工作流程。它结合了先进的AI技术和直观的用户界面，使得非技术人员也能轻松实现流程自动化。
主要功能
- 智能对话交互：用户可以通过与RagFlow进行自然语言对话，定义、管理和优化各种工作流程。
- 任务自动化：支持多种任务类型，如数据处理、信息提取、报告生成等，帮助用户自动完成重复性工作。
- 跨系统集成：能够与主流的第三方服务（如Slack、Jira、Google Drive等）无缝集成，实现不同系统的数据流动和协同工作。
- 动态流程调整：根据实时数据和上下文环境，智能调整工作流程，确保流程始终高效运行。
- 可扩展性：支持大规模业务需求，适用于从个人到企业的各种场景。
适用场景
- 企业流程优化：帮助企业在销售、 marketing、客服等环节实现自动化，提升效率。
- 个人任务管理：用户可以通过RagFlow自动化个人日常任务，如行程安排、邮件处理等。
- 数据整合与分析：通过自动化数据收集和处理，支持更高效的决策制定。
优势
- 易用性：无需编程知识，用户即可快速上手。
- 灵活性：支持定制化需求，满足不同用户的个性化要求。
- 高效性：利用AI技术提升流程执行效率，减少人工干预。
RagFlow 通过将复杂的流程自动化转化为简单的对话交互，极大地提升了工作效率和用户体验。如果你有具体的使用场景或问题，可以进一步探讨如何利用RagFlow来优化你的工作流程！
下载及安装
- 从github上下载 ragflow或直接：
git clone https://github.com/infiniflow/ragflow.git
- 运行脚本：进入docker 文件夹，利用提前编译好的 Docker 镜像启动服务器
docker compose -f docker-compose-CN.yml up -d
这个过程会很慢，成功后，会自动运行容器中的服务：
浏览器上输入：http://localhost
第一个注册的账号就是管理员，登录成功
私有知识库
1. 模型供应商配置
点击头像，进入模型供应商配置
选择下面列表中的Ollama，然后进行模型配置
模型名称就是Ollama中下载的模型名称
2. 创建知识库
解析方法改成General，其他默认即可
3. 创建数据集
新增本地文件
执行解析，等待解析完成
4. 创建助理和对话
切换到聊天页，新建助理，选择知识库
切换到模型设置，调整一下最大token数
新建聊天，开始对话
