使用Llama3/Qwen2等开源大模型,部署团队私有化Code Copilot和使用教程

目前市面上有不少基于大模型的 Code Copilot 产品,部分产品对于个人开发者来说可免费使用,比如阿里的通义灵码、百度的文心快码等。这些免费的产品均通过 API 的方式提供服务,因此调用时均必须联网、同时需要把代码提示词等内容作为 API 的入参在网络中传输和 API 服务器中进行处理,这里就涉及到一个比较重要的问题:隐私安全

Code Copilot的公网API调用

针对小团队私有保密项目、创新团队孵化新产品,隐私安全问题就显得格外重要。因此,团队内部部署私有的Code Copilot方案就应运而出了:

Code Copilot的内部API服务

今天老牛同学和大家一起来使用Qwen2-7构建个人或者团队专属的私有化 Code Copilot,除了代码生成之外,还可以是支持 AI 问答代码解释语言转换、生成单元测试用例等功能。不但可以提高我们的研发效率,还可以保护我们的代码隐私。

第一步:部署私有的大模型(Qwen2-7B)

前面老牛同学介绍了本地部署大模型和使用教程,包括Llama3-8BQwen2-7BGLM4-9B、和Phi3等。大家可以看一下之前的部署教程,老牛同学今天使用Qwen2-7B作为我们 Copilot 底层大模型,对于本文Code Copilot的部署和使用,其他大模型都是一样的,看大家的喜好,没有特殊要求。

老牛同学这里简单列一下部署教程:

环境安装: 主要是Miniconda包管理安装,参见教程,注意只需要安装MinicondaPython即可,其他非必须:大模型应用研发基础环境配置(Miniconda、Python、Jupyter Lab、Ollama 等):https://mp.weixin.qq.com/s/P_ufvz4MWVSqv_VM-rJp9w

Code Copilot底层大模型的部署方式,老牛同学验证主要以下 2 种,任选一种即可:

方式一 基于 Ollama 部署:

  1. 下载并安装Ollama本地模型管理软件(Windows/Mac/Linux 均支持):https://ollama.com/download
  2. 通过 Ollama 下载并启动大模型:ollama run qwen2:7b

通过以上 2 步,即完成了大模型的部署。特别注意的是:GLM系列大模型还不支持 Ollama 管理!因此如果你希望用 GLM 系列(如:GLM4-9B)大模型,那么请看方式二。

方式二 通过 Python 部署:通用方法,所有模型都支持,以下是老牛同学验证过的部署教程

  1. Phi3:Phi-3 模型手机部署教程(微软发布的可与 GPT-3.5 媲美的小模型)
  2. Qwen2-7B:Qwen2 阿里最强开源大模型(Qwen2-7B)本地部署、API 调用和 WebUI 对话机器人
  3. Llama3-8B:玩转 AI,笔记本电脑安装属于自己的 Llama 3 8B 大模型和对话客户端
  4. GLM4-9B:本地部署 GLM-4-9B 清华智谱开源大模型方法和对话效果体验

第二步:IDE 安装和配置 Continue 插件

Code Copilot Continue是目前最受欢迎的插件之一,它插件的形式使用,目前支持VS CodeJetBrains 全家桶这 2 个主流 IDE 的扩展,可以在对应的插件市场中直接搜索Continue下载安装。Continue插件的一个最大优势在于它可以指定连接本地或者局域网内的大模型,所以对于信息安全高的项目,我们完全可以在本地或者局域网内部署大模型,然后用Continue插件连接使用,在提高开发生产效率同时保护了研发代码的隐私。目前Continue插件的社区活跃,GitHub 仓库已达12K星,插件版本更新频繁,越来越成熟。

因为老牛同学日常使用VS Code较多,因此下面的安装和配置,基于VS Code完成,JetBrains(如:PyCharm 等)的方式类同。

安装 Continue 插件: 插件管理器中,搜索Continue,点击安装,安装成功之后重启 IDE 即可。

安装Continue插件

Continue 插件状态: 安装成功并重启之后,可以看到VS Code的左侧多了一个Continue按钮。同时,右下角也多了一个Continue状态图标:√ Continue则代表Continue在 IDE 中生效了,🚫Continue则代表Continue在 IDE 未启用。

Continue插件状态

配置 Continue 插件: 点击左下角启用Continue插件,然后点击左侧的Continue按钮,可以看到一个对话界面,点击左下角齿轮形状的配置图标,则打开了一个 JSON 格式的配置文件,在这里可以配置Continue底层使用的大模型信息:

Continue插件配置

{"models": [{"title": "Qwen2:7B","provider": "ollama","model": "qwen2:7b"},{"title": "Llama3-8B","provider": "openai","model": "Local-Model","apiBase": "http://127.0.0.1:8000/v1","apiKey": "EMPTY","completionOptions": {"stop": ["<|eot_id|>"]}}],"customCommands": [{"name": "test","prompt": "{{{ input }}}\n\nWrite a comprehensive set of unit tests for the selected code. It should setup, run tests that check for correctness including important edge cases, and teardown. Ensure that the tests are complete and sophisticated. Give the tests just as chat output, don't edit any file.","description": "Write unit tests for highlighted code"}],// "tabAutocompleteModel": {//   "title": "Qwen2:7B",//   "provider": "ollama",//   "model": "qwen2:7b"// },"tabAutocompleteModel": {"title": "Llama3-8B","model": "Local-Model","apiBase": "http://127.0.0.1:8000/v1","provider": "openai","apiKey": "EMPTY"},"allowAnonymousTelemetry": true,"embeddingsProvider": {"provider": "transformers.js"}
}

Continue插件的配置信息主要分为 3 块:

  1. models 代表所有的模型列表:上面样例配置文件,老牛同学分别配置了基于Ollama部署的Qwen2-7B大模型和基于OpenAI客户端部署的Llama3-7B大模型(也就是涵盖了上面大模型的 2 种不同部署方式的不同配置方式)
  2. customCommands 自定义给大模型的提示词格式,input代表输入内容(代码或者文本等),可以按照实际需求进行调整
  3. tabAutocompleteModel 代码编写过程中,当按下代码生成快捷键时,Continue生成代码的大模型,从models列表里面指定一个即可,当然也可以设置一个其他的大模型(注意: 只能选择一个模型,上面样例配置注释掉了一个,在实际使用时需要删除掉,因为 JSON 不支持注释!)

第三步:使用 Code Copilot Continue 插件

首先,启动大模型(如:Qwen2-7B);其次,点击 IDE 左下角图标,以启用Continue插件;然后,选择一个对话大模型(默认选中第 1 个大模型):

启动Continue插件

使用方式一: 我们可以选择不同的大模型进行对话,相当于Continue插件提供了一个可视化对话客户端

使用方式二: 代码生成,也是本文的重点,下面老牛同学以快速排序算法为例,来如何利用Continue完成代码编写:

场景一:AI 对话代码同步

  1. 使用大模型对话能力,写出快速排序算法代码,Prompt 提示词:请提供一下功能代码:Python 实现快速排序算法函数,大模型很好的实现了算法逻辑,并且给了很多的说明和解释
  2. 选中快速排序算法函数的代码,然后按下CTRL+Shift+L快捷键,或者点击代码框右上角的Apply to current file按钮,Python 自动同步到了编辑器中了:

AI对话代码同步

场景二:代码自动补全

  1. 在编辑器中,只需要输入注释内容(不要按回车键):# Python实现快速排序算法函数
  2. 然后按下CTRL+Shift+L快捷键,然后在按下回车键,可以看到代码已经生成,可以按Tab键使用代码

代码自动补全

场景三:增加单元测试代码

  1. 在编辑器中,选中一段代码函数,然后按下CTRL+I快捷键
  2. 然后,在弹出的Ctrl+I指令框中输入:增加代码测试代码,然后按下回车键,可以看到生成了测试用例代码

输入选中代码指令

增加单元测试用例代码

场景四:代码自动填充对话框

  1. 在编辑器中,选中一段代码,然后按下Ctrl+L快捷键,代码自动填充到了左侧的对话框中
  2. 可以在对话框中继续输入指令,如:请解释一下这段代码,然后按回车键提交大模型:

代码填充对话框和解释

其他场景

  1. 增加注释
  2. 代码异常堆栈分析
  3. …… 其他请大家补充

最后:

使用开源大模型作为团队的 Code Copilot 工具,可以提高团队的开发效率,同时也可以保护团队的代码隐私。虽然目前开源的 LLM 相比闭源商用的 LLM 还有一些差距,但是随着开源 LLM 的不断发展,相信两者的差距以后会越来越小。以上就是今天介绍的内容,希望对大家有所帮助。


关注本公众号,我们共同学习交流进步 👇🏻👇🏻👇🏻

微信公众号:老牛同学

Phi-3 开源大模型

Phi-3 模型手机部署教程(微软发布的可与 GPT-3.5 媲美的小模型)

Qwen2-7B 开源大模型

Qwen2 阿里最强开源大模型(Qwen2-7B)本地部署、API 调用和 WebUI 对话机器人

Llama-3-8B 开源大模型

玩转 AI,笔记本电脑安装属于自己的 Llama 3 8B 大模型和对话客户端

一文彻底整明白,基于 Ollama 工具的 LLM 大语言模型 Web 可视化对话机器人部署指南

基于 Llama 3 搭建中文版(Llama3-Chinese-Chat)大模型对话聊天机器人

GLM-4-9B 开源大模型

本地部署 GLM-4-9B 清华智谱开源大模型方法和对话效果体验

ChatTTS 文本转语音模型

ChatTTS 开源文本转语音模型本地部署、API 使用和搭建 WebUI 界面

Stable Diffusion 3 文生图模型

Stable Diffusion 3 文生图“开源英雄”大模型本地部署和使用教程,轻松实现 AI 绘图自由

大模型应用实战

大模型应用研发基础环境配置(Miniconda、Python、Jupyter Lab、Ollama 等)

借助 AI 大模型,三分钟原创一部儿童故事短视频(附完整操作步骤)

高效编写大模型 Prompt 提示词,解锁 AI 无限创意潜能

Python 小游戏

AI 已来,我与 AI 一起用 Python 编写了一个消消乐小游戏

Python 游戏编程:一步步用 Python 打造经典贪吃蛇小游戏


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/38106.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

面了英伟达算法岗,被疯狂拷打。。。

节前&#xff0c;我们组织了一场算法岗技术&面试讨论会&#xff0c;邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。 针对大模型技术趋势、算法项目落地经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。 总结链接如…

Python逻辑控制语句 之 循环语句--for循环

1.for 的介绍 for 循环 也称为是 for 遍历, 也可以做指定次数的循环遍历: 是从容器中将数据逐个取出的过程.容器: 字符串/列表/元组/字典 2.for 的语法 &#xff08;1&#xff09;for 循环遍历字符串 for 变量 in 字符串: 重复执⾏的代码 字符串中存在多少个字符, 代码就执行…

YOLOv8 的简介 及C#中如何简单应用YOLOv8

YOLOv8 是 YOLO&#xff08;You Only Look Once&#xff09;系列中的最新版本&#xff0c;是一种用于目标检测和图像分割的深度学习模型。YOLO模型以其快速和准确的目标检测性能而著称&#xff0c;广泛应用于实时应用程序中。 主要特点 高效性&#xff1a;YOLOv8 在保持高检测…

【HBZ分享】如何实现系统的高可用

如何实现系统的高可用&#xff1f; 高可用架构设计 采用集群&#xff0c;多机房&#xff0c;多副本&#xff0c;负载均衡&#xff0c;热备份等手段&#xff0c;确保系统冗余 与 可恢复能力&#xff0c;避免单点故障。服务容错 与 降级 面对故障时&#xff0c;通常采用合适的…

解决java中时间参数的问题

在java的日常开发中&#xff0c;我们经常需要去接收前端传递过来的时间字符串&#xff0c;同时给前端返回数据时&#xff0c;也会涉及到时间字段的数据传递&#xff0c;那么我们要如何处理这些字段呢&#xff1f; 知识铺垫&#xff1a;java最后返回的时间是时间世界&#xff0…

鲁工小装载机-前后桥传动轴油封更换记录

鲁工装载机 因前后桥大量漏齿轮油&#xff0c;故拆开查看、更换油封 一&#xff1a; 如图圈起来的地方是螺丝和钢板相别&#xff0c;用200的焊接电流用电焊机点开一个豁口后拆除螺丝。 转轴是拆除传动轴后的样子。 这就是拆下来的样子&#xff0c;这玩意插上边那图&…

Python 3 字符串

Python 3 字符串 字符串在Python中是一种基本的数据类型,用于存储文本数据。Python 3中的字符串是由Unicode字符组成的序列,这使得它可以轻松地处理多种语言的文本。在本文中,我们将深入探讨Python 3中字符串的各个方面,包括创建字符串、字符串操作、格式化和常见的方法。…

F12开发者工具怎么用(小白版)

F12开发者工具&#xff08;也称为浏览器开发者工具&#xff09;是现代浏览器&#xff08;如Chrome、Firefox、Edge等&#xff09;内置的工具集&#xff0c;主要用于网页开发和调试。以下是使用这些工具的一些基本指南&#xff1a; 打开开发者工具 按下 F12 键&#xff0c;或者…

探索Scala在大数据开发中的高级功能

目录 2. Scala的语言特性 2.1 静态类型和类型推断 2.2 面向对象与函数式编程 3. 高级集合操作 3.1 不可变集合 3.2 高阶函数 4. 并发与并行处理 4.1 Future与Promise 4.2 Akka Actor模型 5. Spark与Scala的结合 5.1 RDD和DataFrame 5.2 Spark SQL与数据处理 6. 高…

八爪鱼现金流-033,升级日志,里程碑4

2024年6月30日15:48:46 v-4.0.0 定时任务发送邮件提醒功能开发&#xff1a; 发送邮箱定时任务。提醒月报记账. 工资日 5号 15号 25号 晚上17:30发送 里程碑版本4完成。 八爪鱼现金流 八爪鱼

【论文阅读】A Survey on Large Language Model based Autonomous Agents

文章目录 1 大语言模型的构建1.1分析模块 profiling module1.2 记忆模块 memory module1.2.1 记忆结构1.2.2 记忆形式1.2.3 记忆运行 1.3 规划模块 planning module1.3.1 无反馈规划1.3.2 有反馈计划 1.4 执行模块 action module1.4.1 执行目标1.4.2 执行空间 2 Agent能力提升2…

深度剖析:前端如何驾驭海量数据,实现流畅渲染的多种途径

文章目录 一、分批渲染1、setTimeout定时器分批渲染2、使用requestAnimationFrame()改进渲染2.1、什么是requestAnimationFrame2.2、为什么使用requestAnimationFrame而不是setTimeout或setInterval2.3、requestAnimationFrame的优势和适用场景 二、滚动触底加载数据三、Elemen…

深入探索Edge浏览器中的WebAssembly:启用与禁用指南

WebAssembly&#xff08;简称Wasm&#xff09;是一种新的代码格式&#xff0c;旨在提供一种在现代浏览器中高效运行接近原生性能的应用程序的方式。微软Edge浏览器作为支持WebAssembly的浏览器之一&#xff0c;允许用户根据需要启用或禁用这项技术。本文将详细介绍如何在Edge浏…

支付宝支付之收款码支付

文章目录 收款码支付接入流程安全设计系统交互流程交易状态统一收单交易支付接口请求参数测试结果查询支付撤销支付退款支付退款结果退款说明 收款码支付 继&#xff1a;支付宝支付之入门支付 接入流程 安全设计 支付宝为了保证交易安全采取了一系列安全手段以保证交易安全。…

账号和权限的管理1

文章目录 修改用户账号的属性usermod格式常用选项 用户账号的初始化配置文件文件来源主要的用户初始配置文件 组账号文件添加组账号groupadd格式常用选项其他选项 删除组账号groupdel格式 查询账号信息groups格式 id格式 finger格式 W、who、users格式 文件/目录的权限和归属访…

emptyDir + initContainer实现ConfigMap的动态更新(K8s相关)

1. 絮絮叨叨 K8s部署服务时&#xff0c;一般都需要使用ConfigMap定义一些配置文件例如&#xff0c;部署分布式SQL引擎Presto&#xff0c;会在ConfigMap中定义coordinator、worker所需的配置文件以node.properties为例&#xff0c;node.environment和node.data-dir的值将由Helm…

深入解析三大跨平台开发框架:Flutter、React Native 和 uniapp

深入解析三大跨平台开发框架&#xff1a;Flutter、React Native 和 uniapp 在移动开发中&#xff0c;跨平台开发框架已经成为开发者的首选工具。本篇将深入解析三大主流跨平台开发框架&#xff1a;Flutter、React Native 和 uniapp。下面将详细探讨它们的原理、优势和劣势。 …

接口设计原则与最佳实践指南

接口设计原则与最佳实践指南 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 1. 什么是接口&#xff1f; 在软件开发中&#xff0c;接口是定义类或模块之间通…

C++ 嵌套和递归使用模板类

在C11之前&#xff0c;嵌套使用模板类的时候&#xff0c;> >之间要加空格。 #include <iostream> // 包含头文件。 using namespace std; // 指定缺省的命名空间。template <class DataType> class Stack // 栈类 { private:DataType* …

scp和rsync

全量和增量 全量就是把所有文件一股脑的全部传输过去&#xff0c;也不管他一不一样&#xff0c;比如scp 增量就是在传输前先对比一下两边的文件一不一样&#xff0c;有一样的部分&#xff0c;哪一样的部分就不传输&#xff0c;只传输不一样的部分&#xff0c;和新增的部分 &…