ChatGPT 结合实际地图实现问答式地图检索功能基于Function calling

ChatGPT 结合实际地图实现问答式地图检索功能基于Function calling

ChatGPT结合实际业务,主要是研发多函数调用(Function Calling)功能模块,将自定义函数通过ChatGPT 问答结果,实现对应函数执行,再次将结果输入ChatGPT,大模型将结果规范化处理输出,完成一次完整的prompt,实现对话式应用场景实际功能实现。

Function calling是什么?

Function calling是可以让我们用自己的函数当作调用chatgpt的参数,在函数中我们可以做任何事情,例如获取网络上的数据,查询自己的数据库等。

为什么使用Function calling?

比如当我们问chatgpt:上海今天得天气怎么样?他得回答是:很抱歉,作为一个语言模型,我无法提供实时的天气信息…为什么这样呢,因为chatgpt没有实时地网络数据,而有了Function calling我们可以在函数中调用查询天气的接口返回给chatgpt,chatgpt按照我们的需求把数据转为自然语言。当然这只是一个最基础最简单的应用场景,实际会有更多更复杂的应用场景。

Function Calling 的机制

在这里插入图片描述
Function Calling 机制的主要关键点:

  1. OpenAI 通过用户输入Pormpt 和打包参数、函数描述等进行问答结构化输出;
  2. 匹配判断函数功能,(该部分可用大模型自带的Auto,但效果差),也可自行实现函数判断是否调用;
  3. 如果匹配成功,生成对函数调用的结构化参数;
  4. 调用自定义执行函数,获得函数执行结果,并将结果append 到起初Pormpt,再次送入大模型;
  5. 大模型对结果进行整合,结构化输出结果;
  6. 如果不匹配直接返回结果显示给用户;
    官方给出的具体流程
  7. 使用用户查询和函数参数中定义的一组外部函数库。
  8. 模型可以选择调用任意外部函数;如果是这样,内容将是符合自定义架构的字符串化 JSON 对象(注意:模型可能会生成无效的 JSON 或幻觉参数)。
  9. 在代码中将字符串解析为 JSON,并使用提供的参数调用函数(如果存在)。
  10. 通过将函数响应追加为新消息来再次调用模型,并让模型将结果汇总返回给用户。

Function Calling 的特点

Function Calling 是一种让 Chat Completion 模型调用外部函数的能力,可以让模型不仅仅根据自身的数据库知识进行回答,而是可以额外挂载一个函数库,然后根据用户提问去函数库检索,按照实际需求调用外部函数并获取函数运行结果,再基于函数运行结果进行回答。

支持 Function Calling 的非国产大模型

目前 OpenAI 仅支持 gpt-3.5-turbo-0613 和 gpt-4-0613 两个语言模型使用 Function Calling 功能。

支持 Function Calling 的国产大模型

  • 百度文心大模型 MiniMax:做虚拟人物效果不错。
  • ChatGLM3-6B:最著名的国产开源大模型,生态最好。
  • 讯飞星火 3.0。

高德地图实际地图信息测试

本次测试是利用对话方式实现地图目标搜索功能,具体任务如下图所示。
用户提问: 帮我查找北京市三里屯附近的咖啡店
GPT解答: 结构化输出:北京市、三里屯、咖啡店
定义大模型结构化函数: 自定义大模型识别的自定义函数,实现函数功能;
函数执行: 将GPT解答结果传参,传入自定义函数;
结果回流: 将函数返回结果与直接Pormpt进行append,并一起传入大模型;
GPT解答: 规范化结果输出。

具体流程如下图所示

在这里插入图片描述

外部函数编写规范

在使用前需要我们先对外部函数进行定义和实现,实现就不多说就是一个具体函数。而定义需要我们包含以下几部分内容:
name: 清晰的函数名称
description: 函数功能的具体描述,尽量对输入参数和输出信息有明确的说明
parameters: 对函数的每个输入参数进行类型定义及其描述
required: 指定哪些参数必填

具体结构函数如下所示:

tools=[{"type": "function","function": {"name": "get_location_coordinate","description": "根据POI名称,获得POI的经纬度坐标","parameters": {"type": "object","properties": {"location": {"type": "string","description": "POI名称,必须是中文",},"city": {"type": "string","description": "POI所在的城市名,必须是中文",}},"required": ["location", "city"],}}}{"type": "function","function": {"name": "search_nearby_pois","description": "搜索给定坐标附近的poi","parameters": {"type": "object","properties": {"longitude": {"type": "string","description": "中心点的经度",},"latitude": {"type": "string","description": "中心点的纬度",},"keyword": {"type": "string","description": "目标poi的关键字",}},"required": ["longitude", "latitude", "keyword"],}}}

注意:Function Calling 中的函数与参数的描述description也是一种 Prompt。这种 Prompt 也需要调优,否则会影响函数的召回、参数的准确性,甚至让 GPT 产生幻觉。

定义本地函数

• get_location_position 用于查询某个地点的地理坐标。
• search_nearby_list 用于查询地理坐标附近的某些信息(取决于用户输入的Keyword)

get_location_poinstion 代码块如下所示

def get_location_position (location, city):url = f"https://restapi.amap.com/v5/place/text?key={amap_key}&keywords={location}&region={city}"print(url)r = requests.get(url)result = r.json()if "pois" in result and result["pois"]:return result["pois"][0]return None

search_nearby_list 代码块如下所示

def search_nearby_list (longitude, latitude, keyword):url = f"https://restapi.amap.com/v5/place/around?key={amap_key}&keywords={keyword}&location={longitude},{latitude}"print(url)r = requests.get(url)result = r.json()ans = ""if "pois" in result and result["pois"]:for i in range(min(3, len(result["pois"]))):name = result["pois"][i]["name"]address = result["pois"][i]["address"]distance = result["pois"][i]["distance"]ans += f"{name}\n{address}\n距离:{distance}米\n\n"return ans

此处,利用的是高德地图的开放接口,在使用本例之前,需要先去高德地图开放接口的官网申请一个key
高德地图map-key: https://console.amap.com/dev/user/permission

数据传输关键点

用户提问: “北京三里屯附近的咖啡馆”
ChatGPT: {‘location’: ‘三里屯’, ‘city’: ‘北京’}
get_location_coordinate作用是找到三里屯的精确位置,函数输入和输出分别是:
输入数据为:{‘location’: ‘三里屯’, ‘city’: ‘北京’}
输出为:
在这里插入图片描述
可以看到,函数返回结果主要是和地区有关的,地名、地址、区号、代号、坐标等信息;
{‘parent’: ‘’, ‘address’: ‘朝阳区’, ‘distance’: ‘’, ‘pcode’: ‘110000’, ‘adcode’: ‘110105’, ‘pname’: ‘北京市’, ‘cityname’: ‘北京市’, ‘type’: ‘地名地址信息;热点地名;热点地名’, ‘typecode’: ‘190700’, ‘adname’: ‘朝阳区’, ‘citycode’: ‘010’, ‘name’: ‘三里屯’, ‘location’: ‘116.455294,39.937492’, ‘id’: ‘B0FFF5BER7’}
有用参数为经纬度坐标:‘location’: ‘116.455294,39.937492’
search_nearby_pois作用是在指定坐标位置找出所需的目标,函数输入和输出分别是:
输入:get_location_coordinate 的输出 + 原始Prompt;然后一起接入大模型GPT回答后的输出{‘longitude’: ‘116.455294’, ‘latitude’: ‘39.937492’, ‘keyword’: ‘咖啡馆’}
即就是参数:longitude, latitude, keyword;
输出为:
在这里插入图片描述
输出结果单条如下所示:
{“parent”:“B000A80TPS”,“address”:“三里屯路33号3.3大厦1层1010号”,“distance”:“52”,“pcode”:“110000”,“adcode”:“110105”,“pname”:“北京市”,“cityname”:“北京市”,“type”:“餐饮服务;咖啡厅;星巴克咖啡”,“typecode”:“050501”,“adname”:“朝阳区”,“citycode”:“010”,“name”:“星巴克咖啡(北京三里屯三点三大厦店)”,“location”:“116.455034,39.937060”,“id”:“B0G35RYBJW”}
函数中,利用distance可以输出最近的N个店,或者输出小于阈值的店;

根据需求定义输出标准,本例为:

  • “name”:" 星巴克咖啡(北京三里屯三点三大厦店)"
  • “distance”: “52”
  • “address”: “三里屯路33号3.3大厦1层1010号”

本例输出为最近的3个(可自定义):

  1. 星巴克咖啡(北京三里屯三点三大厦店)
    地址:三里屯路33号3.3大厦1层1010号,距离52米
  2. 内山咖啡店(3•3大厦店)
    地址:三里屯路33号3•3大厦B1层,距离82米
  3. 春丽咖啡(3•3大厦店)
    地址:三里屯路33号3.3大厦东门1层1099,距离93米

将输出结果再次append到Prompt,输入到大模型GPT 里,GPT答复输出整理后格式,如下所示。
最终ChatGPT答复:

ChatGPT: 根据您的要求,我找到了以下咖啡馆:
1. 星巴克咖啡(北京三里屯三点三大厦店),地址:三里屯路333.3大厦11010号,距离52米。
2. 内山咖啡店(33大厦店),地址:三里屯路3333大厦B1层,距离82米。
3. 春丽咖啡(33大厦店),地址:三里屯路333.3大厦东门11099,距离93米。
以上是您附近的咖啡馆,您可以前往您喜欢的地方享用咖啡。
Process finished with exit code 0

整体实现思路

(1)首先大模型识别到应该先调用get_location_coordinate函数获取经纬度;
(2)get_location_coordinate执行结果给到大模型,大模型识别到下一步应该调用search_nearby_pois;
(3)search_nearby_pois执行结果给到大模型,大模型识别到不需要调用其它函数,用自然语言组织了最终答案。

总结

  • 将函数说明组织成json形式告诉大模型。其中最重要的函数和参数描述,是该函数的prompt,大模型通过这个描述来确定用户的输入是否匹配该函数,是否召回该函数。
  • 大模型如果召回了某个函数,即在本地去解析函数名和参数去使用,从而完成大模型与外部世界的连接。

主要参考链接

OpenAI官方Function Calling教程:

https://platform.openai.com/docs/guides/function-calling

最后,本地部署已经实现,是基于ChatGLM3b 实现的。有需要本地部署代码的私信。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/733071.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

List(CS61B学习记录)

问题引入 上图中,赋给b海象的weight会改变a海象的weight,但x的赋值又不会改变y的赋值 Bits 要解释上图的问题,我们应该从Java的底层入手 相同的二进制编码,却因为数据类型不同,输出不同的值 变量的声明 基本类型…

强引用、软引用、弱引用、幻象引用 —— Java的四种引用类型解析

强引用、软引用、弱引用、幻象引用 —— Java的四种引用类型解析 在Java中,对象的生命周期并不总是由我们直接控制。除了我们常见的强引用外,Java还提供了软引用、弱引用和幻象引用这三种引用类型,它们对对象生命周期的影响各不相同。理解这…

一步到位!快速精通Git工作流及实战技巧详解

Git是一个分布式版本控制系统。 1、git的应用场景 1.备份 小明负责的模块就要完成了,就在即将release之前的一瞬间,电脑突然蓝屏。硬盘光荣牺牲!几个月来的努力付之东流。 场景二:代码还原 这个项目中需要一个很复杂的功能&…

Linux下使用MD5SUM命令详解

在Linux操作系统中,md5sum是一个非常实用的工具,用于生成和校验文件的MD5散列值。MD5是一种广泛使用的密码散列函数,可以产生一个128位(16字节)的散列值,常用来确保数据的完整性和一致性。 一、MD5SUM命令…

【Java】<Java类库> 与 <Java标准库>

Java标准库 和 Java类库 在某种程度上是相互关联的概念,但它们又有一些不同之处。 Java标准库: Java标准库是指Java平台提供的一组标准的类和接口的集合,用于实现Java程序的基本功能和常见任务。Java标准库是Java平台的一部分,包含…

CVHub | 初识langchain,3分钟快速了解!

本文来源公众号“CVHub”,仅用于学术分享,侵权删,干货满满。 原文链接:初识langchain 1 什么是langchain langchain[1]是一个用于构建LLM-Based应用的框架,提供以下能力: 上下文感知:可以为LLM链接上下文…

《Python源码剖析》之字符串拼接的一个效率问题

前言 我们常用的字符串拼接方法有两个,一个是通过“”号实现字符串的拼接,还一个就是通过join方法来实现拼接,前者在写法上更加便利,和数字之间的加法运算一样,通常只有两个运算对象,只不过他们的运算规则…

XS2186 PSE控制器产品-八通道,兼容IEEE 802.3at/af

XS2186 PSE控制器产品-八通道,兼容IEEE 802.3at/af 芯片特性: 八通道,兼容IEEE 802.3at/af 0.1Ω内置电流检测电阻 内置电源功率管 每个端口高达30W 10位端口电流和电压实时监测 兼容I2C,3线串口 支持独立供电操作 为遗…

新贵Claude 3家族强势登场,AI领域掀起新一轮浪潮!

人工智能领域的风云再起,Anthropic公司日前放出狠招,推出了全新的大模型家族Claude 3系列。Claude 3由三款不同级别的大模型组成,分别是Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus。这一系列产品的推出,不仅扩充了AI生态,更是对OpenAI的GPT-4等龙头产品发出了挑战。让我们…

函数柯里化:JavaScript中的高级技巧

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…

利用GPT开发应用005:Codex、Turbo、ChatGPT、GPT-4

文章目录 一、GPT-3 Codex二、GPT-3.5 Turbo二、ChatGPT三、GPT-4 一、GPT-3 Codex 2022年3月,OpenAI 发布了 GPT-3 Codex 的新版本。 这个新模型具有编辑和插入文本的能力。它们是通过截至 2021 年 6 月的数据进行训练的,并被描述为比之前版本更强大。到…

力扣爆刷第88天之hot100五连刷26-30

力扣爆刷第88天之hot100五连刷26-30 文章目录 力扣爆刷第88天之hot100五连刷26-30一、142. 环形链表 II二、21. 合并两个有序链表三、2. 两数相加四、19. 删除链表的倒数第 N 个结点五、24. 两两交换链表中的节点 一、142. 环形链表 II 题目链接:https://leetcode.…

ospf静态路由实验简述

1、ospf静态路由实验简述 实验拓扑图 实验命令 r2: sys sysname r2 undo info enable int loopb 0 ip add 2.2.2.2 32 quit int e0/0/0 ip add 23.1.1.2 24 quit ospf 1 area 0 network 23.1.1.0 0.0.0.255 network 2.2.2.2 0.0.0.0 ret r3: sys sysname r3 undo info enable …

C++vector简单实现

由于我们之前已经详细讲解了string接口,而vector接口大都在string上有,所以大家只需自行翻阅前面文章就可以明白接口的使用了,所以,这里我们只实现vector,注意:vector会有迭代器失效的情况,大家…

SuperNIC:用于人工智能的网络加速器

随着人工智能的复杂性和规模不断增长,传统的网络解决方案往往无法满足这些先进系统的数据密集型需求。为了解决人工智能工作负载所面临的问题,SuperNIC应运而生。在本文中,我们将探讨SuperNIC的变革能力,探索它如何革新网络性能&a…

C语言经典算法题-2

文章目录 11.字串核对12.双色、三色河内塔13.背包问题(Knapsack Problem)14.蒙地卡罗法求 PI15.Eratosthenes筛选求质数 11.字串核对 说明:今日的一些高阶程式语言对于字串的处理支援越来越强大(例如Java、Perl等)&am…

python 蓝桥杯之动态规划入门

文章目录 DFS滑行(DFS 记忆搜索) 思路: 要思考回溯怎么写(入参与返回值、递归到哪里,递归的边界和入口) DFS 滑行(DFS 记忆搜索) 代码分析: 学会将输入的数据用二维列表…

变换,动画

面试题——需求:在不知道父元素与子元素的宽高时 如何让子元素在父元素内居中? 1.定位 父相子绝 2.子元素 top:50% left:50% 3.子元素 transform: translate(-50%,-50%) .parent{height: 500px;background-color: red;position: relative;}.c…

Docker compose部署redis哨兵集群

Docker compose部署redis哨兵集群 安装Docker和docker-compose准备docker-compose文件redis exporter本地部署准备Redis配置文件ACL用户权限配置Linux内核参数优化启停Redis实例主从复制配置 环境准备: IP版本角色172.x.x.11RHEL 7.9master172.x.x.12RHEL 7.9repli…

在QDialog中嵌入QML

在一些一开始使用QWidget的项目,现由于要支持的硬件及系统已升级,可以很好的使用QML。在这种情况下,就需要通过QWidget与QML混合使用的方式来慢慢把整个项目过渡到纯QML工程。这时在QWidget中嵌入QML是经常要做的事,现就说一说在Q…