ChatGPT 结合实际地图实现问答式地图检索功能基于Function calling

ChatGPT 结合实际地图实现问答式地图检索功能基于Function calling

ChatGPT结合实际业务,主要是研发多函数调用(Function Calling)功能模块,将自定义函数通过ChatGPT 问答结果,实现对应函数执行,再次将结果输入ChatGPT,大模型将结果规范化处理输出,完成一次完整的prompt,实现对话式应用场景实际功能实现。

Function calling是什么?

Function calling是可以让我们用自己的函数当作调用chatgpt的参数,在函数中我们可以做任何事情,例如获取网络上的数据,查询自己的数据库等。

为什么使用Function calling?

比如当我们问chatgpt:上海今天得天气怎么样?他得回答是:很抱歉,作为一个语言模型,我无法提供实时的天气信息…为什么这样呢,因为chatgpt没有实时地网络数据,而有了Function calling我们可以在函数中调用查询天气的接口返回给chatgpt,chatgpt按照我们的需求把数据转为自然语言。当然这只是一个最基础最简单的应用场景,实际会有更多更复杂的应用场景。

Function Calling 的机制

在这里插入图片描述
Function Calling 机制的主要关键点:

  1. OpenAI 通过用户输入Pormpt 和打包参数、函数描述等进行问答结构化输出;
  2. 匹配判断函数功能,(该部分可用大模型自带的Auto,但效果差),也可自行实现函数判断是否调用;
  3. 如果匹配成功,生成对函数调用的结构化参数;
  4. 调用自定义执行函数,获得函数执行结果,并将结果append 到起初Pormpt,再次送入大模型;
  5. 大模型对结果进行整合,结构化输出结果;
  6. 如果不匹配直接返回结果显示给用户;
    官方给出的具体流程
  7. 使用用户查询和函数参数中定义的一组外部函数库。
  8. 模型可以选择调用任意外部函数;如果是这样,内容将是符合自定义架构的字符串化 JSON 对象(注意:模型可能会生成无效的 JSON 或幻觉参数)。
  9. 在代码中将字符串解析为 JSON,并使用提供的参数调用函数(如果存在)。
  10. 通过将函数响应追加为新消息来再次调用模型,并让模型将结果汇总返回给用户。

Function Calling 的特点

Function Calling 是一种让 Chat Completion 模型调用外部函数的能力,可以让模型不仅仅根据自身的数据库知识进行回答,而是可以额外挂载一个函数库,然后根据用户提问去函数库检索,按照实际需求调用外部函数并获取函数运行结果,再基于函数运行结果进行回答。

支持 Function Calling 的非国产大模型

目前 OpenAI 仅支持 gpt-3.5-turbo-0613 和 gpt-4-0613 两个语言模型使用 Function Calling 功能。

支持 Function Calling 的国产大模型

  • 百度文心大模型 MiniMax:做虚拟人物效果不错。
  • ChatGLM3-6B:最著名的国产开源大模型,生态最好。
  • 讯飞星火 3.0。

高德地图实际地图信息测试

本次测试是利用对话方式实现地图目标搜索功能,具体任务如下图所示。
用户提问: 帮我查找北京市三里屯附近的咖啡店
GPT解答: 结构化输出:北京市、三里屯、咖啡店
定义大模型结构化函数: 自定义大模型识别的自定义函数,实现函数功能;
函数执行: 将GPT解答结果传参,传入自定义函数;
结果回流: 将函数返回结果与直接Pormpt进行append,并一起传入大模型;
GPT解答: 规范化结果输出。

具体流程如下图所示

在这里插入图片描述

外部函数编写规范

在使用前需要我们先对外部函数进行定义和实现,实现就不多说就是一个具体函数。而定义需要我们包含以下几部分内容:
name: 清晰的函数名称
description: 函数功能的具体描述,尽量对输入参数和输出信息有明确的说明
parameters: 对函数的每个输入参数进行类型定义及其描述
required: 指定哪些参数必填

具体结构函数如下所示:

tools=[{"type": "function","function": {"name": "get_location_coordinate","description": "根据POI名称,获得POI的经纬度坐标","parameters": {"type": "object","properties": {"location": {"type": "string","description": "POI名称,必须是中文",},"city": {"type": "string","description": "POI所在的城市名,必须是中文",}},"required": ["location", "city"],}}}{"type": "function","function": {"name": "search_nearby_pois","description": "搜索给定坐标附近的poi","parameters": {"type": "object","properties": {"longitude": {"type": "string","description": "中心点的经度",},"latitude": {"type": "string","description": "中心点的纬度",},"keyword": {"type": "string","description": "目标poi的关键字",}},"required": ["longitude", "latitude", "keyword"],}}}

注意:Function Calling 中的函数与参数的描述description也是一种 Prompt。这种 Prompt 也需要调优,否则会影响函数的召回、参数的准确性,甚至让 GPT 产生幻觉。

定义本地函数

• get_location_position 用于查询某个地点的地理坐标。
• search_nearby_list 用于查询地理坐标附近的某些信息(取决于用户输入的Keyword)

get_location_poinstion 代码块如下所示

def get_location_position (location, city):url = f"https://restapi.amap.com/v5/place/text?key={amap_key}&keywords={location}&region={city}"print(url)r = requests.get(url)result = r.json()if "pois" in result and result["pois"]:return result["pois"][0]return None

search_nearby_list 代码块如下所示

def search_nearby_list (longitude, latitude, keyword):url = f"https://restapi.amap.com/v5/place/around?key={amap_key}&keywords={keyword}&location={longitude},{latitude}"print(url)r = requests.get(url)result = r.json()ans = ""if "pois" in result and result["pois"]:for i in range(min(3, len(result["pois"]))):name = result["pois"][i]["name"]address = result["pois"][i]["address"]distance = result["pois"][i]["distance"]ans += f"{name}\n{address}\n距离:{distance}米\n\n"return ans

此处,利用的是高德地图的开放接口,在使用本例之前,需要先去高德地图开放接口的官网申请一个key
高德地图map-key: https://console.amap.com/dev/user/permission

数据传输关键点

用户提问: “北京三里屯附近的咖啡馆”
ChatGPT: {‘location’: ‘三里屯’, ‘city’: ‘北京’}
get_location_coordinate作用是找到三里屯的精确位置,函数输入和输出分别是:
输入数据为:{‘location’: ‘三里屯’, ‘city’: ‘北京’}
输出为:
在这里插入图片描述
可以看到,函数返回结果主要是和地区有关的,地名、地址、区号、代号、坐标等信息;
{‘parent’: ‘’, ‘address’: ‘朝阳区’, ‘distance’: ‘’, ‘pcode’: ‘110000’, ‘adcode’: ‘110105’, ‘pname’: ‘北京市’, ‘cityname’: ‘北京市’, ‘type’: ‘地名地址信息;热点地名;热点地名’, ‘typecode’: ‘190700’, ‘adname’: ‘朝阳区’, ‘citycode’: ‘010’, ‘name’: ‘三里屯’, ‘location’: ‘116.455294,39.937492’, ‘id’: ‘B0FFF5BER7’}
有用参数为经纬度坐标:‘location’: ‘116.455294,39.937492’
search_nearby_pois作用是在指定坐标位置找出所需的目标,函数输入和输出分别是:
输入:get_location_coordinate 的输出 + 原始Prompt;然后一起接入大模型GPT回答后的输出{‘longitude’: ‘116.455294’, ‘latitude’: ‘39.937492’, ‘keyword’: ‘咖啡馆’}
即就是参数:longitude, latitude, keyword;
输出为:
在这里插入图片描述
输出结果单条如下所示:
{“parent”:“B000A80TPS”,“address”:“三里屯路33号3.3大厦1层1010号”,“distance”:“52”,“pcode”:“110000”,“adcode”:“110105”,“pname”:“北京市”,“cityname”:“北京市”,“type”:“餐饮服务;咖啡厅;星巴克咖啡”,“typecode”:“050501”,“adname”:“朝阳区”,“citycode”:“010”,“name”:“星巴克咖啡(北京三里屯三点三大厦店)”,“location”:“116.455034,39.937060”,“id”:“B0G35RYBJW”}
函数中,利用distance可以输出最近的N个店,或者输出小于阈值的店;

根据需求定义输出标准,本例为:

  • “name”:" 星巴克咖啡(北京三里屯三点三大厦店)"
  • “distance”: “52”
  • “address”: “三里屯路33号3.3大厦1层1010号”

本例输出为最近的3个(可自定义):

  1. 星巴克咖啡(北京三里屯三点三大厦店)
    地址:三里屯路33号3.3大厦1层1010号,距离52米
  2. 内山咖啡店(3•3大厦店)
    地址:三里屯路33号3•3大厦B1层,距离82米
  3. 春丽咖啡(3•3大厦店)
    地址:三里屯路33号3.3大厦东门1层1099,距离93米

将输出结果再次append到Prompt,输入到大模型GPT 里,GPT答复输出整理后格式,如下所示。
最终ChatGPT答复:

ChatGPT: 根据您的要求,我找到了以下咖啡馆:
1. 星巴克咖啡(北京三里屯三点三大厦店),地址:三里屯路333.3大厦11010号,距离52米。
2. 内山咖啡店(33大厦店),地址:三里屯路3333大厦B1层,距离82米。
3. 春丽咖啡(33大厦店),地址:三里屯路333.3大厦东门11099,距离93米。
以上是您附近的咖啡馆,您可以前往您喜欢的地方享用咖啡。
Process finished with exit code 0

整体实现思路

(1)首先大模型识别到应该先调用get_location_coordinate函数获取经纬度;
(2)get_location_coordinate执行结果给到大模型,大模型识别到下一步应该调用search_nearby_pois;
(3)search_nearby_pois执行结果给到大模型,大模型识别到不需要调用其它函数,用自然语言组织了最终答案。

总结

  • 将函数说明组织成json形式告诉大模型。其中最重要的函数和参数描述,是该函数的prompt,大模型通过这个描述来确定用户的输入是否匹配该函数,是否召回该函数。
  • 大模型如果召回了某个函数,即在本地去解析函数名和参数去使用,从而完成大模型与外部世界的连接。

主要参考链接

OpenAI官方Function Calling教程:

https://platform.openai.com/docs/guides/function-calling

最后,本地部署已经实现,是基于ChatGLM3b 实现的。有需要本地部署代码的私信。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/733071.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

List(CS61B学习记录)

问题引入 上图中,赋给b海象的weight会改变a海象的weight,但x的赋值又不会改变y的赋值 Bits 要解释上图的问题,我们应该从Java的底层入手 相同的二进制编码,却因为数据类型不同,输出不同的值 变量的声明 基本类型…

一步到位!快速精通Git工作流及实战技巧详解

Git是一个分布式版本控制系统。 1、git的应用场景 1.备份 小明负责的模块就要完成了,就在即将release之前的一瞬间,电脑突然蓝屏。硬盘光荣牺牲!几个月来的努力付之东流。 场景二:代码还原 这个项目中需要一个很复杂的功能&…

CVHub | 初识langchain,3分钟快速了解!

本文来源公众号“CVHub”,仅用于学术分享,侵权删,干货满满。 原文链接:初识langchain 1 什么是langchain langchain[1]是一个用于构建LLM-Based应用的框架,提供以下能力: 上下文感知:可以为LLM链接上下文…

《Python源码剖析》之字符串拼接的一个效率问题

前言 我们常用的字符串拼接方法有两个,一个是通过“”号实现字符串的拼接,还一个就是通过join方法来实现拼接,前者在写法上更加便利,和数字之间的加法运算一样,通常只有两个运算对象,只不过他们的运算规则…

新贵Claude 3家族强势登场,AI领域掀起新一轮浪潮!

人工智能领域的风云再起,Anthropic公司日前放出狠招,推出了全新的大模型家族Claude 3系列。Claude 3由三款不同级别的大模型组成,分别是Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus。这一系列产品的推出,不仅扩充了AI生态,更是对OpenAI的GPT-4等龙头产品发出了挑战。让我们…

函数柯里化:JavaScript中的高级技巧

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…

ospf静态路由实验简述

1、ospf静态路由实验简述 实验拓扑图 实验命令 r2: sys sysname r2 undo info enable int loopb 0 ip add 2.2.2.2 32 quit int e0/0/0 ip add 23.1.1.2 24 quit ospf 1 area 0 network 23.1.1.0 0.0.0.255 network 2.2.2.2 0.0.0.0 ret r3: sys sysname r3 undo info enable …

python 蓝桥杯之动态规划入门

文章目录 DFS滑行(DFS 记忆搜索) 思路: 要思考回溯怎么写(入参与返回值、递归到哪里,递归的边界和入口) DFS 滑行(DFS 记忆搜索) 代码分析: 学会将输入的数据用二维列表…

变换,动画

面试题——需求:在不知道父元素与子元素的宽高时 如何让子元素在父元素内居中? 1.定位 父相子绝 2.子元素 top:50% left:50% 3.子元素 transform: translate(-50%,-50%) .parent{height: 500px;background-color: red;position: relative;}.c…

在QDialog中嵌入QML

在一些一开始使用QWidget的项目,现由于要支持的硬件及系统已升级,可以很好的使用QML。在这种情况下,就需要通过QWidget与QML混合使用的方式来慢慢把整个项目过渡到纯QML工程。这时在QWidget中嵌入QML是经常要做的事,现就说一说在Q…

Lesson 6 Convolutional Neural Network(CNN)

听课(李宏毅老师的)笔记,方便梳理框架,以作复习之用。本节课主要讲了CNN的适用范围,整体架构与工作流程,CNN的应用,CNN的缺点以及解决方法。 1. CNN的输入与输出 CNN是专门为了图像而设计的一…

面试经典150题——合并两个有序链表

You just work on it. Time will do the rest! 1. 题目描述 2. 题目分析与解析 2.1 思路一 这个题目还是比较简单的,通过分析题目,我们可以知道题目中关键信息为: 所以我们只需要从前向后遍历两个链表,在两个链表不空的情况下&…

HTML静态网页成品作业(HTML+CSS)——原神介绍设计制作(4个页面)

🎉不定期分享源码,关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 🏷️本套采用HTMLCSS,未使用Javacsript代码,共有4个页面。 二、作品演示 三、代…

YOLOv8.1.0安装

【YOLO】YOLOv8训练环境配置 python 3.8.18 cuda 11.3.1 cudnn 8.2.1 pytorch 1.12.1-gpu版 - 知乎 (zhihu.com) 一、Anaconda 默认装好了可用的Anaconda,安装教程见Win10系统anaconda安装 - 知乎 (zhihu.com) 二、在虚拟环境下用conda安装 1.创建虚拟环境 …

【力扣白嫖日记】1164.指定日期的产品价格

前言 练习sql语句,所有题目来自于力扣(https://leetcode.cn/problemset/database/)的免费数据库练习题。 今日题目: 1164.指定日期的铲平价格 表:Products 列名类型product_idintnew_priceintchange_datedate (pr…

记录汇川:IO隔离编程

IO隔离:方便程序修改 无论是输入点坏了还是输出点坏了,或者人为接错线,或者对调点,我们只需要更改IO隔离得输入输出就可以了。方便。 停止按钮外接常闭,里面也使用常闭,为了断线检测功能(安全)&#xff…

300分钟吃透分布式缓存-23讲:Redis是如何淘汰key的?

淘汰原理 首先我们来学习 Redis 的淘汰原理。 系统线上运行中,内存总是昂贵且有限的,在数据总量远大于 Redis 可用的内存总量时,为了最大限度的提升访问性能,Redis 中只能存放最新最热的有效数据。 当 key 过期后,或…

一个爬虫自动化数据采集的故事~

目录 一、原文二、故事前半段背景内容三、正经的讲点DrissionPage知识四、故事的收尾 一、原文 原文来自一个爬虫自动化数据采集的故事~ , 建议点击链接看文章末尾的视频笔者不擅长自动化,一个小小故事分享给大家,仅个人观点 二、故事前半段背景内容 …

IP-guard邮件管控再升级,记录屏幕画面,智能阻断泄密邮件

邮件是工作沟通以及文件传输的重要工具,却也成为了信息泄露的常见渠道。员工通过邮件对外发送了什么内容,是否含有敏感信息都无从得知,机密通过邮件渠道外泄也难以制止。想要防止企业的重要信息通过邮件方式泄露,我们不仅需要通过技术措施对外发邮件的行为进行规范,也要对…

L-2:插松枝(Python)

作者 陈越 单位 浙江大学 人造松枝加工场的工人需要将各种尺寸的塑料松针插到松枝干上,做成大大小小的松枝。他们的工作流程(并不)是这样的: 每人手边有一只小盒子,初始状态为空。每人面前有用不完的松枝干和一个推送…