上周小米汽车发布，其中有一个特色功能就是智能语音，小爱同学整合了语音大模型，实现智能座舱体验。

雷老板的PPT也演示了，一些口语化的对话就能触发各种指令，无论是开空调、播放音乐，还是找手机、识别前方汽车，丝滑流畅。

其实这个就是语言大模型中的函数调用能力，ChatGPT老早就已经能力支持了，只是很多小伙伴们没有发觉，或者看到冗长的技术文档就觉得是很复杂的功能。

本期文章就聊聊如何简单、快速地使用语言大模型实现一个小米汽车同款的智能语音助手。

语音输入

语言转文字有很多成熟的解决方案，openai的wisper-1模型，或者讯飞听见，甚至是手机电脑自带的语音识别，识别语音的准确度都是很高的。

函数调用

ChatGPT大模型是现在市面上训练地最充分，也是国外的大模型中对中文支持最友好的一个。基于工作难度和响应速度考虑，gpt-3.5-turbo模型已经够用了。

系统预设

当然，为了让语言大模型能够准确地了解我们的使用场景，可以适当地添加系统预设，例如：

{"role": "system","content": "你是一辆汽车内置的智能语言系统“小爱同学”，为乘客提供智能的语言交互服务，输出指令集。"
}

函数定义

然后就是指令集的定义，可以参考openai官方文档

https://platform.openai.com/docs/guides/function-calling

使用json-schema定义函数，语言大模型会根据语境输出如何调用函数。这里给大家提供一个json-schema数据的编辑工具

https://texttools.cn/json-schema/

我们可以简单定义一些车内的设备操作和程序指令，例如：

[{"name": "instruction_set","description": "指令集","parameters": {"type": "object","title": "指令集","properties": {"控制空调": {"type": "object","title": "","properties": {"opeartion": {"type": "string","title": "","enum": ["开启,关闭,调高温度,调低温度,调大风速,调低风速"]}}},"控制音乐": {"type": "object","title": "","properties": {"opeartion": {"type": "string","title": "","enum": ["播放,暂停,大声,小声"]}}},"执行程序": {"type": "object","title": "","properties": {"program": {"type": "array","title": "","items": {"type": "string","title": "程序名称","enum": ["获取当前位置","识别前方车辆","识别左方建筑","识别右方建筑","推荐附近美食","定位手机"]}}}}}}}
]

这里为了直观直接使用了中文的key，强迫症程序猿请忽略

语言输入

然后我们就可以模拟一下在车内的时候跟车载语音助手的互动，可以在一句话中包含了多个信息，现在的语言大模型是可以轻松地理解对话内容。

例如我们可以说：

"我有点热，车里太安静了，左边那个建筑是什么，前面那辆车是什么车"

接口调用

然后请求接口 

可以看到返回结果

{"控制空调": {"opeartion": "调低温度"},"控制音乐": {"opeartion": "播放"},"执行程序": {"program": ["识别左方建筑", "识别前方车辆"]}
}

返回的指令集包括了：

• 空调调低温度

• 播放音乐

• 执行程序 识别左方建筑

• 执行程序 识别前方车辆

这个指令集是严格按照我们预设的结构生成的，拿到这个指令集之后，就可以识别并执行对应的程序，还可以在预设这些场景输出的回答内容，例如“已调低空调温度”等。

贴一下详细的curl，执行的时候只要将 THIS_IS_YOUR_APIKEY 替换为你的apikey即可。

curl --request POST \--url https://api.smarttxt.net/v1/chat/completions \--header 'Authorization: Bearer THIS_IS_YOUR_APIKEY' \--header 'Content-Type: application/json' \--header 'content-type: application/json' \--data '{"model": "gpt-3.5-turbo","messages": [{"role": "system","content": "你是一辆汽车内置的智能语言系统“小爱同学”，为乘客提供智能的语言交互服务，输出指令集。"},{"role": "user","content": "我有点热，车里太安静了，左边那个建筑是什么，前面那辆车是什么车"}],"functions": [{"name":"instruction_set","description":"指令集","parameters":{"type":"object","title":"指令集","properties":{"控制空调":{"type":"object","title":"","properties":{"opeartion":{"type":"string","title":"","enum":["开启,关闭,调高温度,调低温度,调大风速,调低风速"]}}},"控制音乐":{"type":"object","title":"","properties":{"opeartion":{"type":"string","title":"","enum":["播放,暂停,大声,小声"]}}},"执行程序":{"type":"object","title":"","properties":{"program":{"type":"array","title":"","items":{"type":"string","title":"程序名称","enum":["获取当前位置","识别前方车辆","识别左方建筑","识别右方建筑","推荐附近美食","定位手机"]}}}}}}}]
}'

点击获取apikey

到此，我们就已经实现了智能语音助手中最关键的“对话转指令”的能力。但是我们这个功能依赖的是线上的服务，为了保证离线时系统的可用性，我们还可以和小米汽车一样在本地部署一个大模型。

ps：有需要本地部署大模型可以联系站长。