探索 Mistral 新发布的具有原生函数调用功能的 7B 模型【附notebook文件】

引言

Mistral 发布了新版的 7B 模型，这次更新引入了原生函数调用功能。对于开发者和 AI 爱好者来说，这一更新极具吸引力，因为它增强了模型的功能和实用性。在这篇博客中，我们将深入探讨这些新功能，展示如何使用该模型，并通过详细的代码示例来说明其实用性。

Mistral 7B 模型的新特性

与之前的版本不同，最新的 Mistral 7B 模型包含了几个显著的改进：

新基础模型：这不仅仅是一个微调版本，而是包含了一个全新的基础模型。
增强的分词器：分词器新增了 768 个额外的 tokens，支持新的功能并可能支持其他语言。
函数调用支持：现在集成了原生的函数调用支持，使应用更加动态和互动。

环境设置

要开始使用新版 Mistral 7B 模型，我们需要先设置好开发环境。以下是必要的步骤和代码示例：

!pip install git+https://github.com/huggingface/transformers # 从 GitHub 安装 transformers
!pip install datasets loralib sentencepiece
!pip install bitsandbytes accelerate xformers einops
!pip install hf_transfer

加载和测试模型

我们将展示如何加载模型并进行基本的测试。

import os
import torch
from transformers import pipeline, AutoTokenizer, AutoModelForCausalLMos.environ['HF_HUB_ENABLE_HF_TRANSFER'] = '1'
torch.set_default_device('cuda')# 使用 Hugging Face 的 pipeline 加载模型
pipe = pipeline("text-generation",model="mistralai/Mistral-7B-Instruct-v0.3",model_kwargs={"torch_dtype": torch.bfloat16},device="cuda",
)# 加载旧版本的分词器以进行对比
old_tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")# 对比新旧分词器的 token 化结果
print(pipe.tokenizer("How are you? I'm fine. And you?")['input_ids'])
print(old_tokenizer("How are you? I'm fine. And you?")['input_ids'])

新功能展示

新版模型的一个重要功能是支持原生函数调用。以下是一个简单的例子，展示了如何使用这一功能：

from mistral_common.protocol.instruct.tool_calls import Function, Tool
from mistral_inference.model import Transformer
from mistral_inference.generate import generate
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest# 配置和加载模型及分词器
tokenizer = MistralTokenizer.from_file("path/to/tokenizer.model.v3")
model = Transformer.from_folder("path/to/model_folder")# 定义函数调用请求
completion_request = ChatCompletionRequest(tools=[Tool(function=Function(name="get_current_weather",description="获取当前天气",parameters={"type": "object","properties": {"location": {"type": "string", "description": "城市和州，例如：San Francisco, CA"},"format": {"type": "string", "enum": ["celsius", "fahrenheit"], "description": "使用的温度单位"},},"required": ["location", "format"],},))],messages=[UserMessage(content="今天巴黎的天气怎么样？")],
)# 生成并输出结果
tokens = tokenizer.encode_chat_completion(completion_request).tokens
out_tokens, _ = generate([tokens], model, max_tokens=64, temperature=0.0, eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id)
result = tokenizer.instruct_tokenizer.tokenizer.decode(out_tokens[0])
print(result)