API 调用

1. 阿里云百炼平台的海内外 API 的区别：
   • 海外版：需要进行 API 基础 URL 设置
   • 国内版：无需设置。

本人的服务器在香港，采用海外版的 API 时，需要进行如下API端点配置 / API基础URL设置 / API客户端配置（API Client Configuration）。

# 对于海外账号（包括香港）开通的 api key 都需要
dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'

这行代码在调用通义千问API之前，设置了API的基础URL。这个URL是阿里云提供的国际版通义千问API的端点地址。

技术上讲，这涉及到几个概念：

1. API端点（API Endpoint）：API服务器的URL地址，客户端通过此地址访问服务

2. 基础URL（Base URL）：API的根路径，所有API请求都会基于这个URL构建

3. REST API配置：配置RESTful API客户端的地址和行为

在使用不同API密钥时遇到问题，可能是因为：

1. API密钥与特定区域或端点绑定（例如，一个密钥可能只能用于中国区，另一个只能用于国际区）

2. 需要根据不同的API密钥使用不同的端点URL（例如，国内版和国际版）

本地推理

1. Qwen2.5-72b-instruct 的本地推理占用的 GPU memory 需求非常高（torch.float32的话好像需要 100G+）

出现 Floating point exception(核心已转储) 问题：

• 将 torch.bfloat16 改为 torch_dtype=torch.float16 后该问题依然存在。
• 将 torch.bfloat16 改为 torch_dtype=torch.float32 后该问题消失，但一直存在 OOM 的问题。