在传统的数据开发工作中,企业用户或者开发者常常需要进行繁琐的配置、复杂的代码撰写、反复的性能调优和大量重复性的操作,才能实现数据开发、数据集成和数据治理等工作,效率十分低下。
近日,阿里云大数据开发治理平台DataWorks基于MCP协议,正式发布DataWorks Agent,内置 DataWorks MCP Server V1.0,让数据开发治理工作从Copilot辅助步入到AI Agent时代。
MCP(Model Context Protocol),模型上下文协议,就像AI领域的USB-C接口——正如USB-C为设备连接外设提供统一标准,MCP为大模型连接不同数据源和工具提供标准化方式。
使用DataWorks Agent,可以通过自然语言交互来自动化完成DataWorks上数据开发、数据治理的部分任务,例如数据集成、数据开发、任务运维等,包括支持通过自然语言指令自动化创建和启动实时/离线数据同步任务;支持快速批量创建和修改数据开发节点;支持运行任务的智能分析等。
通过大模型的深度思考及规划能力,Agent可以充分理解用户的任务,对任务进行步骤分解并制定执行计划,并调用MCP Server中的相关工具来自动化执行任务。DataWorks将持续丰富和迭代DataWorks MCP Server中的工具集,致力于为用户提供更加智能和高效的数据开发治理产品体验。
DataWorks MCP Server基本介绍
基本架构
DataWorks新版数据开发的个人开发环境,在阿里云原生的能力上搭建了用户专属的开发环境,环境中内置了VSCode客户端,登录DataWorks后可通过浏览器访问,您可以选择安装MCP Client插件(如Cline),通过配置DataWorks开源的MCP Server,输入指令即可完成DataWorks的数据开发运维等动作。
基本概念
- DataWorks个人开发环境:DataWorks提供的云原生开发环境,一个用户专属可控的安全的操作系统。
- alibabacloud-dataworks-mcp-server:DataWorks开源的MCP Server,实现了DataWorks OpenAPI的封装。
- DataWorks OpenAPI:DataWorks各模块提供的开放API,支持用户完成对DataWorks上资源的管理。
如上图所示,个人开发环境本质上是用户在DataWorks上创建出来的一台服务器,除了可以实现DataWorks的数据开发、数据集成等任务,还能安装开源生态的各种插件,比如:
- 通过filesystem实现对文件的读写操作。
- 通过git实现对Git工作空间的git操作。
不局限于此,您可以添加各种开源的mcp servers到个人开发环境。
如何配置DataWorks MCP Server
1、没有个人开发环境
- 安装并启动个人开发环境实例,镜像选择dataworks-mcp:py3.11-ubuntu22.04,参考地址:https://help.aliyun.com/zh/dataworks/user-guide/serveride/#a47aea58f20q0
安装并启动个人开发环境实例
2、已有个人开发环境升级
- 打开terminal,执行以下脚本:
wget https://nodejs.org/dist/v20.19.0/node-v20.19.0-linux-x64.tar.xz
tar xf node-v20.19.0-linux-x64.tar.xz
mv /etc/dsw/node /etc/dsw/node14
mv node-v20.19.0-linux-x64 /etc/dsw/nodebash <(curl -s https://dataworks-notebook-${REGION}.oss-${REGION}.aliyuncs.com/public-datasets/aone-release/dwcode-server/scripts/update.sh) 0.2.169
- 刷新页面后,从VSCode的应用市场搜索Cline进行安装
3、配置LLM APIKey,支持您配置使用不同的LLM模型(此处以阿里云百炼的API为例)
完成模型配置。
4、安装MCP Server
通过界面打开DataWorks MCP Server的配置界面-Configure MCP Servers。
在配置界面填入如下配置,注意修改其中的REGION信息:
{"mcpServers": {"alibabacloud-dataworks-mcp-server": {"command": "npx","args": ["alibabacloud-dataworks-mcp-server"],"env": {"REGION": "cn-beijing","ALIBABA_CLOUD_CREDENTIALS_URI": "http://localhost:7002/api/v1/credentials/0","TOOL_CATEGORIES": "SERVER_IDE_DEFAULT"},"disabled": false,"autoApprove": [],"timeout": 60}}
}
看到如下加载成功的Tools可确认alibabacloud-dataworks-mcp-server已安装成功:
在任务界面,您可以输入“我有哪些工作空间?”开始测试
进阶玩法:安装其他MCP Servers进行探索
您可以参考mcp-servers安装其他的MCP Servers到个人开发环境。参考地址:https://github.com/modelcontextprotocol/servers/
实操演示
DataWorks Agent支持安装各类MCP Server,接下来我们演示如何使用DataWorks MCP Server和Hologres MCP Server来自动化完成数据集成实时数据同步任务开发和Hologres数据分析。
目前,使用DataWorks Data Studio最新版本即可体验DataWorks Agent功能,欢迎体验!
阅读原文跳转地址:https://help.aliyun.com/zh/dataworks/user-guide/dataworks-mcp-server-function-usage