在离线数仓开发中,DataX支持多种数据源,性能好抽取速度快。美中不足的是,对需要抽取的每一张表都需要写配置文件,这样很繁琐和耗时。可以用大模型提示词来节省这方面的工作量。ChatGPT等大模型并不能很智能提供一个完全正确的,需要提供一个模板让它参考。
方法1:用大模型性提示词
编写DataX脚本,实现从mysql抽取数据到doris的大模型提示词:
请编写datax的配置文件,从mysql导入到doris, 参考的配置json如下:
{"job": {"setting": {"speed": {"channel": 1,"byte":3242880}},"content": [{"reader": {"name": "mysqlreader","parameter": {"column": [