众所周知,在用fetch执行D365的查询时,单次的查询是5000条,如果超过5000条则需要自己处理分页,添加额外的处理逻辑,但在ADF中,Dataverse connector已经自动处理了分页,我们可以很简单的做个POC.
我们以省市区县街道数据为例,构建如下Pipeline, 只有街道数据是超过5000条的
街道的fetch查询如下
<fetch mapping="logical" ><entity name="vg_town" ><attribute name="vg_name" /><attribute name="vg_townid" /><attribute name="vg_districtid" /><attribute name="vg_code" /><link-entity name="vg_district" from="vg_districtid" to="vg_districtid" link-type="inner" visible="false" ><attribute name="vg_name" alias="districtname" /></link-entity></entity>
</fetch>
执行后的结果,一次执行完成插入
尝试在官方文档中查询相关说明,只在QA板块查到
Azure Data Factory automatic pagination for results with more than 5K records - Microsoft Q&A