2024年5月最新高德poi数据采集科普

曾几何时,个人注册高德开发者即可拥有每日一万次免费配额调用,现如今,个人每日只能调用100次,即使额外购买了配额300元/10万次,也会因为短时间大量采集被封号。要想稳定采集,恐怕只有购买商业授权5万/年,这样每天有免费一万次配额,再额外购买配额进行采集。

本文基于假定有无尽配额情况描述。核心就是利用高德开放的api接口:多边形搜索。

调用接口后,即可获得返回数据,然后自行解析json

核心原理是调用高德api,剩下的难点就是多边形划分和高德api自身的问题了。

多边形划分很简单,通过高德自身的获取边界api或者自己在地图框选区域边界,来得到你要采集的城市或区域的多边形每个点位经纬度坐标。因为高德poi返回接口每次返回是有上限的(划重点,而且这个上限是随时变化的,现在上限越来越低了!),然后把这个多边形切分为无数个满足返回上限的小多边形(最简单方式即矩形),即可全部采集。

整个高德poi采集理论就是上述这些,接下来是实际操作中的难点。

高德poi返回接口返回数据是不完全的!!!

高德poi返回接口返回数据是不完全的!!!

高德poi返回接口返回数据是不完全的!!!

高德poi返回接口返回数据是不完全的!!!

多边形内存在的poi总点位数越多,返回时被高德筛选掉的总点位就越多,同时接口每次要求单次分页返回的值越多,实际得到的poi就越少!

通俗来说就是,如果我划分的矩形内有1000个poi点位,那么高德接口可能只会返回500个点位,同时接口参数有单次分页返回1-50个和第几个分页的设置,如果设置单次返回10个,那么实际得到的就是500个点位,如果设置单次返回50个,那么总共可能只会得到400个点位。

在2022年以前,高德大概一次最多返回800个点位,可能只会缺失百分之二三十,当设置矩形最大返回200个点位时,基本不会有缺失点位,设置一页返回50个点位也不会有缺失,即一次获取800个点位,只需要调用16次接口缺失两三成数据,如果追求完整近乎不缺失数据,也只需要调用25次左右接口。这也是不同完整度的高德poi数据对于调用接口次数成本不同的区别。

随后高德poi接口限制越来越多,返回值逐渐递减,截至2024年5月,不管是搜索返回的v1还是v2接口,一个矩形内最多返回200个不到的点位,同时每个分页返回20个点位才能保证无分页缺失,即要像之前一样获取800个点位,至少要调用50次接口。

如果还按照之前的参数设定去采集,一个100万poi点位的城市恐怖只能采集不到40万,按照现阶段想把100万点位采集90万点位以上,所需要消耗的接口配额次数也会是之前的两倍以上,同时免费配额无了导致总成本会是以前的数倍以上。

总之,通过限制接口及配额两种方法,高德成功增加了poi采集成本与难度,降低了poi的泄漏。做研究分析的话,也可以考虑大众点评的店铺数据,也相当于poi点位,与高德相辅相成。


接数据采集、数据治理、业务自动化脚本开发服务。

1、已有数据库及采集脚本:高德POI场所点位、大众点评店铺信息、前程无忧招聘信息、房天下写字楼出租数据、58同城商铺出租数据、各类新闻源标题及内容等。其余各类采集及治理可定制化开发。

2、各类业务流程、工作流程、Windows或linux下固定操作的自动化脚本开发,如电子书自动解压合成重命名、数据采集并自动发微信等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/19401.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

kafka的安装与简单使用

下载地址:Apache Kafka 1. 上传并解压安装包 tar -zxvf kafka_2.13-3.6.2.tgz 修改文件名:mv kafka_2.13-3.6.2 kafka 2. 配置环境变量 sudo vim /etc/profile #配置kafka环境变量 export KAFKA_HOME/export/server/kafka export PATH$PATH:$KAFKA…

【Vue】v-if / v-show条件渲染指令

条件判断指令,用来辅助开发者按需控制 DOM 的显示与隐藏。条件渲染指令有如下两个,分别是: v-show 作用: 控制元素显示隐藏(简单的显示隐藏) 语法: v-show "表达式" 表达式值为 tru…

如何评价GPT-4o?

GPT-4o:开启全新理解与生成语言的篇章 在近年来的AI发展中,GPT模型赫然矗立,在自然语言处理任务中刷新了人们的认知,一路从GPT-1演进到如今的GPT-4o。 从GPT-1到GPT-4,我们可以看到模型的层数和参数量在持续增长&…

解密网络流量监控:优化IT运维的利器

引言: 在当今数字化时代,网络流量监控是维护网络稳定与业务连续性的关键。作为一名资深网络工程师,我将分享一些关于网络流量监控的重要知识,并探讨如何在IT运维中运用这一工具优化网络性能,确保业务的顺畅进行。 1. 网…

基于Patroni+etcd+流复制搭建PostgreSQL高可用——筑梦之路

Patroni方案简介 Patroni是一个基于zk、etcd、consul等的pg ha模板,可以使用python来创建和定制高可用性解决方案。Patroni使用分布式key-value数据库作为数据存储,主节点故障时进行主节点重新选举。通过PG内置的流复制,支持同步和异步复制。…

k210数字识别 笔记2 (串口通信)

这个模型识别的还可以,离近点 识别率高达0.9 资源: 链接:https://pan.baidu.com/s/1D4ubJGMptqop1x_Nf8KqfQ?pwd1234 提取码:1234 一:报错解决 报错的意思应该是模型文件错误 原程序可以在sd卡运行,但…

Linux 服务器配置 SSH 服务登录失败处理

任务目标 配置 Linux 服务器ssh远程登录失败处理机制,防止黑客爆破服务器密码 操作步骤 备份原配置文件 $ sudo cp /etc/pam.d/sshd /etc/pam.d/sshd.bak $ sudo cp /etc/ssh/sshd_config /etc/ssh/sshd_config.bak安装 pam_tally2 统计登陆失败次数 # 对于Debia…

[C#]使用C#部署yolov8-cls的图像分类的tensorrt模型

【测试通过环境】 win10 x64 vs2019 cuda11.7cudnn8.8.0 TensorRT-8.6.1.6 opencvsharp4.9.0 .NET Framework4.7.2 NVIDIA GeForce RTX 2070 Super 版本和上述环境版本不一样的需要重新编译TensorRtExtern.dll,TensorRtExtern源码地址:TensorRT-CShar…

游泳时用什么耳机听歌好?精品榜前四游泳耳机揭秘,款款佳品!

游泳时用什么耳机听歌好?这无疑是众多水上运动爱好者的共同疑问。在享受游泳带来的清凉与畅快时,若能伴随着悦耳的音乐,无疑能让整个体验更加完美。然而,市面上的游泳耳机种类繁多,品质各异,如何选择一款既…

1、pyton环境的安装-windows系统下

python官网 https://www.python.org/ 点击黄色的按钮,下载完成,如下: 双击安装,我现在以3.10.4版本进行安装说明: 一定要勾选上下边的to path,然后选择自定义安装 全选,点击next 选择要安装的路…

PHPSTOM配置Laradock,xdebug,phpunit

原理图: 片面理解: phpstorm启用一个9000端口,这个端口用来接收到信息后,启用xdebug功能。服务器端(docker), 当客户端访问laravel项目域名后, 并读取xdebug.ini的配置, 把调试的请求数据, 向配置里面的端口发送消息, 配置里面的端…

OrangePi Alpro开箱体验 ubuntu 与 openEuler 实时性对比

OrangePi Alpro开箱体验 & ubuntu 与 openEuler 实时性对比 1 介绍1.1 概述1.2 OrangePi Kunpeng Pro vs OrangePi AIpro 2 开箱3 芯片介绍OrangePi AIpro(8T)Atlas 200I DK A2 4 开机连接鼠标、键盘、显示器桌面查看系统信息配置网络查看IP远程SSHWinSCP 5 GPIO Toolgpio_…

medsam ,数入xml +img, 根据检测框,原图显示分割效果,加上点的减少处理

1、输入每张图片的多个检测框,得到这张图片的sam 分割结果 import numpy as np import matplotlib.pyplot as plt import osjoin os.path.join import torch from segment_anything import sam_model_registry from skimage import io, transform import torch.nn…

轧钢测径仪分析软件,四大图表带来产线新视角!

轧钢测径仪是智能化检测设备,除了测径仪主体外,还配有测控软件系统,从这里可对测径仪进行各种设置,亦可从此观测到测径仪获得的各种信息,如检测信息、分析图表、计算尺寸、历史数据等。而从测径仪获得的图表信息主要有…

伦敦银和现货白银是一回事吗

伦敦银和现货白银不能直接完全地画上等号,但如果投资者所指指的是国际市场上的现货白银交易,那么二者应该是等同的——因为在国际贵金属投资市场上,现货白银的别称就是伦敦银,伦敦银和现货白银指的其实是同一回事。 因为早在很多个…

ES报错1

ES在kibana的JSON如图: 提交后错误信息如下 所以是什么错误呢: 原来是:json的格式有误改成 这里的错误其实是我在文件传输时,为了节约空间,没有以json格式传递,而是一串字符就传过来了,需要使用josn的格式化工具格式化才行,结果格式化的不正确,才遇到此坑

图片处理软件有哪些?这三款软件好用

图片处理软件有哪些?在当今这个数字化时代,图片处理软件成为了我们日常生活和工作中不可或缺的工具。无论是为了修饰个人照片,还是为了设计专业海报,这些软件都能帮助我们轻松实现创意和美化。那么,究竟有哪些热门的图…

【因果推断python】1_因果关系初步1

目录 为什么需要关心因果关系? 回答不同类型的问题 当关联确实是因果时 为什么需要关心因果关系? 首先,您可能想知道:它对我有什么好处?下面的文字就将围绕“它”展开: 回答不同类型的问题 机器学习目…

TiDB-从0到1-分布式事务

TiDB从0到1系列 TiDB-从0到1-体系结构TiDB-从0到1-分布式存储TiDB-从0到1-分布式事务TiDB-从0到1-MVCC 一、事务定义 这属于老生常谈了,无论不管是传统事务还是分布式事务都离不开ACID A:原子性C:一致性I:隔离性D:…

A 股涨停板实时数据 API 数据接口

A 股涨停板实时数据 API 数据接口 股票 / A股 / 涨停数据,所有A股涨停板实时数据,A 股涨停数据 / 实时数据。 1. 产品功能 支持所有 A 股涨停板实时数据查询;包含 A 股实时交易多项指标数据;毫秒级查询性能;全接口支…