OpenSource - Ip2region 离线IP地址定位库和IP定位数据管理框架

文章目录

  • Ip2region 是什么
  • Ip2region 特性
      • 1、IP 数据管理框架
      • 2、数据去重和压缩
      • 3、极速查询响应
  • `xdb` 数据查询
  • `xdb` 数据生成
  • `xdb` 数据更新
      • 手动编辑更新
      • 检测自动更新
  • 相关备注
      • 1、并发查询必读
      • 2、技术资源分享
  • Release

在这里插入图片描述

Ip2region 是什么

https://github.com/lionsoul2014/ip2region

ip2region - 是一个离线IP地址定位库和IP定位数据管理框架,10微秒级别的查询效率,提供了众多主流编程语言的 xdb 数据生成和查询客户端实现。

Ip2region 特性

1、IP 数据管理框架

xdb 支持亿级别的 IP 数据段行数,默认的 region 信息都固定了格式:国家|区域|省份|城市|ISP,缺省的地域信息默认是0。
region 信息支持完全自定义,例如:你可以在 region 中追加特定业务需求的数据,例如:GPS信息/国际统一地域信息编码/邮编等。也就是你完全可以使用 ip2region 来管理你自己的 IP 定位数据。

2、数据去重和压缩

xdb 格式生成程序会自动去重和压缩部分数据,默认的全部 IP 数据,生成的 ip2region.xdb 数据库是 11MiB,随着数据的详细度增加数据库的大小也慢慢增大。

3、极速查询响应

即使是完全基于 xdb 文件的查询,单次查询响应时间在十微秒级别,可通过如下两种方式开启内存加速查询:

  1. vIndex 索引缓存 :使用固定的 512KiB 的内存空间缓存 vector index 数据,减少一次 IO 磁盘操作,保持平均查询效率稳定在10-20微秒之间。
  2. xdb 整个文件缓存:将整个 xdb 文件全部加载到内存,内存占用等同于 xdb 文件大小,无磁盘 IO 操作,保持微秒级别的查询效率。

xdb 数据查询

API 介绍,使用文档和测试程序请参考对应 searcher 查询客户端下的 ReadMe 介绍,全部查询 binding 实现情况如下:

Ok?状态编程语言描述贡献者
已完成golanggolang xdb 查询客户端实现Lion
已完成phpphp xdb 查询客户端实现Lion
已完成javajava xdb 查询客户端实现Lion
已完成lua纯 lua xdb 查询客户端实现Lion
已完成cANSC c xdb 查询客户端实现Lion
已完成lua_clua c 扩展 xdb 查询客户端实现Lion
已完成rustrust xdb 查询客户端实现gongzhengyang
已完成pythonpython xdb 查询客户端实现厉害的花花
已完成nodejsnodejs xdb 查询客户端实现Wu Jian Ping
已完成csharpcsharp xdb 查询客户端实现Alen Lee
已完成erlangerlang xdb 查询客户端实现leihua996
   待开始php_extphp c 扩展 xdb 查询客户端实现待确定
已完成nginxnginx 扩展 xdb 查询客户端实现Wu Jian Ping
已完成C++C++ xdb 查询客户端实现Yunbin Liu

以下工具链实现由社区开发者通过第三方仓库贡献:

Ok?状态编程语言描述贡献者
已完成ruby-ip2regionruby xdb 查询客户端实现jicheng1014
已完成Ip2regionToolip2region数据转换工具orestonce

xdb 数据生成

API 介绍,使用文档和测试程序请参考如下 maker 生成程序下的 ReadMe 文档:

Ok?状态编程语言描述贡献者
已完成golanggolang xdb 生成程序实现Lion
已完成javajava xdb 生成程序实现Lion
   待开始cANSC c xdb 生成程序实现Lion
已完成pythonpython xdb 生成程序实现leolin49
已完成csharpcsharp xdb 生成程序实现Alan Lee
已完成rustrust xdb 生成程序实现KevinWang
已完成C++C++ xdb 生成程序实现Yunbin Liu

xdb 数据更新

ip2region 旨在于 研究 IP 数据的存储和快速查询的设计和实现,并没有原始 IP 数据的支撑,也不会有商用版本。
本项目的自带的 ./data/ip.merge.txt 原始数据已经很久没有更新,也不会再更新,对于数据精度和更新频率要求很高的使用场景建议购买第三方商用数据,你可以使用如下几种方式来尝试自己更新数据:

手动编辑更新

你可以基于 ip2region 自带的 ./data/ip.merge.txt 原始 IP 数据用 ip2region 提供的编辑工具来自己修改,目前数据源有如下几种方式:

  1. ip2region 社区提供的数据(请参考地底部的公众号关注社区通知)
  2. ip2region Github/Gitee 中带有 [数据源补充] 标签的 Issue
  3. 其他自定义数据:例如客户提供的数据,或者通过 GPS 和 WIFI 定位得到的数据,或者来自其他平台的合法合规的数据

原始 IP 数据编辑工具使用方法请参考如下的 maker 生成程序下的 ReadMe 文档:

Ok?状态编程语言描述贡献者
已完成golanggolang 原始 IP 数据编辑器Lion
   待开始javajava 原始 IP 数据编辑器Lion
已完成C++C++ 原始 IP 数据编辑器Yunbin Liu

检测自动更新

如果你想通过你自己的 API 或数据源来更新数据,你可以参考以下视频分享的 基于检测算法 的更新算法来自己编写一个更新程序:

  1. 数据更新实现视频分享 - part1
  2. 数据更新实现视频分享 - part2

相关备注

1、并发查询必读

xdb 整个缓存的查询都 并发安全的,基于文件的查询都 不是 并发安全的实现,不同进程/线程/协程需要通过创建不同的查询对象来安全使用,并发量很大的情况下,基于文件查询的方式可能会导致打开文件数过多的错误,请修改内核的最大允许打开文件数(fs.file-max=一个更高的值),或者将整个xdb加载到内存进行安全并发使用。

2、技术资源分享

  1. xdb 数据结构分析:“ip2region xdb 数据结构和查询过程详解“
  2. xdb 查询过程分析:“ip2region xdb 数据结构和查询过程详解”
  3. xdb 生成过程分析:“ip2region xdb 二进制数据生成过程详解”
  4. xdb 数据更新方法:“ip2region 数据更新和 xdb 数据编辑器的使用”

Release

在这里插入图片描述


在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/51329.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++】使用哈希表封装unordered_map与unordered_set

文章目录 1. unordered系列关联式容器1.1 unordered_set1.2 unordered_map 2. unordered_set/map的封装2.1 基本接口2.2 迭代器2.2.1 迭代器的结构2.2.2 set迭代器的封装2.2.3 map迭代器的封装 3.完整代码3.1HashTable3.2unordered_set3.3unordered_map 1. unordered系列关联式…

Windows Redis启动方式及保持服务运行方法

1. Redis启动方法 1. cmd进入redis文件夹下,输入:redis-server.exe redis.windows.conf,出现如下界面启动成功。但此cmd窗口要一直保持打开状态,一旦关闭redis也就关闭了。要想cmd关闭,但redis处于打开状态&#xff…

医疗器械上市欧美,需要什么样的网络安全相关申报文件?

医疗器械在欧美上市时,需要提交的网络安全相关申报文件主要包括以下几个方面,这些要求基于欧美地区的法律法规和监管机构的指导文件。 一、美国FDA要求 1. 网络安全管理计划 内容:制造商需要提交一份网络安全管理计划,该计划应包含…

【人工智能】人工智能概论(一):人工智能基本概概念、学派、发展历程与新一代人工智能

文章目录 1. 人工智能的基本概念与定义2. 人工智能的主要学派及主旨思想2.1. 符号主义学派:AI源自数学逻辑2.2. 连接主义学派:AI源自仿生学2.3. 行为主义学派:AI源自控制论 3. 人工智能的起源及发展历程4. 驱动新一代人工智能快速发展的因素 …

【C语言】C语言期末突击/考研--导学篇

前言 我将把C语言的知识要点,学习收获以文章形式发表,由于我目前也还是一个菜鸟,难以避免错误和存在观点片面的部分,非常感谢读者指正!希望能在这里与大家共同进步,早日成为大牛!进入大厂&…

本地使用Git同步、配合Gitee同步至仓库并下拉到本地(亲手调试,全能跑通)

这几天在公司,同事都在使用Gitee上传项目,进行同步,我也进行了简单学习了解了一下版本控制软件Git,挺不错的,故写个笔记记录一下。 本篇博文主要涉及的内容: 1,本地写代码,通过Git同…

初阶数据结构1 算法复杂度

1.数据结构概念 数据结构(Data Structure)是计算机存储、组织数据的⽅式,指相互之间存在⼀种或多种特定关系的数 据元素的集合。没有⼀种单⼀的数据结构对所有⽤途都有⽤,所以我们要学各式各样的数据结构, 如:线性表、树、图、哈…

锁定你的命令行:禁用Conda环境提示符更改指南

🔒 锁定你的命令行:禁用Conda环境提示符更改指南 在使用Conda管理Python环境时,每次激活一个新的环境,命令行提示符可能会发生变化以反映当前环境的名称。虽然这有助于识别当前正在使用的环境,但有些用户可能更喜欢保…

【Golang 面试 - 基础题】每日 5 题(五)

✍个人博客:Pandaconda-CSDN博客 📣专栏地址:http://t.csdnimg.cn/UWz06 📚专栏简介:在这个专栏中,我将会分享 Golang 面试中常见的面试题给大家~ ❤️如果有收获的话,欢迎点赞👍收藏…

【C++】—— 类和对象(一)

【C】—— 类和对象(一) 1、类的定义1.1、类定义1.1.1、类定义格式1.1.2、成员变量的标识1.1.3、C 中的 s t r u c t struct struct1.1.4、C 中的内联函数1.1.5、总结 1.2、访问限定符1.3、类域 2、实例化2.1、实例化的概念2.2、对象大小2.2.1、对象的大…

昇思MindSpore 应用学习-LSTM+CRF序列标注-CSDN

LSTMCRF序列标注 AI代码解析 本篇案例暂不支持在windows系统上运行。 概述 序列标注指给定输入序列,给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取,包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实…

未来十年硬件工程师有没有前景?

未来十年,硬件工程师的就业前景依然保持乐观,并且具有多个有前景的发展方向。以下是对未来十年硬件工程师前景的详细分析: 一、市场需求持续增长 随着科技的快速发展,多个领域对硬件工程师的需求将持续增长。例如,物…

docker常用命令集锦

目录 一、查看版本信息 1.1 查看 Docker CLI 版本: 1.2 查看 Docker 详细版本信息: 1.3 查看 Docker 系统信息: 二、进入和退出容器 2.1 进入容器: 2.2 退出容器: 2.3 查看容器日志: 2.4 查看容器的…

什么是客户自助服务?优点和最佳实践

什么是客户自助服务? 客户自助服务是解决客户问题的一种方法,客户可以在其中找到自己的解决方案。客户可以使用自助服务门户自行研究和解决问题,而不是与公司或产品的客户服务代表合作。除了故障排除之外,自助服务还可以用于安装…

Java入门:05.Java中的数组003

在上两篇文章中,我们了解什么是数组类型的数据,并明白了怎样使用new关键字创建一个数组,并为其定义长度。 同时在理解了栈空间和堆空间的区别后,我们也知道了,想要使用一个数组,我们必须将他的引用地址赋给…

lenovo联想ThinkBook 14 G4+ IAP/ARA(21CX,21D0)笔记本原装出厂Windows11系统预装OEM镜像下载

ThinkBook 14 G4 IAP【21CX】原厂系统Win11恢复安装包: 链接:https://pan.baidu.com/s/1iY9BxidIbv4RnXKaqbydTA?pwd9wc6 提取码:9wc6 ThinkBook 14 G4 ARA【21D0】原厂系统Win11恢复安装包: 链接:https://pan.ba…

nest学习笔记(一)

介绍 nest是一个用于构建高效,可拓展的nodejs服务端应用程序的框架,它使用渐进式javascript,使用Typescript构建并且完全支持Typescript,而且运行开发者使用javascript编写代码,提供了OOP、FP、FRP nest的底层是基于…

Linux编程:使用python或者shell获取系统信息

0. 概要 在日常的系统管理和性能监控中,获取系统信息是一个非常常见的需求。 本文将介绍如何使用Python和Shell脚本来获取这些系统信息。 1. 使用Python获取系统信息 使用psutil库来获取系统的CPU、内存、磁盘和网络信息。 1.1 安装psutil库 首先,我…

积分环节1/s

在控制工程中,当我们处理动态系统模型时,积分环节常常表示为1/s,这里的"1"代表系统的增益,而"s"是一个复数频率变量,通常在拉普拉斯变换中使用,它代表了时间域中的单位阶跃响应。积分运…

盗梦空间续集(InceptionNeXt):使用Inception优化加速ConvNeXt实现ImageNet-1K的最佳精度

Abstract 灵感来自ViT的长距离建模能力,大核卷积最近被广泛研究和采用,以扩大感受野并提高模型性能,例如显著的工作ConvNeXt采用77深度卷积。虽然这种深度算子只消耗少量的FLOPs,但由于高内存访问成本,它在强大计算设…