记一次IP数据处理过程，文本（CSV文件）处理，IP解析

个人博客：无奈何杨（wnhyang）

个人语雀：wnhyang

共享语雀：在线知识共享

Github：wnhyang - Overview

起因

突然接收到XX给的任务，要将一批IP数据处理一下，将IP对应的省市区解析出来，很急！

已知我这边有一个IP解析接口，提供了IP解析到国家省市区ISP等的能力，而且支持批量查询，但问题是仅仅有接口的形式，没有管理应用将接口利用起来，要使用的恐怕也只能是发接口，而且XX提供的数据有极大可能是Excel格式。另外XX没有说明解析后的数据怎么给出来，如果是Excel最好就是将数据放在一行标记为省市区就好。这么看来只能是临时开发来完成了，经过分析此时已经有了大致的思路了。

果然！拿到的数据是xls格式，大致如下。共有几百条。

a	b	c	ip
123	234	345	127.0.0.1

那就动手开发吧！从接受到任务到结束大概用了40分钟，这不是炫耀什么，毕竟使用AI可能会更快更好，但这毕竟是临时做的，完成的也还可以，我还挺欣慰的。

思路

任何临时紧急的任务，第一目标都应该在时间要求内是完成它，所以总体思路就是先完成后优化。

其实做起来也很简单

1、整理原始数据，也可以叫做数据清理。

2、读IP数据

3、整合请求，发接口进行IP解析

4、解析数据补充在原数据上

5、输出

这里提供了示例数据，IP数据来源于在线ip地址随机生成器 - JSON中文网，其他数据都是随机生成，一共270条。

📎示例IP.xlsx

关于接口，这里只能用一些开放的IP解析接口了，这里用的是https://api.vvhan.com/api/ipInfo?ip=58.154.0.0。

使用如上图所示。

开始

原数据处理

本身数据很完整，所以这个步骤就没有什么参考意义了。

关于文件格式，不管是xls还是xlsx都属于微软Ecxel标准的电子表格格式，或扩展。都已经进行Office文件处理的范畴了，相比于简单的文本处理还是麻烦了点，这里为了方便将其另存为csv文件，进行文本处理。

工具上使用CSV文件处理工具-CsvUtil。

这里需要注意了，使用csv工具处理的文本，需要有行头，所以在第一行加入了id,ip，用于读取。

一些实体类

读取csv的JavaBean如下。

@Data
public class IpItem {private String id;private String ip;@Alias("国家")private String country;@Alias("省份")private String prov;@Alias("城市")private String city;
}

以上已将说明了要使用https://api.vvhan.com/api/ipInfo?ip=58.154.0.0作本次示例，响应报文如下。

{"success": true,"ip": "58.154.0.0","info": {"country": "中国","prov": "辽宁省","city": "沈阳市","isp": "教育网"}
}

这里可以使用JSON转JavaBean的工具，不管是GsonFormatPlus插件还是其他在线工具都可以。

GsonFormatPlus - IntelliJ IDEs Plugin | Marketplace

JSON转JAVA实体|在线JSON转JavaBean工具 - JSON中文网

由此得到IpRespDTO、IpInfo。

@Data
public class IpRespDTO {private Boolean success;private String ip;private IpInfo info;
}

@Data
public class IpInfo {private String country;private String prov;private String city;private String isp;
}

因为此接口请求比较简单，所以就没有额外的请求类了。

请求接口方式

关于方式，之前我有两篇文章可以参考，这里使用OpenFeign。

Spring6.1新特性，四种方式调用REST接口（RestClient、WebClient、RestTemplate、HTTP Interface）

Spring6｜Spring Boot3有哪些HTTP客户端可以选择

<dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-openfeign</artifactId>
</dependency>

@FeignClient(name = "ipAnalysisFeignService", url = "https://api.vvhan.com/api")
public interface IpAnalysisFeignService {@GetMapping("/ipInfo")IpRespDTO getIpInfo(@RequestParam("ip") String ip);
}

数据处理与输出

@Slf4j
@SpringBootTest
public class IpAnalysisFeignServiceTest {@Resourceprivate IpAnalysisFeignService ipAnalysisFeignService;@Testvoid getIpInfo() {List<IpItem> ipItemList = CsvUtil.getReader().read(ResourceUtil.getUtf8Reader("示例IP.csv"), IpItem.class);ipItemList.forEach(ipItem -> {IpRespDTO ipRespDTO = ipAnalysisFeignService.getIpInfo(ipItem.getIp());log.info("ip:{},info:{}", ipItem.getIp(), ipRespDTO);if (ipRespDTO.getSuccess()) {IpInfo info = ipRespDTO.getInfo();ipItem.setCountry(info.getCountry()).setProv(info.getProv()).setCity(info.getCity());}});CsvWriter writer = CsvUtil.getWriter("/Users/wnhyang/Downloads/testWrite.csv", CharsetUtil.CHARSET_UTF_8);writer.writeBeans(ipItemList);}
}