伴随着 IP 位置库 的上线,笔者的“童年梦想”又成真了一个。为了分发这份来之不易的数据库,笔者找到了 ip2region 项目。该项目提供了一种体积小且查询速度极快的离线IP位置数据库文件格式,同时提供了多种语言支持的查询客户端。但 ip2region 项目的作者并未提供除 Java 以外的数据库文件生成代码,笔者打算为该项目移植 .NET 5.0 的数据库文件生成器,并在本文中记录下移植过程。
移植前准备
ip2region 的 Java 版数据库生成器 代码并不复杂,源代码文件只有 8 个。以笔者粗浅的 Java 经验来看,因为 C# 与 Java 大体相似,移植过程中无需对程序的结构和命名进行变更,也无需对处理逻辑进行调整。移植需要做的就是让程序可以编译通过,基本上就算成功。
开始移植
笔者新建了一个名为 IP2RegionDotNetDbMaker 的 .NET 5.0 控制台应用程序,删掉 Program.cs 文件并将所有的 Java 文件复制到项目中。
下一步操作很暴力,就是直接将源代码的后缀从 .java 改为 .cs 。为此,笔者在 LINQPad 中写了一段小代码,来完成这个操作:
var dir = @"D:\coderbusy.com\demo\IP2RegionDotNetDbMaker\IP2RegionDotNetDbMaker";var javaFiles = Directory.GetFiles(dir, "*.java");foreach (var javaFile in javaFiles){var _ = Path.GetDirectoryName(javaFile);var fileName = Path.GetFileNameWithoutExtension(javaFile);var csFile = Path.Combine(_, fileName + ".cs");File.Move(javaFile, csFile);}
在暴力改名之后的源代码文件里,不出意外的报了很多错误:
需要先把 package 和 import 这两种语句去掉,然后把缺失的命名空间给加上。
var dir = @"D:\coderbusy.com\demo\IP2RegionDotNetDbMaker\IP2RegionDotNetDbMaker";var files = Directory.GetFiles(dir, "*.cs");foreach (var file in files){var lines = File.ReadAllLines(file, Encoding.UTF8);var builder = new StringBuilder();builder.AppendLine($"using System;{Environment.NewLine}namespace IP2RegionDotNetDbMaker{Environment.NewLine}{{");foreach (var line in lines){if (line.StartsWith("package ")){continue;}if (line.StartsWith("import ")){continue;}builder.AppendLine(line);}builder.AppendLine("}");var content = builder.ToString();File.WriteAllText(file, content, Encoding.UTF8);}
异常声明在 C# 中不支持,可以通过正则将其替换掉:
在替换时,确定开启“使用正则表达式”,查找项为:throws ([\w ,]+)Exception
替换项保持为空。之后,替换掉所有的 @Override
和 final
关键字。
在 C# 中 out 是一个关键字不能被当作类型使用,Java 编程中常用的 System.out.println
方法需要被替换成 Console.WriteLine
,直接全局替换搞定。
重构 DbMakerConfigException 类型:
using System;namespace IP2RegionDotNetDbMaker
{/*** configuration exception* * @author chenxin<chenxin619315@gmail.com>*/public class DbMakerConfigException : Exception{public DbMakerConfigException(string info) : base(info){}}}
在 .NET 5.0 中 Mock 实现 Java 所需的 API
新建 Mock.cs 文件,用于存放 Java API 到 C# API 的Mock 代码。使用扩展方法对 String 类型进行扩展,并实现 Java API 所用的方法:
public static class Extensions{public static Int32 length(this string str){if (String.IsNullOrWhiteSpace(str)){return 0;}return str.Length;}public static string trim(this string str){return str.Trim();}public static char charAt(this string str, Int32 i){return str[i];}public static int indexOf(this string str, string value){return str.IndexOf(value);}public static int indexOf(this string str, char value, Int32 start){return str.IndexOf(value, start);}public static string substring(this string str, Int32 startIndex){return str.Substring(startIndex);}public static string substring(this string str, Int32 startIndex, Int32 endIndex){return str.Substring(startIndex, endIndex - startIndex);}public static bool equals(this string str1, string str2){return String.Equals(str1, str2, StringComparison.InvariantCultureIgnoreCase);}public static string[] split(this string str, string separator){return str.Split(separator);}public static byte[] getBytes(this string str){return Encoding.UTF8.GetBytes(str);}public static byte[] getBytes(this string str, string encoding){return Encoding.GetEncoding(encoding).GetBytes(str);}public static bool endsWith(this string str, string value){return str.EndsWith(value);}}
Mock 实现 StringBuilder 类型:
public class StringBuilder{private readonly System.Text.StringBuilder _builder = new System.Text.StringBuilder();internal StringBuilder append(object value){_builder.Append(value);return this;}internal string toString(){return _builder.ToString();}}
Mock 实现 File 类型:
public class File{public File(string ipSrcFile){_fileInfo = new FileInfo(ipSrcFile);}private FileInfo _fileInfo;public FileInfo FileInfo => _fileInfo;internal bool exists(){return _fileInfo.Exists;}}
Mock 实现 LinkedList 类型:
public class LinkedList<T> : List<T>{internal T getFirst(){return this[0];}internal void add(T item){this.Add(item);}internal T getLast(){return this[this.Count - 1];}internal IEnumerable<T> iterator(){return this;}}
Mock 实现 HashMap 类型:
public class HashMap<K, V> : Dictionary<K, V>{internal void put(K k, V v){this[k] = v;}internal bool containsKey(K key){return this.ContainsKey(key);}internal V get(K k){if (containsKey(k)){return this[k];}return default;}}
Mock 实现 FileReader 类型:
public class FileReader{private File globalRegionFile;private Queue<String> _lines = new Queue<string>();public FileReader(File file){this.globalRegionFile = file;using (var fs = file.FileInfo.OpenRead()){using (var sr = new StreamReader(fs)){while (!sr.EndOfStream){var line = sr.ReadLine();_lines.Enqueue(line);}}}}internal string readLine(){if (_lines.TryDequeue(out var line)){return line;}return null;}internal void close(){}}
Mock 实现 BufferedReader 类型:
public class BufferedReader{private FileReader fileReader;public BufferedReader(FileReader fileReader){this.fileReader = fileReader;}internal string readLine(){return fileReader.readLine();}internal void close(){fileReader.close();}}
Mock 实现 RandomAccessFile 类型:
public class RandomAccessFile{private string dbFile;private Stream stream;internal void seek(long v){stream.Seek(v, SeekOrigin.Begin);}internal void write(byte[] vs){stream.Write(vs);}internal void readFully(byte[] dbBinStr, int v, int length){stream.Read(dbBinStr, v, length);}private string v;public RandomAccessFile(string dbFile, string v){this.dbFile = dbFile;this.v = v;this.stream = new FileStream(dbFile, FileMode.OpenOrCreate, FileAccess.ReadWrite);}public long length(){return this.stream.Length;}internal void close(){if (stream == null){return;}this.stream.Flush();this.stream.Close();this.stream = null;}internal long getFilePointer(){return stream.Position;}internal void write(int v){var bytes = BitConverter.GetBytes(v);stream.Write(bytes);}}
语法与属性修正
经过以上的 Mock 操作,报错部分便仅仅涉及语法和部分属性。
C# 中并不存在“扩展属性”类似的东西,所以 Java 中以“小驼峰”命名的 length
字段调用,据需要改为“大驼峰”方式的 Length
。位运算符 >>>
也需要改为 >>
,同时,还有几个语法错误需要修正。比如:C# 中并不支持 Java 中的 for(Type e:collection)
语法,需要用 foreach
来替代。之后,项目就可以编译通过了。
结果验证
将 data 目录拷贝至 bin 目录,使用以下命令便可启动生成:
dbMaker -src ./data/ip.merge.txt -region ./data/global_region.csv
伴随着大量的控制台输出,笔者似乎找到了黑客帝国的感觉。经过一小会儿的等待,生成已经成功执行。
通过二进制对比,该结果文件仅在行尾的日期存储部分与源文件不同:
通过阅读代码,文件末尾部分的数据是生成的时间戳和一小段声明信息。文件尾的不一致并不会对使用造成影响。这表示,这次移植是成功的。
开源地址
目前,该代码已经上传至 Gitee ,地址是:
https://gitee.com/coderbusy/demo/tree/master/IP2RegionDotNetDbMaker