针对训练模型控制台的web后端维护,新增了一个int类型的maxTokenLimit字段,表示调用GPT模型请求允许的TokenSize上限值。后端添加好之后,数据库里面这个字段项没有填充数值,默认是空,所以理论上当maxTokenLimit字段为空的时候,应该传输的Json内容为maxTokenLimit: null ,但是前端那边F12查看,反馈接收到后端传参里面并没有这个字段。
FastJson里面有个序列化项的设置,为了节省存储和网络带宽的占用,默认当字段为空的时候,不对这个字段进行传输,导致前端看不到这个maxTokenLimit字段项。
1.修改数据库表增加对应maxTokenLimit字段
确定字段数据范围,类型为整形,目前已知的GPT模型请求tokenSize有些会到32k,也就是32*1024 = 2^15 = 32768,为后面出了更大的工程上的请求size留出余量,针对Mysql整形数据类型信息查找,我这里使用了MEDIUMINT类型。
对应执行DDL类型的SQL语句,工单审批通过后进行表结构修改
ALTER TABLE model_config
ADD COLUMN max_token_limit MEDIUMINT comment '最大token长度';
补充问题:我怎么知道我传进去的整形数值存储形式是有符号还是无符号的呢?
回答:其实在MySQL中,MEDIUMINT 数据类型默认是有符号的整数类型,如果你想存储无符号整数类型,你需要在定义列时明确指定 UNSIGNED 关键字。要确定存储在数据库中的 MEDIUMINT 类型是有符号还是无符号,你可以查看表的列定义。下面链接提供了三种方法作为参考:
Mysql查看字段数据类型[1]
我这里采用的是使用数据字典查询的方式:
SELECT COLUMN_NAME, COLUMN_TYPE, IS_NULLABLE
FROM information_schema.COLUMNS
WHERE TABLE_NAME = 'all_model_config' AND COLUMN_NAME = 'max_token_limit';
查出来的结果如下,发现它是有符号的
2.后端工程补充字段CRUD能力
@ApiOperation("查询配置")@RequestMapping(value = "/all", method = RequestMethod.GET)public ModelConfigListVO<ModelConfigVO> getModelConfig() {return modelConfigService.getAllModelConfig();}
Mybatis修改mapper映射
1.本地debug断点调试,查看日志输出
一路debug显示过程中的maxTokenLimit字段,发现它一直是存在的,并且值为null
并且中途偶然发现了一个奇怪的现象 我在调试的时候加入了一个系统的print函数显示结果和JSON.toString()结果进行对比 第一种输出 ----- 系统的print函数输出
System.out.println(allModelConfigList.toString());
第二种输出------JSON.toString()输出
System.out.println(JSON.toJSONString(allModelConfigList.getModelConfigVOList());
发现上面第一行代码打印出的内容包括maxTokenLimit: null 然而第二行代码打印出的内容不包括maxTokenLimit这个字段
那么问题可能就出在最后的后端JSON网络序列化传输上
2.查询相关JSON序列化配置
发现项目里面添加了配置,使用的是FastJson工具,而不是java默认的json序列化。然后查询FastJson的序列化配置文档,发现有个关于null输出的属性--WriteMapNullValue
询问了GPT如何利用JSON.toJSONString输出空值对应的字段,它提示新增一个SerializerFeature.WriteMapNullValue 参数,让我修改全局配置或者局部配置。
System.out.println(JSON.toJSONString(allModelConfigList.getModelConfigVOList(), SerializerFeature.WriteMapNullValue));
改完执行后发现确实达到了预期的效果,并且这个配置是针对单次调用的局部配置。
其实工程上为了节约资源,利用FastJson默认的设置,不对值为null的字段进行传输,是比较合理的(你猜它为什么叫FastJson?) ,所以我就没有更改它的全局配置。所以最后就交给前端进行兼容性设计了,当我后端确实有这个maxTokenLimit字段,并且当前端发现传输的时候没收到这个maxTokenLimit字段的时候,前端那边就显示为空就行。
不止上面这一点,其实还需要注意利用FastJSON转换的对象需要是能够被识别为bean(具备getter和setter方法的),否则的话会出现转换成空值的可能。比如下面的例子,如果把@Data 注解去掉,然后可能就会输出[]空的列表,猜测内部是调用了对象的get/set方法的,类似于BeanUtils工具也是要依赖Bean的。
import lombok.Data;
@Data
public class Tools {String type;ChatFunctionDTO function;public Tools(String type, ChatFunctionDTO function) {this.type = type;this.function = function;}
}
List<Tools> list = new ArrayList<>();
list.add(new Tools());
System.out.println(JSON.toJSONString(list));
当后端某个字段值为null的时候,如果是利用FastJson工具,它默认的序列化设置是WriteMapNullValue属性为false,也就是为了节省存储和网络带宽的占用,不会对这个字段进行传输,最后导致前端看不到这个maxTokenLimit字段项,这个时候可以交给前端进行兼容性设计,发现传输的时候没收到这个对应字段的时候,前端那边就显示为空就行。
参考资料
[1]
https://deepinout.com/mysql/mysql-questions/249_mysql_how_to_determine_if_a_column_is_unsigned.html: https://link.juejin.cn/?target=https%3A%2F%2Fdeepinout.com%2Fmysql%2Fmysql-questions%2F249_mysql_how_to_determine_if_a_column_is_unsigned.html
原文地址:FastJson序列化隐藏特性