1天软高频时序数仓方案架构
天软高频时序数据仓库是深圳天软科技开发有限公司专为金融用户提供的专业高频行情数据处理方案,集数据接入、检查、处理、存储、查询、订阅、计算于一体。
方案支持各类系统的实时行情、非实时行情接入;还支持压缩存储、分布式存储;支持无锁高并发、多级缓存、网格计算助力用户高效计算;
天软高频时序数仓提供内置行情指标、统一的数据访问接口;提供第三方软件的交互API,帮助用户高效、便捷的访问、使用高频行情数据。
1.1接入适配层
为各类行情数据源提供适配接入服务。支撑沪深交易所历代行情发布格式,包括文件式、流式;
适配各类金融品种的实时行情接入、非实时行情接入;
适配不同等级的行情数据接入,包括Level-l和Level-2;
同时针对接入的行情源提供数据检查,根据各个行情源的发布特点、数据自身的业务特性,建立检查规则;
适配各类指数行情的接入,例如申万、中证、国证、第三方研究机构发布的指数行情数据;
适配类行情特性的时序数据接入,例如投资组合的每日净值、持仓数据,交易数据等;
1.2数据存储
数据接入后,转换为天软自主研发的高频时序数据仓库格式,支持数据的紧缩、压缩存储,可压缩至源数据的5%~10%,大大的节省了存储介质的开销;
天软自主研发的高频时序数据仓库的存储,支撑Hash索引、时间序列索引,Block Index索引,有助于后续的高效、自由的访问数据。
1.3数据访问层
天软高频时序数据仓库,在数据访问时,支撑无锁高并发、多级高速缓存技术,提升数据访问性能;
在系统的部署上支撑分布式,针对数据的访问自动提供分布服务,可弹性伸缩部署;同时语法级别的网格计算技术,可以让用户轻松获得多硬件的性能支撑;无需更多的代码变化,即可让计算效率成倍提升。
1.4接口层
天软高频时序数据仓库,为提供了SQL、函数、面向主题和时间序列等不同方向的访问接口,对用户的数据提取提供专业、灵活的支撑;
l支持用户便利的获取实时行情、任意时点数据访问、时间序列访问;
l同时不仅支持常用各类固定周期访问,还支持自由周期、仿真时点的访问方式;
l支持行情数据的多种复权方式,任意前后复权;
l支持历史行情回播的订阅模式。
天软高频时序数据仓库,还支持多种交互方式,能与各种第三方语言、工具进行交互,最大限度保留用户已有工作成果,延续用户工作习惯。