量化私募公司的多因子构建方案（附python代码）

原创文章第600篇，专注“AI量化投资、世界运行的规律、个人成长与财富自由"。

昨天代码已经发布了，大家可以前往下载和更新：

代码发布：quantlabv5.3，可转债所有数据及双低、动量因子策略，单因子分析框架

基本数据的自动更新要提上日程。

这是多因子挖掘的基础工作——这个工作比较耗时，希望帮助大家完成，大家应该把时间花在有用的因子和策略构建上。

基础数据是指用于因子计算的价量数据、基本面数据，或者其他可获得的另类数据都可以。——当然它们本身也是因子。

而衍生数据是基于上述数据，通过因子表达式复合计算而来。比如双低=收盘价+转股溢价率*100，双低因子就是转债价格和转股溢价率的复合，当然转股溢价率本身又是一个复合因子。

我们首先需要构建基本数据，然后提供因子表达式即可。

价量因子数据准备最简单，只需要OHLCV就可以了，而且多数接口都可以一次性提供这样的日频数据。

因子存储有两种模式：宽表模式和单值模式：

这是宽表模式，这是最传统的，写入快，就是对应一个dataframe，可以直接写入表中。

下面是单值模式，自己做列存。

十分钟级一万个因子数据场景下，宽表模式的因子写入速度高于单值模型。
因子数据查询方面，单值模式优于宽表模式。
因子数据运维方面（包含新增因子、更新和删除因子），单值模式的效率远远优于宽表模式。

综合考虑，在高频多因子的场景下，合理设计存储方案的单值模式是最好的解决方案。

基础数据获取：

class Basic:def __init__(self, tb_name, service: DataService):self.tb_name = tb_nameself.service = servicedef build(self):df = self.service.get_basic_df()df['_id'] = df['symbol']mongo_utils.write_df(self.tb_name, df, drop_tb_if_exist=True)

这是一个通用的basic构建类，从接口处获得列表后，直接存入mongo，若表已存在，先drop掉。

我们仅保留近十年发行的转债即可：

class BondDataService(DataService):def get_basic_df(self):df = api_ts.get_bonds_df()df = df[df['list_date'] >= '2015-01-01']return df

一共880支。

下面的代码构建时间序列，比如量价数据，基本面指标如PE/PB

class Quotes:def __init__(self, tb_basic, tb_quotes, service: DataService, symbol_col='symbol'):self.tb_basic = tb_basicself.tb_quotes = tb_quotesself.service = serviceself.symbol_col = symbol_coldef query_basic(self, query={}):return mongo_utils.get_db()[self.tb_basic].find(query)def query_start_date(self, symbol):start_date = ''items = mongo_utils.get_db()[self.tb_quotes].find({'symbol': symbol}).sort('date', pymongo.DESCENDING).limit(1)items = list(items)if len(items) == 0:print('不存在{}记录'.format(symbol))start_date = '20050101'else:start_date = items[0]['date']print('{}从{}更新'.format(symbol, start_date))return start_datedef build_symbol_quotes(self, symbol):start_date = self.query_start_date(symbol)return self.service.get_quotes_df(symbol, start_date)def build(self):items = self.query_basic()for item in tqdm(items):df = self.build_symbol_quotes(item[self.symbol_col])df['_id'] = df['symbol'] + '_' + df['date']mongo_utils.write_df(self.tb_quotes, df)