拓数派向量计算引擎PieCloudVector助力东吴证券AIGC应用升级

1.项目背景

随着人工智能技术的不断创新和应用，我们可以看到人工智能在各个领域的应用越来越广泛。深度学习技术在图像识别、语音识别、自然语言处理等领域表现出色。机器学习算法的改进将解决更多实际问题，如增强学习、迁移学习和联合学习等，以更有效地处理复杂的数据问题。自然语言处理技术的不断进步，有助于实现更自然的对话和交流方式，在智能客服、虚拟助手、智能翻译等方面有着广泛应用。数据与AI融合是不可阻挡的历史潮流，大数据和AI技术相互激发、相辅相成，共同推进彼此的发展，两把“金钥匙”握手会再次在金融行业掀起高潮。

AIGC类应用是数智融合的典型，底层基础是强大的数据治理能力，预训练语言大模型不断获得高质量数据进行训练、迭代和优化，从而带来远胜以往的智能应用理念。大模型将激活证券行业的非结构化数据，更高效地释放数据价值，应用将渗透到业务前中后段，带来新的生产力升级。大模型的爆发，将金融业带入到了一个全新时代，但同时也给行业带来了一些难题。

2.现状及痛点

2.1 数据安全问题

涉及敏感信息的业务应用，数据隐私是一个不可忽视的问题。部分场景中存在调用LLM API接口服务的情况，不能直接拿取业务数据，需要考虑数据泄露的风险。

2.2 私域数据问题

通用大模型在训练过程中并未接触过企业的私域数据和特定业务场景，因此，它们无法完全满足企业实际需求，也无法优化企业的具体业务流程，需要将其与企业内部的特定知识和数据进行整合。

2.3 实时性问题

大模型通常是基于历史的某个时间点及其以前的数据进行训练和优化的，缺失了部分实时的数据，假如有用户询问有关最新数据的问题，AIGC会生成错误的答案，这就是LLM幻觉问题。并且LLM计算并生成对应答案也需要一定的时间，一般都在3～5秒左右，用户交互时延较高。

2.4 长期记忆问题

LLM主要是处理数据，并能生成数据，但是本身却没有长期记忆能力，这对于需要持续互动的AIGC场景是致命问题，长期记忆对于维持上下文理解至关重要，可以提供更自然、更个性化的用户体验。缺乏长期记忆，影响了LLM的性能和AIGC类应用的用户体验。

3.基于向量数据库的AIGC应用

3.1 整体架构

3.2 解决方案

采用自研大模型东吴秀财GPT + LangChain开发框架 + PieCloudVector向量数据库构建了AIGC应用平台，接入了交易应用的结构化数据和非结构化数据，其中非结构化数据主要是文本类数据（如法律法规、金融资讯、产研报告等）；
东吴秀财GPT当前生产上线的参数为130亿，将于2024年4月中旬完成千亿参数大模型的训练，训练集包括2.235万亿Tokens的中英文语料，其中包括4000亿Tokens的金融语料，采用40台8卡H800训练；
拓数派提供了分布式的向量数据库PieCloudVector，采用4节点部署，总数据量超4TB，单Collection最大近2亿条向量数据，支持多种索引类型和主流检索算法；
PieCloudVector配合东吴秀财GPT大模型，整体形成了RAG架构，PieCloudVector主要存储Embedding后的向量数据，同时也支持应用的标量数据存储，并提供LangChain的SDK，无缝集成到AIGC应用开发框架中；
PieCloudVector是拓数派国内自主研发产品，通过了信通院的向量数据库能力测试。本次在东吴证券中也基于国产海光服务器和国产麒麟操作系统部署，满足了自主可控的要求。

3.3 应用及收益

东吴秀财GPT基于文本理解与生成、RAG增强搜索、企业智能中枢、智能BI四大应用范式，开发了N个AI证券行业应用场景。现有应用包括涨跌分析和盘后总结，企微AI客服助手，智能尽职调查、年报问答、基金问答、量化投资、内部培训等，并接入了东吴数字人；
PieCloudVector向量数据库支撑东吴秀财GPT训练阶段的海量数据的分类、去重和清洗，给大模型的训练降本增效；
通过外挂基于PieCloudVector向量数据库的知识库，帮助大模型提升处理新问题的能力，突破预训练带来的知识时间限制，避免大模型出现幻觉；
在推理阶段，通过PieCloudVector向量数据库本身的权限控制，能真正实现隐私数据可控不出域。同时减少重复计算，通过缓存避免反复进行大模型推理，提高响应速度和性能；
在上下文限制方面，由于PieCloudVector具备历史数据持久化的能力，同时通过内置的KNN、ANN算法做相似性查询，返回最相关内容，从而突破大模型上下文限制，实现长期记忆。将大模型问答结果进行缓存，确保数据一致性，避免因模型更新或数据变化而引起的结果不一致问题，提升用户信任度；
PieCloudVector向量数据库具备万亿级大规模向量数据库快速查询的能力，支持单节点多线程的索引创建，可充分调度硬件所有计算能力，索引创建性能提升5倍，检索性能提升6倍，交互响应速度提升3倍。