立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务

作者：厦门立马耀网络科技有限公司大数据开发工程师陈宏毅

背景介绍

行业

蝉选是蝉妈妈出品的达人选品服务平台。蝉选秉持“陪伴达人赚到钱”的品牌使命，致力于洞悉达人变现需求和痛点，提供达人选高佣、稳变现、速响应的选品服务。

业务特征

个性化推荐：利用大数据和人工智能算法，根据用户的兴趣和行为提供定制化的产品推荐。
数据驱动：通过分析用户和市场趋势，优化推荐策略，提升用户满意度。
精准营销：帮助商家通过精准的用户画像进行有效的产品推广。
高效搜索：提供强大的搜索功能，帮助用户快速找到所需产品。

产品原有架构痛点

依赖传统搜索方案的向量检索进行相似商品推荐的痛点

性能瓶颈：在处理高维向量时，性能可能不如专用的向量数据库。
存储效率：高维向量的存储效率较低，占用较多磁盘空间。
复杂性：需要额外配置和插件才能支持向量检索。
更新成本：频繁更新向量数据可能导致索引重建，影响性能。
资源消耗：内存和计算资源消耗较大，尤其在大规模数据集上。

Spark集群原架构的痛点

集群稳定性：需要自行监控和维护集群，可能面临稳定性问题。
性能优化：缺乏类似Fusion的加速技术，可能导致任务执行速度较慢。
运维负担：需要手动管理集群，包括配置、监控和故障排除。
资源利用率：资源分配不够灵活，可能导致资源浪费。
费用问题：即使在空闲时也可能产生费用，导致成本增加。
复杂性：需要配置和管理底层基础设施，增加了复杂性。

为了应对新的业务挑战，蝉妈妈选择与阿里云合作，利用其 Serverless Spark & Milvus，构建了符合业务场景和分析师习惯的工程解决方案。

为什么选择阿里云 Serverless Spark&Milvus

完善的周边服务：提供全面的监控和告警功能，能够实时跟踪任务状态和性能，及时发现并解决问题。

托管弹性伸缩功能：自动根据工作负载调整资源，减少手动干预。

集群稳定性：由云服务商管理，提供高稳定性和可靠性。

弹性资源管理：按需分配资源，避免资源浪费。

按需计费：仅为实际使用的资源付费，降低成本。

快速启动：无需预配置资源，能够快速启动和运行任务。

自动扩展：根据工作负载自动调整资源，提升灵活性。

性能优化：Serverless Spark通过技术如Fusion加速任务执行，提高效率，降低成本；Milvus支持并保证超大规模向量检索的性能。

技术方案设计

架构图

业务场景介绍

在Serverless Spark中，通过周期性的离线任务，从StarRocks数据库中提取商品数据。这些数据包含商品的基本信息，如商品ID、名称、描述等。接着，使用Serverless Spark的计算能力，调用机器学习模型服务，将商品标题转换为向量表示。生成的向量数据与其他商品信息结合后，批量写入阿里云Milvus向量数据库。Milvus负责高效存储和管理这些向量数据，并支持快速相似性搜索。通过构建数据接口，Milvus中的数据可以对外提供查询服务，用户可以通过该接口输入一个商品或其特征，系统将返回相似商品的列表。这种架构支持大规模、低延迟的相似商品检索，适用于推荐系统、个性化营销等应用场景。

关键服务组件

Serverless Spark

EMR Serverless Spark 是一款面向 Data+AI 的高性能 Lakehouse 产品。它为企业提供了一站式的数据平台服务，包括任务开发、调试、调度和运维等，极大地简化了数据处理和模型训练的全流程。同时，它100%兼容开源 Spark 生态，能够无缝集成到客户现有的数据平台。使用 EMR Serverless Spark，企业可以更专注于数据处理分析和模型训练调优，提高工作效率。