一、如何评估搜索质量、体验与业务价值

1.搜索-无处不在
生活中多种不同场景需要进行搜索，在企业内部产品中也需要使用多种搜索功能，方便用户快捷地获取企业相关商品、服务、内容等信息。搜索在不同的企业业务中的角色可能有所不同。如下图所示，搜索在电商行业是十分重要的业务流量转化入口，在其他领域也必不可少。
搜索是用户获取信息的基础手段与能力，如果搜索不好用，用户信任度必会降低。如果搜索在某业务场景中使用不多，建议衡量业务的全站流量结构。

2. 评估搜索质量、体验与业务价值
六成左右客户不清楚如何评估搜索质量、体验与业务价值，那么引出以下问题。

搜索的业务价值驱动力是什么？搜索在企业内部的业务价值驱动一般依靠被动的Bad case、KPI或业务需求。依靠Bad case驱动，搜索结果具有随机性，不固定时间地点场合，搜索体验差。KPI指标判断，容易片面和不知所以然。依靠业务需求指业务方或运营指明将某些搜索结果置于前排，意味着结果排序相关性势必会完全依赖于业务方经验而无法客观的保障用户的体验与业务转化，不具备可控性。以上三种业务价值驱动方式都存在较大问题。
目前许多企业的做法是根据上述所谓的内部搜索业务价值驱动力，做召回、排序、业务需求以及扩展搜索历史等功能。
如何衡量？主观？客观？如果明确了搜索的业务价值驱动力，如何衡量驱动效果，即业务价值？具有客观的体系化衡量手段才有可能实现客观的判断。
下图所列举为一套以淘宝内部为典型的搜索上线流程。首先需要有监控/评估搜索用户体验的方法，周期性评测用户体验。通过监控/评估明确迭代/专项。在上线前做一些A/B Test或灰度测试，如果没有问题可全量上线，并监控线上效果。例如翻页率下降，说明用户以往搜索10页才能找到的内容现在1、2页就可以找到，搜索体验提升。

该链路是主动监控、评估搜索业务价值的，好的驱动力应该是高效的体系化的持续化的实现交付价值。
那么如何衡量搜索业务价值？该链路源头是监控/评估能力，需要有体系化、专业的报表与评估服务。报表是客观性数据，只能反映果而不能体现因，评估服务是人工主观评估服务。监控/评估取代了所谓Bad case、KPI、业务需求，更加体系化地衡量搜索体验。

如下图所示，OpenSearch报表评估提供5大维度的30+指标。报表只能体现整体结果，而局部效果的评估可以根据大量指标从不同视角得出不同结论。五大维度分为流量指标、点击类指标、用户分析类指标、Query分析类指标、成交指标，核心指标由其提炼而来。
以往每天上班第一件事是查看关键指标，如发现可能存在问题，需要检查连带影响，确保报表各项核心指标正常后才会展开其他工作。因此该体系化、专业的报表与评估服务不仅带给客户一种技术能力，更使客户能够在平台上完整落地、驱动搜索业务。

如何高效、可持续、体系化地交付搜索价值？搜索的相关市场、场景、用户、文化一直处于变化中，明确搜索业务价值驱动力、衡量方式后，如何高效、可持续、体系化地交付搜索价值？
与一般开源不同，OpenSearch提供的不是需要客户自行拼搭开发的零散工具，而是一套完整服务，一切皆为提升业务价值、体现大家的专业能力。OpenSearch服务主要有以下四个特点。第一，免运维，客户只需要提供数据并配置满足自身业务诉求的策略。第二，开箱即用，只需提供数据与配置策略，操作便捷。第三，一站式，提供搜索核心功能、扩展功能。第四，高搜索质量。

下图所示为搜索上线流程，创建应用、上传数据并进行简单调试后即可发布上线。若过程顺利半天即可完成。

二、OpenSearch背景与核心能力介绍

OpenSearch是阿里巴巴自研的搜索引擎，过去一直支持并服务阿里内部应用，经过千锤百炼才沉淀到可以赋能市场上其他企业。

搜索的核心是做召回、排序、业务需求以及功能扩展，投入重、依赖多、周期长，一般企业难以投入大规模人力与资源。因此开发性能与体验优秀的搜索引擎并非易事。

召回核心模块为分析器与查询分析。中文博大精深，易生歧义，分词效果至关重要。召回内置多种分析器，分析语言意图。查询分析提供同义词、纠错、词权重、实体识别、停用词分析等必备功能。
排序方面支持二次排序，是大数据量召回的有效解决方式。还支持类目预测、人气模型，支持表达式以及Cava排序定制。
根据业务需求需要支持混排、打散、词典管理等功能实现。混排指在搜索召回结果中根据业务需求相应展示视频、文字、图片等不同媒体类型结果。例如在淘宝搜索结果中，打散指品牌、价格等打散展示。
扩展即功能性扩展，如A/B Test、搜索框下拉提示、热搜&底纹（默认搜索词）、飘红、Debug工具等。
召回、排序、业务、扩展都是为了服务客户，使客户能以最小成本、最短时间交付高质量业务价值而提供的能力。
1.分析器
分析器是影响搜索效果的基础模块，不同业务场景需要使用不同分析器，需要用户结合自身业务场景自行选择。目前OpenSearch集成了12种分析器供用户选择，用户也可上传自己的分词词条个性化定制分析器。

下图所示为阿里OpenSearch电商分析器与开源IK分析器对比数据，可见OpenSearch分析器的分词效果相对优于IK开源分析器。该对比随机抽取100个电商类Query，下图列举部分结果。例如925银耳饰，开源IK分析器分词有“银耳”一项，OpenSearch电商分词理解显然更优。

2.类目预测
用户搜索意图可分为精搜、泛搜，类目预测即预测用户搜索某一Query时目标类目的结果。类目预测并非依靠个人体感，而需要符合市场需求，根据行为数据尽可能快速满足用户需求。
如下图所示，使用类目预测前在淘宝搜索光明，可能出现米、面、奶等多种相关商品。而根据用户点击行为数据，100个用户搜索光明，绝大多数点击的商品是光明牛奶，意味着用户搜索光明通常是搜索光明牛奶，因此使用类目预测后前排推荐商品变化为光明牛奶。
类目预测也可使用纯文本方式。

案例——双面胶：多数时候搜索双面胶指办公用品，然而一段时间内电视剧《双面胶》很热，出现了许多相关周边产品。那么用户在该阶段搜索双面胶想要的商品或许会发生变化，可通过用户行为数据进行类目预测。
案例——播、海贼王、柯南：“播”是一个服装品牌，多数时候需要召回的内容为该品牌服装。海贼王、柯南等Query，需要根据市场需求，通过类目预测提供更合适的结果。

3.人气模型
淘宝早期搜索结果排序方式非常简单，宝贝发布后上架试7天，剩余下架时间越短排序越靠前，所有卖家都有相同的机会获得流量，对卖家、买家都相对公平。然而该模式无法将价值最大化，并不经济。
因此淘宝很早发布了人气模型，尽可能与市场趋势匹配，使用户更加满意，从而转化为最大价值。用户体验好，对优质卖家、商品也更公平，是当前默认模型。

4.热搜&底纹

三、典型案例

1.召回
下图所示站点是以UGC内容为主的论坛。由于站内搜索用户地域表达与文化习惯差异大，易生歧义，导致搜索体验差。因此该类搜索场景要求搜索引擎具备较强的语义理解能力，根据搜索和文档的真实语义进行智能匹配。
词权重分析：如下图所示，搜索问题为“胎停有什么症状”，基于优秀的召回质量，通过词权重分析能够给出较好的结果排序。
拼写纠错、同义词扩大召回：如下图所示，由于用户方言习惯等问题，搜索关键词时将“剖腹产”误输入为“抛妇产”，通过拼写纠错等功能，仍然可以正确识别用户意图，提供相关内容。
**客户评价-1：简单无门槛，连不懂技术的产品经理都可以使用OpenSearch对业务进行迭代，大大缩短了项目的迭代周期。
客户评价-2：提高效率，目前技术团队没有专职优化搜索的技术人员，只是根据项目需求做临时优化即可，省力省心。**

2.技术类内容社区
某国内最大的中文IT内容社区，涉及众多业务场景，由于是技术类内容社区，需要提供强大、优秀的搜索服务。
该社区花一年时间基于开源自建搜索服务，效果不佳。因此该社区试行OpenSearch。
下图所示为基于开源自建搜索服务与基于OpenSearch服务的搜索效果对比。搜索同一关键词Win10重装，可见基于OpenSearch服务的搜索语义理解更优，提供的搜索结果相关性更高。
由于该社区搜索词专业垂直度高，通用分词不足以支持，需要自定义词典，并结合了阿里NLP通用Query智能分析+人气模型。
效果：对比基于开源自建的搜索服务CTR提升80%+，对比友商CTR提升3%。