使用 TapData，化繁为简，摆脱手动搭建、维护数据管道的诸多烦扰，轻量代替 OGG、DSG 等同步工具，「CDC + 流处理 + 数据集成」组合拳，加速仓内数据流转，帮助企业将真正具有业务价值的数据作用到实处，将“实时数仓”方法论落进现实。
TapData 持续迭代产品能力，优化用户体验的同时，也在不断探索各行各业数据需求的底层逻辑，力求为行业用户提供更加简洁、更具针对性的解题思路。本期内容便是我们在医药零售行业做出的实践以及展望。
我们在业务扩张的过程中，不可免俗地遇到了数字化过程中常见的数据孤岛挑战。借助TapData，我们成功实现了数据管理的统一化和实时同步。TapData为我们提供了全面的解决方案，大幅提高了数据处理效率和决策支持能力。基于此，我们的运营效率显著提升，业务决策更加精准可靠。实时数仓方案不仅帮助我们解决了数据孤岛难题，还为我们的数据资源整合和实时利用提供了强有力的支持，显著优化了业务流程，为我们的运营和下一步发展发展提供了极大的便利。—— 某知名药企
全面放开一年多来，国民经济和社会运行逐渐常态化。新环境下，健康产业的发展正在面临多重变化与挑战。
一方面，随着医改政策的不断深化和调整，医药零售市场格局也在持续变革中。集中采购成为常态，门诊共济逐步实施，个人账户改革全面推进，线上医保支付开始试点，医药零售市场挑战与机遇并存；另一方面，国民的健康观念和需求也在转变，“每个人是自身健康的第一责任人”理念逐渐深入，人们不再仅仅关注疾病的预防，而是追求高质量的健康生活。个人健康管理意识进一步增强，医药零售品类的结构也在不断重塑。
这样的综合背景下，医药零售市场的竞争和复杂性进一步加剧，各类挑战不断涌现。为了在这种环境中取得成功，医药企业和连锁零售商逐渐转向以患者/消费者为中心的战略，在销售产品之外，更加注重患者的需求、体验和满意度。
具体来说，以患者为中心的策略包括以下几个方面：
- 人性化、精细化服务：通过分析消费者的切实需求或养生偏好，提供更贴心和人性化的健康解决方案和服务，提升患者的满意度。
- 数字化转型：利用先进的技术和数据分析手段，实现线上线下一体化的服务模式，方便患者获取药品和健康咨询。
- 全方位健康管理：不仅提供药品，还包括健康管理、疾病预防、营养建议等综合性服务，帮助患者全面提升健康水平。
- 增强互动：通过移动应用、社交媒体等平台，与患者建立更紧密的联系，及时反馈和解决他们的问题，增加患者的忠诚度。
通过这些措施，医药工业企业和连锁零售商正在激烈的市场竞争中抢占优势地位，持续发展并满足不断变化的市场需求。
浪潮之下，某全国知名的大型药品医疗企业，该药企同样充分意识到需要持续扩大规模，凭借精细化管理，切准消费者心理，从而抢占生存空间，开始加速布局以消费者为中心的经营模式，积极推进数字化转型。也正是在这个过程中，遇上了以数据孤岛为首的一系列新的挑战。
一、制药、零售齐步走，业务发展的数字化需求与数据孤岛之间的矛盾日益突出
拥有悠久的历史，该药企坚持以中医中药为主攻方向，目前在经营格局上形成了以制药工业为核心，以健康养生、医疗养老、商业零售、国际药业为支撑的五大板块，构建了集种植（养殖）、制造、销售、医疗、康养、研发于一体的大健康产业链条。
该药企旗下拥有多个子集团、两个院和多家直属子公司，2000 多家零售终端和医疗机构常年为广大消费者提供健康服务。产品涵盖滋补养生、营养保健、天然草本、健康酒、药品和健康饮品六大类，在行业内享有极高的声誉和影响力。
如此庞大的业务版图之下，在消费者需求日益多元化和个性化的今天，该药企同样深刻认识到以消费者为中心的重要性。消费者不仅仅关注产品的品质和疗效，更希望获得全方位的健康服务体验。这种需求驱动着该药企不断优化服务流程，提升服务质量，力求在每一个环节都为消费者提供最佳体验。为了实现这一目标，该药企在业务发展的过程中，逐渐认识到数据驱动型经营管理的重要性。通过数字化手段，该药企可以更好地了解消费者需求，优化供应链管理，提高运营效率。例如，通过数据分析，该药企能够精准掌握市场动态和消费者偏好，从而调整产品策略和服务内容，满足不同群体的健康需求。
然而，随着业务规模的不断扩大和多元化发展，在持续深入推进数据驱动战略的过程中，该药企内部各系统之间的数据孤岛等问题日益突出，这不仅导致内部重要信息无法及时共享，影响决策效率，还阻碍了消费者服务体验的一体化。其中，一些具有行业代表性的挑战如下：
1. POS 系统难统一
- 系统多样性：不同门店采用了十几套不同的 POS 系统（包括外部采购的系统），这些系统基于不同的数据库（如 Oracle、MySQL、MSSQL），版本各异，网络环境不统一。这种多样性增加了系统管理的复杂性和数据整合的难度。
- 维护复杂性：多个 POS 系统的同时维护和支持大幅增加了 IT 部门的工作量，导致运营成本上升，资源分散，影响了整体运营效率。
2. 医保对接困难
- 指定供应商限制：部分地区的医保局指定了特定的 POS 供应商，使得该药企在这些地区无法统一使用自己的 POS 系统。这种限制带来了运营和管理上的不便。
- 兼容性问题：指定的 POS 系统与集团的中央系统不兼容，导致数据无法直接汇总，增加了数据整合的复杂性，影响了整体数据的统一管理和使用效率。
3. 数据孤岛
由于各门店系统独立部署，这些不同系统之间的数据无法实时同步，造成各个门店的数据孤立，无法形成统一的数据视图，影响整体经营和决策效率。例如：
- 销售和库存数据滞后：数据无法实时同步，集团管理层无法及时获取各门店的销售和库存情况，导致补货和销售策略的制定滞后，影响市场响应速度。
- 数据分析困难：分散的数据使得集团难以进行全面的数据分析，影响对市场趋势和客户需求的洞察，进而影响市场策略的制定和调整。
- 财务报表不准确：各门店的数据无法及时汇总，导致财务报表数据滞后或不准确，影响财务决策和预算管理，增加了财务风险。
- 客户体验下降：客户跨店消费记录无法实时同步，导致客户在不同门店享受不到一致的服务体验，影响客户满意度和忠诚度，降低了客户留存率和品牌忠诚度。
总得看来，对于该药企而言，一方面，全国超 2000 家终端零售门店，不同门店使用了多套不同的 POS 系统，零售数据不能实时集成；另一方面，各店数据标准不一致，需要进行标准化清洗和处理，并支撑数据的实时消费，如大屏、线上微服务、实时报表等。
行业洗牌期，孤岛挑战不仅增加了企业运营的复杂性和成本，还严重影响了数据的有效利用和管理，制约了企业的快速响应能力和市场竞争力。因此，实现数据的互联互通和共享，成为该药企数字化转型的关键。
二、打破孤岛桎梏的本质：实现数据的互联互通和无缝集成
该药企数据特点：
① 数据孤岛问题明显：内部拥有众多业务板块和子公司，每个部门和子公司各自维护自己的信息系统，导致数据无法互联互通，亟待破局
② 覆盖系统多样：包括销售点系统（POS）、库存管理系统、客户关系管理系统（CRM）、供应链管理系统、电子处方和药品管理系统、财务管理系统、医保结算系统等内外部系统
③ 数据类型不一：数据源包括 Oracle、MySQL、MSSQL 等，数仓底座为 Doris，异构数据库数据同步压力大
方案设想：中央化的数据平台
审视这些挑战与需求，不难发现其本质正就是需要解决数据的互联互通和无缝集成问题。具体来说，包括以下几个方面：
1. 数据集成：
- ETL（抽取、转换、加载）：将数据从不同的来源系统中抽取出来，进行必要的转换，然后加载到一个集中式的数据仓库或数据湖中。
- 实时数据流：利用实时数据流技术，如 Apache Kafka、Apache Flink、TapData，实现不同系统间的实时数据传输和处理。
2. 数据互操作性：
- 标准化数据格式：采用标准的数据格式（如 JSON、XML、AVRO 等）和通信协议（如 RESTful API、SOAP 等），确保不同系统之间的数据可以互相理解和处理。
- 中间件和 API 管理：使用中间件平台和 API 管理工具，如 Kong、Apigee，实现不同应用和服务之间的数据交互和调用。
3. 数据治理和质量管理：
- 数据质量控制：制定数据质量标准和策略，确保集成的数据在准确性、一致性、完整性等方面达到要求。
- 数据治理框架：建立数据治理框架，定义数据的所有权、访问权限和数据生命周期管理，确保数据使用的规范性和安全性。
4. 元数据管理：
- 元数据目录：创建和维护元数据目录，记录数据的来源、结构、关系等信息，方便数据的查找和使用。
- 数据血缘追踪：跟踪数据的流动路径和变化过程，确保数据的可追溯性和透明性。
5. 数据安全和隐私保护：
- 数据加密：对传输和存储的数据进行加密，防止未经授权的访问和泄露。
- 访问控制：实施严格的访问控制机制，确保只有授权的用户和系统才能访问和操作数据。
基于这些技术考量，中央化数据平台方案走进该药企的视野。
方案选型：现代数据栈组合 vs 传统数仓方案
事实上，该药企此前已有基于 Doris 的传统数仓方案在运行，并提供了稳定的数据存储和分析能力。然而，随着业务需求的不断增长和数据复杂性的增加，单靠传统数仓方案可能难以全面应对实时数据处理和多样化的分析需求。为了进一步提升数据处理效率，实现数据的互联互通和无缝集成，需要在现有基础上，评估并选择更为灵活和高效的技术方案。
彼时恰逢现代数据栈方法论（Modern Data Stack，MDS）正在流行，基于此，顺其自然地进入了流行与经典方案的对比及选型阶段。
① 现代数据栈组合
现代数据栈是一种基于云计算的模块化数据架构，就像是一个高效运转的现代化工厂，利用最新的技术和工具来构建更加灵活、高效的数据处理和分析平台。以下是其主要组件和特点：
- 数据集成与传输
- 工具：Fivetran、Airbyte、TapData
- 特点：高效的数据抽取、加载和实时数据流处理，支持多种数据源和目标。
- 数据存储
- 工具：BigQuery、Apache Doris、Clickhouse
- 特点：云原生的数据仓库，具有弹性扩展、高性能和低延迟等优势。
- 数据转换与建模
- 工具：dbt（Data Build Tool）
- 特点：以 SQL 为核心的转换和建模工具，支持可重复、可管理的数据转换流程。
- 数据分析与可视化
- 工具：Looker、Tableau、Power BI
- 特点：直观的数据分析和可视化工具，提供丰富的图表和仪表板功能。
- 数据治理与安全
- 工具：Collibra、Alation
- 特点：全面的数据治理和管理平台，提供数据血缘追踪、数据质量监控和访问控制等功能。
优点：
- 云原生、可托管：现代数据栈通常是云原生的，可以在云平台上构建和托管。这意味着可以随时增加或减少计算和存储资源，并且可以灵活地扩展或缩小规模。这种可托管的方式能够帮助企业降低运营成本和管理负担。
- 可组合、可插拔：现代数据栈的组件通常都是可组合和可插拔的。这意味着企业可以根据自身需要选择和组合不同的组件来构建数据处理流程。这种灵活性能够帮助企业快速适应不同的业务需求和数据场景。
- 迭代式：相较于传统数据管理项目自上而下的开发方式，现代数据栈更倾向于采用迭代式的方式进行构建和演进，具有敏捷开发、轻量级和可扩展、开放性和组件化等差异，能够更快地响应业务需求和变化，并且能够通过持续集成和持续部署等方式实现快速迭代和交付。
- 自助服务：无需供应商介入即可完成自助选型，非技术专家也能够轻松地使用数据处理和分析工具。这种自助服务的方式能够帮助企业降低对技术人员的依赖，同时也能够更加快速地实现业务需求。
缺点：
- 学习曲线：新技术和工具可能需要一定的学习和适应时间。
- 成本：虽然有云原生的优势，但在处理大规模数据时，成本可能较高。
② 传统数据仓库方案
传统数据仓库方案通常基于企业内部的硬件和软件构建，依赖于集中式的数据存储和处理。以下是其主要组件和特点：
- 数据集成与传输
- 工具：传统的 ETL 工具（如 Informatica、Talend）
- 特点：批处理为主，数据传输速度较慢，集成难度大。
- 数据存储
- 工具：Oracle、SQL Server
- 特点：企业内部部署的关系型数据库，具有稳定性和可靠性，但扩展性较差。
- 数据转换与建模
- 工具：自定义 SQ L脚本和存储过程
- 特点：手工编写的转换流程，缺乏自动化和管理工具。
- 数据分析与可视化
- 工具：传统的 BI 工具（如 Cognos、Business Objects）
- 特点：功能相对有限，数据更新和分析速度较慢。
- 数据治理与安全
- 工具：内部开发和定制的解决方案
- 特点：治理和安全管理复杂，依赖于企业内部的IT资源。
优点：
- 成熟度和稳定性：经过多年的使用和优化，传统方案在稳定性和可靠性方面表现良好。
- 控制性：数据和系统完全由企业内部管理，数据安全性和隐私性高。
缺点：
- 灵活性差：难以快速适应业务变化，扩展性较差。
- 成本高：需要大量的硬件和 IT 资源投入，运维成本高。
小结
现代数据栈组合方案在灵活性、扩展性和实时处理能力方面具有显著优势，更适合这样需要解决数据孤岛问题，并且面临多样化和实时数据需求的企业。而传统数据仓库方案尽管在稳定性和安全性方面表现良好，但在应对快速变化的业务需求和大规模数据处理方面存在明显不足。
综合考量之下，该药企选择用现代数据栈方案来替代传统数仓方案，来承载长远发展的数据应用需求。同时也因此选中了在类似的现代化数据融合或服务平台搭建项目中经验丰富的 TapData 来负责具体的方案设计与落地，在这个过程中也用到了 TapData 成熟的现代数据栈数据集成产品——TapData Live Data Platform。
以下是 TapData 与其他一些热门数据集成工具选项的对比：
三、建立统一的中央化实时数据平台：让数据有用、易用、可复用
经过一年多的稳定运行，基于 TapData 设计的实时数据平台方案在医药零售行业中的实际应用价值得到了充分的验证。
具体方案如下：
- ODS数据同步：通过ODS（操作数据存储）实现库同步，确保各门店的数据能够实时汇总到中央数据库。
- 实时数据流处理：利用Kafka进行实时业务数据流处理，确保数据及时传输到中央系统。
- 轮询补数机制：通过轮询和跑批机制，解决数据补录问题，避免因业务操作或系统故障导致的数据丢失。
- 进 Doris 数仓：通过Tapdata的解决方案，数据能够高效地进入Doris数据仓库，实现集中管理和高效查询。
实施效果
通过建立统一数据融合平台，该药企成功实现各门店 POS 数据的实时同步，在技术层面得以快速高效构建数据模型，进行数据标准化处理。实现实时汇聚、处理，降低数据链路的复杂度，高效为自有数仓（Doris）和 Kafka 供数。同时提供统一数据服务，支撑多源数据的实时分析和消费，从而加速下游创新业务的上线。
由此，成功实现：
- 减少人力开发成本：自动化的数据同步和补录机制，减少了人工干预和开发成本。
- 实时数据支持经营策略：通过实时数据流处理和统一数据管理，为集团制定经营策略提供了及时、准确的数据支持。
- 优化运营管理：统一的中央数据平台，使运营团队能够快速获取和分析数据，从而优化业务流程和管理决策。
成果反馈
实施Tapdata解决方案后，该药企实现了以下几方面的显著提升：
- 数据管理统一化：多样化的 POS 系统数据能够实时同步到中央数据库，解决了数据分散和管理困难的问题。之前由于数据分散，各门店的数据难以汇总，导致集团难以全面了解各个门店的运营情况，从而影响了整体的运营管理和策略制定。
- 运营效率提升：通过实时数据流处理和自动化补数机制，减少了人工干预，提高了数据处理效率。
- 决策支持优化：统一的中央数据平台，使得运营团队能够及时获取和分析数据，为业务决策提供了准确的支持。
通过与 TapData 合作，该药企成功打造了一个高效、统一的实时数据平台，该平台为该药企提供了中央化的数据服务，支持多源数据的实时同步和整合，解决了数据孤岛问题，实现了数据资源的最大化利用，显著提升了企业的运营效率和决策能力。经由自动化和实时化的数据处理，该药企不仅优化了数据管理流程，还为未来的业务拓展奠定了坚实的数据基础。
未来，TapData 还将持续挖掘实时数据在药品零售领域的实用性价值，为行业提供更多运营灵感。
采用 Tapdata 实时数据平台解决方案有哪些优势？
- 广泛的数据源和目标支持：内置 100+ 数据连接器，稳定的实时采集和传输能力
- 学习成本低，轻量易上手：开箱即用与低代码可视化操作，支持数据模型预览，无需专业的编程能力，即可完成复杂的数据集成和开发。
- 更实时，更高效：兼具秒级响应的数据实时计算能力，以及稳定易用的数据实时服务能力
- 支持数据、任务分类：可根据不同项目自定义标签，方便快速筛选查找，有助于对跨部门协同管理及后续维护
- 支持平台级数据校验：有效保障数据一致性
- 可视化任务运行监控和告警：20+ 可观测性指标，实时监测任务最新状态
推荐阅读：
- 国内顶级汽车制造厂的创新实践：如何利用实时数据湖为更多业务提供新鲜数据？
- 心诺安 x TapData：快速搭建云中数仓，助力电商企业实施“以用户为中心的”精细化运营
- 梵几 x TapData：如何高效落地实时数据中台，助力家居企业优化数字营销
- 数据仓库 vs 数据湖 vs 湖仓一体：如何基于自身数据策略，选择最合适的数据管理方案？
- 心识宇宙 x TapData：如何加速落地实时数仓，助力 AI 企业智慧决策
)
