作者：来自 Elastic Bahubali Shetti
通过自动化自定义数据集成，以创纪录的速度将日志迁移到 AI 驱动的日志分析。
Elastic 正在通过自动提取自定义日志来加速采用 AI 驱动的日志分析（AI-driven log analytics），随着基于 GenAI 的应用程序部署的增长，这一点变得越来越重要。这些自定义数据源必须毫不费力地提取、解析和索引，从而实现更广泛的可见性和更直接的根本原因分析 (root cause analysis - RCA)，而无需网站可靠性工程师 (Site Reliability Engineers - SRE) 的努力。由于不断的增长和变化（例如新应用程序、添加的系统和基础设施迁移到云），实现整个企业 IT 环境中的可见性对于 SRE 来说本质上是一项挑战。到目前为止，自定义数据的导入对于 SRE 来说成本高昂且复杂。通过自动导入，SRE 可以专注于部署、优化和改进应用程序。
自动导入使用生成式 AI 来自动开发自定义数据集成，将所需时间从几天缩短到不到 10 分钟，并显著降低导入数据的学习曲线。该功能由 Elastic Search AI 平台提供支持，可提供与模型无关的访问权限，以利用大型语言模型 (large language models - LLMs)，并通过检索增强生成 (etrieval augmented generation - RAG) 在专有数据中寻找答案。Elastic 在帮助可观察性团队利用任何类型的数据方面的专业知识以及其 Search AI Lake 的灵活性进一步增强了此功能。在组织面临应用程序和遥测数据（例如日志）激增的关键时刻，自动导入通过简化数据收集和规范化来简化数据迁移的初始阶段。它还解决了构建自定义连接器的挑战，否则可能会延迟部署、问题分析并影响客户体验。
通过自动导入增强 AI 驱动的可观察性
自动导入（Automatic Import）以 Elastic Observability 的 AI 驱动日志分析创新为基础（例如异常检测、日志速率和模式分析以及 Elastic AI Assistant），并进一步自动化和简化 SRE 的工作流程。自动导入应用生成式 AI 来自动创建自定义数据集成，使 SRE 能够专注于日志和其他遥测数据。虽然 Elastic 提供了 400 多个预构建的数据集成，但自动导入允许 SRE 扩展集成以适应其工作流程并扩大对生产环境的可见性。
与自动导入相结合，Elastic 推出了 Elastic Express Migration，这是一项商业激励计划，旨在克服现有部署和合同中的迁移惯性，为新客户提供更快的采用途径。
自动导入利用 Elastic Common Schema (ECS) 和公共 LLM 来处理和分析 ECS 格式的数据，这也是 OpenTelemetry 的一部分。一旦数据输入，SRE 就可以利用 Elastic 基于 RAG 的 AI 助手来解决动态、复杂环境中的根本原因分析 (root cause analysis - RCA) 挑战。
配置和使用自动导入
所有拥有企业许可证的用户都可以使用自动导入。其工作原理如下：
- 用户配置与 LLM 的连接并上传示例数据
- 然后，自动导入会推断数据源的预期结果。这些日志示例与 LLM 提示（prompts）配对，这些提示已由 Elastic 工程师精心设计，可以可靠地生成符合要求的 Elasticsearch 摄取管道。
- 然后，自动导入会迭代构建、测试和调整自定义摄取管道，直到满足 Elastic 集成要求。
几分钟内即可创建经过验证的自定义集成，该集成可将原始数据准确地映射到 ECS 和自定义字段中，填充上下文信息（例如 related.* 字段）并对事件进行分类。
自动导入目前通过 Elastic 的 Amazon Bedrock 连接器支持 Anthropic 模型，并且很快将推出其他 LLM。它目前支持基于 JSON 和 NDJSON 的日志格式。
自动导入工作流程
SRE 必须不断管理开发人员添加到应用程序中的新工具和组件。Neo4j 是一个在 Elastic 中没有集成的数据库。以下步骤将引导你了解如何为 Neo4j 创建具有自动导入功能的集成：
1）首先导航到 Integrations -> Create new integration
2）为新数据源提供名称和描述
3）接下来，填写其他详细信息并提供一些示例数据（按你认为合适的方式匿名化）
4）单击 “Analyze logs” 可将 Elastic 的集成详细信息、示例日志和专家编写的说明提交给指定的 LLM，后者使用生成式 AI 构建集成包。然后，自动导入会在自动反馈循环中对集成进行微调，直到验证其符合 Elastic 要求。
5）查看自动导入对 ECS 字段和自定义字段的建议映射。如有必要，你可以轻松调整这些设置。
6）完成集成后，将其添加到 Elastic Agent 或在 Kibana 中查看。它现在可以与你的其他集成一起使用，并遵循与预构建集成相同的工作流程。
7）部署后，你可以立即开始分析新采集的数据。首先查看 Elastic Observability 中的新日志浏览器
通过自动导入加速日志分析
自动导入将构建和测试自定义数据集成所需的时间从几天缩短到几分钟，从而加速向 AI 驱动的日志分析（AI-driven log analytics）的转换。Elastic Observability 将自动导入的独特功能与 Elastic 的预构建数据集成深度库相结合，实现更广泛的可见性和快速数据导入，以及基于 AI 的功能，例如 Elastic AI Assistant，以加速 RCA 并降低运营开销。
对我们的快速迁移计划感兴趣以升级到 Elastic？联系 Elastic 了解更多信息。
本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。
在这篇博文中，我们可能使用或引用了第三方生成 AI 工具，这些工具由其各自的所有者拥有和运营。Elastic 无法控制第三方工具，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害承担任何责任。将 AI 工具用于个人、敏感或机密信息时，请务必谨慎。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会得到安全或保密。在使用任何生成式 AI 工具之前，你应该熟悉其隐私惯例和使用条款。
Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。
原文：Accelerate log analytics in Elastic Observability with Automatic Import powered by Search AI — Elastic Observability Labs
