Elasticsearch:AI 助理 - 从通才到专才

作者:来自 Elastic Thorben Jändling

在 AI 世界中,关于构建针对特定领域定制的大型语言模型(large language models - LLM)的话题备受关注 —— 不论是为了更好的安全性、上下文理解、专业能力,还是更高的准确率。这个想法非常诱人:还有什么比一个专为你量身打造的 AI 更能解决你独特问题的方式呢?

但事情并不那么简单 —— 打造一个优秀的 LLM 不仅极具挑战,而且代价高昂、资源密集。像 OpenAI 和 xAI 这样的组织投入了天文数字的资金、运行着强大的计算资源,并拥有多年积累的专业知识。对大多数人来说,试图复制这样的工作,几乎就像在自家车库里造一辆 F1 赛车 —— 虽然雄心勃勃,但多半以失败告终。就连 DeepSeek 这样的项目,也对资源有极高的要求。

好消息是:你并不需要自己去造轮子。大厂开发的 LLM 的美妙之处在于它们的多功能性。这些模型是 “通才” —— 被设计用来理解人类语言、生成连贯回应,并能够在训练数据之外进行智能推理。它们为智能交互提供了坚实的基础。

那么,如何让这些 “通才” 变身为能解决你特定领域难题的 “专才” 呢?
这正是 RAG(retrieval augmented generation - 检索增强生成) 登场的地方。

RAG:不仅仅是一个缩写词

RAG 并不是要重新发明轮子,它的核心理念是强化现有的能力。通过将强大的通用 LLM 与特定领域的知识库(KB)结合,你就能赋予 AI 本不具备的专业知识。可以把它想象成:你在教一位天赋异禀的语言学家了解你所在行业的细节 —— 无论是像 BSI 安全指南这样复杂的标准,还是组织内部的政策、流程手册等等。与其从零训练一个模型,不如给它提供现成的知识工具,帮助它回答复杂问题、输出与你业务高度契合的见解。

想象一下这样一个场景:你正在翻阅一份长达 850 页、充满技术建议的文档。使用 RAG,你无需逐页阅读或大海捞针,而是可以用自然语言向 AI 提问,它会直接从文档中提取答案 —— 高效且精准。再比如面对内部标准和流程规范,RAG 能让你的 AI 助理提供有上下文理解的智能支持,帮助团队节省时间、减少困扰。

归根结底,RAG 能将通用型 AI 转化为你的专属专家,而无需投入巨资或承受开发复杂度。这是一条更聪明、更务实的道路,适合那些希望让 AI 真正理解自己业务的人。而这,正是 RAG 远不止于一个缩写词的原因所在。

一个真正懂行的 AI 助理

想象一下这样的场景:你正在查阅一份技术文档 —— 比如那份超过 850 页的 BSI(德国联邦信息安全办公室)安全指南。你有一个非常具体的问题,比如 “如何保护运行过时软件的 OT 环境”,但文档的篇幅实在太长,想要手动查找答案简直就是一场持久战。这时,RAG 的优势就体现出来了

有了 RAG 加持的 AI 助理,你可以完全跳过手动查阅的步骤。你只需要用自然语言提问 —— 比如 “BSI 对于保护运行 Windows XP 的系统有什么建议?” —— 助理不仅会给你一个简明扼要的答案,还会引用指南中相关章节作为依据。它就像一位读过整本文档、并且记得每个细节的领域专家

拿 OT 环境中使用遗留软件的场景来说。虽然 Windows XP 在 IT 世界早已被淘汰,但在 OT 领域,它仍然可能是某些昂贵设备运行的核心组成部分,在设备生命周期内无法替换。BSI 指南正是意识到这种现实,才提出了一套用于保护这类系统的安全框架。AI 助理不会一味地否定你的现状,而是能提供有上下文的建议,清晰地拆解出如下建议,比如:

你可以看到,这样的 AI 助理能够将晦涩繁杂的技术内容提炼为可操作的建议,并附带相关章节的引用。这不仅节省了时间,更确保了建议符合最佳实践。如果你还想进一步深入某个点,继续提问就可以了。

真正的强大之处在于它对细节的理解。没错,Windows XP 的确已经过时了,但 Elastic Security AI 助理理解它在特定 OT 环境中仍不可或缺的现实。它不会给你套用模板式的通用建议,而是能提供有针对性的解决方案,直击 OT 场景下的独特挑战。这让 AI 助理不仅是“有帮助”,而是成为应对复杂问题时不可或缺的关键伙伴

RAG 的优势在于它让组织可以充分利用最前沿的 AI 技术,无需从零开发大型模型,而是以一种切实可行的方式,帮助你做出更智能、更加贴合实际的决策。

🎯 想亲自试试吗?

Elastic 的其他博客深入讲解了 RAG 背后的关键技术,比如向量数据库、语义搜索等。如果你想深入研究,非常欢迎阅读这些资源。其中,我的同事 Christine Komander 就写了一篇博客,演示如何通过将 PDF 构建成 Elasticsearch 索引,实现一个具备本地知识的语义搜索型 AI 助理。

不过,为了让你更轻松上手,我整理出了一个简单的脚本,只需三步就能完成所有技术配置:

  1. 配置连接到你的 Elasticsearch 实例

  2. 由脚本自动设置 inferencing、ingest pipeline 和索引

  3. 读取任意数量的 PDF 文档

请查阅该项目的 README.md 文件,了解脚本的具体用法、功能说明,以及它如何处理摘录(excerpt)提取等特性。README 中还提供了如何加载我们前文提到的 BSI 安全指南的示例。

一旦你建好了知识库,肯定会想 “上手玩一玩”。你可以将它配置到 Observability 或 Security 的 AI 助理中。但在这里,我们将以 Kibana 的 Search AI Playground 为例来展示:

1. 在 Kibana 中,打开导航菜单并点击 “Search” 应用下的 Playground。

2. 在右上角配置你的 Model Settings,选择你想使用的 LLM(我使用的是 GPT-4o)

3. 点击右上角的 Data 按钮,选择你通过上面的脚本创建的 KB 索引;如果需要,你可以启用多个索引

4. 现在,你可以在 “Ask a question” 框中提问了

如果你想在 Elastic AI Assistant for Security 中使用一个或多个这样的 KB 索引,那么你需要按照文档中的说明添加 KB 索引。此外,这是我为我的 BSI KB 提供的 “Query Instruction”:

The BSI documents herein are in German, so use German to query them. However, translate all responses back to the user's language. Always include references/citations to the relevant document sections in the response. <example 1>This is a generic example response [§<section>]</example 1><example 2>This is a specific example response [§IND.2.3.4]</example 2>

我们可以在下一部分查看更多的例子。

不仅仅是技术人员:为什么它很重要

虽然使用 AI 和 RAG 的想法似乎是专门为技术爱好者或数据科学家量身定制的,但它的应用远不止于此。这种方法使复杂的法规、技术或操作文档变得易于理解,能够在需要时随时提供,并且将信息提炼到所需的精确内容,包括那些技术背景有限的人员。

如果提供与 AI 助手的对话的完整文本,这篇博客将变得过于冗长。因此,我将总结一些例子,来说明这项技术如何解决复杂的现实场景。如果你有兴趣看到它的实际应用,欢迎在自己的 Elasticsearch 部署中重新创建这些体验。

NIS II:一个实际例子

让我们通过一个与 NIS II 指令相关的例子来探索它是如何工作的:

问题:“As a dairy farmer, describe how NIS II might apply to me and what actions I should be taking. - 作为一个乳制品农场主,NIS II 如何适用于我,我应该采取哪些措施?”

AI 助手审查相关文档并解释乳制品农业部门如何被归类为 NIS II 下的关键部门。它概述了实际步骤,包括实施风险管理措施、报告重大事件以及确保遵守国家监管要求。回答详细而易于理解,显示了即使是非技术用户也能与复杂的法规进行互动。

问题:“ As a dairy farmer, all of this is beyond my capability and understanding. - 作为一个乳制品农场主,这些对我来说超出了我的能力和理解。”

在这种情况下,助手提供了针对不了解网络安全概念的人的可操作建议。它建议从基本的网络卫生开始,寻求专业帮助,并利用行业资源满足合规要求。

问题:“My tractor is computerized and I assume it is connecting to its manufacturer, however I am not allowed nor able to make alterations. - 我的拖拉机是计算机化的,我认为它正在与制造商连接,但我无法也不允许进行任何更改。”

在这里,助手建议与制造商联系,确保安全措施到位,了解拖拉机的连接情况,并确保遵循更新和事件报告流程。它突出了农场主可以在不需要深厚技术知识的情况下采取的措施来解决网络安全问题。

通过这些例子,显而易见的是,AI 助手(借助 RAG)不仅仅是为技术精通的用户设计的 —— 它们旨在使关键信息对每个人都变得可用和可操作,无论其技术背景如何。

重点:更智能的 AI,更愉快的用户

RAG 和 Elasticsearch 的一个显著特点是,它们提供了在许多其他生态系统中作为独立产品存在的功能。在更广泛的市场中,有无数供应商正在开发围绕 LLM 和 AI 构建的专业专家系统。这些系统中的许多甚至可能依赖 Elasticsearch 作为底层技术 —— 但在 Elasticsearch 中,这种功能是内置的,所有用户都可以使用。

对于 Elasticsearch 客户来说,这意味着像 RAG 和 AI 助手这样的功能已经作为企业许可的一部分包含在内。我们不会将你锁定在我们选择的 LLM 中 —— 你可以自由连接任何你选择的 LLM,以使用这些先进的功能,使最前沿的 AI 对更广泛的受众开放,并与你的业务数据相关。

这不仅仅是关于技术;它是关于解决现实世界中的问题。例如,安全分析师面临着越来越多的信息洪流 —— 从冗长的云日志到不断发展的法规框架,如 GDPR、NIS II 和 DORA。想一想,用户需要熟悉的庞大数据量,包括手册、操作手册、法规、指南、标准、技术文档等。现在,通过利用 Elasticsearch 提供的现成功能的 AI 和 RAG,用户可以更有效地处理、分析并采取行动,减少认知负担,改善决策。

AI 的未来不是取代人类 —— 而是赋能人类。借助像 Elastic AI 助手 for Security、利用 RAG 和自定义知识源等解决方案,我们可以创建更智能的系统,帮助用户驾驭复杂性,做出明智的决策,并最终实现更好的成果。

了解更多关于如何通过 Elastic AI 助手实现更快问题解决的信息。

此博客中提到的任何功能或功能的发布和时间安排均由 Elastic 自行决定。任何当前不可用的功能或功能可能无法按时交付,甚至根本无法交付。

在此博客中,我们可能提到或引用了第三方生成的 AI 工具,这些工具由各自的所有者拥有和运营。Elastic 对第三方工具没有控制权,也不对其内容、操作或使用负责,也不对因使用这些工具而可能引起的任何损失或损害承担责任。请在使用带有个人、敏感或机密信息的 AI 工具时谨慎。你提交的任何数据可能会用于 AI 训练或其他目的。我们不能保证你提供的信息将被保持安全或保密。在使用任何生成 AI 工具之前,你应熟悉其隐私实践和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 及相关标志是 Elasticsearch N.V. 在美国和其他国家的商标、标识或注册商标。所有其他公司和产品名称是各自所有者的商标、标识或注册商标。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/75972.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【ARM】MDK烧录提示Error:failed to execute‘ ‘

1、 文档目标 解决在烧录程序的时候&#xff0c;因为选择了错误的烧录方式导致下载失败的情况。 2、 问题场景 在烧录程序的时候出现了提示&#xff1a;“Error&#xff1a;failed to execute ’ ”&#xff08;如图2-1&#xff09;。检测Target->Debug配置发现没有问题&a…

系统分析师(六)-- 计算机网络

概述 TCP/IP 协议族 DNS DHCP 网络规划与设计 逻辑网络设计 物理网络设计 题目 层次化网络设计 网络冗余设计 综合布线系统 IP地址 网络接入技术 其他网络技术应用 物联网

优化运营、降低成本、提高服务质量的智慧物流开源了

智慧物流视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒&#xff0c;省去繁琐重复的适配流程&#xff0c;实现芯片、算法、应用的全流程组合&#xff0c;从而大大减少企业级应用约95%的开发成本可通过边缘计算技术…

从One-Hot到TF-IDF:NLP词向量演进解析与业务实战指南(一)

从One-Hot到TF-IDF&#xff1a;词向量演进之路 开场白&#xff1a; 想象一下&#xff0c;你试图用Excel表格分析《红楼梦》的情感倾向——每个字词都是孤立的单元格&#xff0c;计算机看到的只有冰冷的0和1&#xff0c;而“黛玉葬花”的凄美意境却消失得无影无踪。这就是NLP工…

2. kubernetes操作概览

以下是 Kubernetes 的核心操作概览&#xff0c;涵盖常用命令、资源管理和典型场景的操作流程&#xff1a; 1. 核心操作工具 (1) kubectl 命令行工具 Kubernetes 的所有操作均通过 kubectl 实现&#xff0c;常用命令如下&#xff1a; 操作类型命令示例作用说明查看资源状态ku…

从Ampere到Hopper:GPU架构演进对AI模型训练的颠覆性影响

一、GPU架构演进的底层逻辑 AI大模型训练效率的提升始终与GPU架构的迭代深度绑定。从Ampere到Hopper的演进路径中&#xff0c;英伟达通过‌张量核心升级‌、‌显存架构优化‌、‌计算范式革新‌三大技术路线&#xff0c;将LLM&#xff08;大语言模型&#xff09;训练效率提升至…

p2p的发展

PCDN&#xff08;P2P内容分发网络&#xff09;行业目前处于快速发展阶段&#xff0c;面临机遇与挑战并存的局面。 一、发展机遇 技术融合推动 边缘计算与5G普及&#xff1a;5G的高带宽、低延迟特性与边缘计算技术结合&#xff0c;显著提升PCDN性能&#xff0c;降低延迟&#x…

计算机视觉与深度学习 | 视觉里程计(Visual Odometry, VO)学习思路总结

视觉里程计(Visual Odometry, VO)学习思路总结 视觉里程计(VO)是通过摄像头捕获的图像序列估计相机运动轨迹的技术,广泛应用于机器人、自动驾驶和增强现实等领域。以下是一个系统的学习路径,涵盖基础理论、核心算法、工具及实践建议:一、基础理论与数学准备 核心数学工具…

Ubuntu 24.04 中文输入法安装

搜狗输入法&#xff0c;在Ubuntu 24.04上使用失败&#xff0c;安装教程如下 https://shurufa.sogou.com/linux/guide 出现问题的情况&#xff0c;是这个帖子里描述的&#xff1a; https://forum.ubuntu.org.cn/viewtopic.php?t493893 后面通过google拼音输入法解决了&#x…

阿里云 MSE Nacos 发布全新“安全防护”模块,简化安全配置,提升数据保护

作者&#xff1a;张文浩 阿里云在其微服务引擎&#xff08;MSE&#xff09;注册配置中心 Nacos 上正式推出全新“安全防护”功能模块&#xff0c;旨在帮助企业用户有效管理安全状态和降低开启安全相关功能的学习成本&#xff0c;提升微服务架构的安全性。首期推出的“安全防护…

C#核心(23)StringBuilder

前言 我们先前已经了解了String的一些基本规则和常见的用法,今天就来讲一下和string有所区别的StringBulider。 在 C# 中,StringBuilder 类是一个非常有用的工具,特别是在需要频繁修改字符串时。与 String 类型不同,StringBuilder 类提供了一种动态字符串,可以在不创建新…

活动图与流程图的区别与联系:深入理解两种建模工具

目录 前言1. 活动图概述1.1 活动图的定义1.2 活动图的基本构成要素1.3 活动图的应用场景 2. 流程图概述2.1 流程图的定义2.2 流程图的基本构成要素2.3 流程图的应用场景 3. 活动图与流程图的联系4. 活动图与流程图的区别4.1 所属体系不同4.2 表达能力差异4.3 使用目的与语境4.4…

idea运行springboot项目,运行时不能生成target

1&#xff0c;问题 项目本来运行正常&#xff0c;突然重启项目运行时&#xff0c;提醒主类找不到&#xff0c;发现target未生成 2&#xff0c;解决办法 查看.idea里面的文件&#xff0c;正常是下面这样的 如果有缺失&#xff0c;删除.idea里面的文件&#xff0c;清除idea缓…

【unity游戏开发——Animator动画】Animator动画状态机复用——重写动画控制器 Animator Override Controller

注意&#xff1a;考虑到UGUI的内容比较多&#xff0c;我将UGUI的内容分开&#xff0c;并全部整合放在【unity游戏开发——Animator动画】专栏里&#xff0c;感兴趣的小伙伴可以前往逐一查看学习。 文章目录 一、状态机复用是什么&#xff1f;二、实战专栏推荐完结 一、状态机复…

山东大学软件学院创新项目实训(11)之springboot+vue项目接入deepseekAPI

因为该阶段是前后端搭建阶段&#xff0c;所以没有进大模型的专项训练&#xff0c;所以先用老师给的deepseek接口进行代替 且因为前端设计部分非本人负责且还没有提交到github上&#xff0c;所以目前只能先编写一个简易的界面进行功能的测试 首先进行创建model类 然后创建Cha…

FreeRTOS入门与工程实践-基于STM32F103(二)(互斥量,事件组,任务通知,软件定时器,中断管理,资源管理,调试与优化)

互斥量 一、互斥量&#xff08;Mutex&#xff09;&#xff1a;解决多任务 “抢资源” 的问题 1. 是什么&#xff1f; 互斥量是一种 “任务间互斥访问资源” 的工具&#xff0c;本质是一个 只能被锁定&#xff08;0&#xff09;或释放&#xff08;1&#xff09;的二进制信号量…

软考笔记10——网络与信息安全基础知识

第十章节——网络与信息安全基础知识 网络与信息安全基础知识 第十章节——网络与信息安全基础知识一、网络概述1. 计算机网络概念2. 计算机网络分类3. 网络拓补结构4. ISO/OSI网络体系结构1. ISO/OSI参考模型 二、网络互联硬件1. 网络的设备2. 网络的传输介质 三、网络协议与标…

Tycoon2FA钓鱼工具包发布重大更新,强化反检测能力

钓鱼即服务&#xff08;PhaaS&#xff09;平台升级反检测功能 网络安全公司Sekoia于2023年发现的钓鱼工具包Tycoon2FA近期发布重大更新&#xff0c;显著提升了其反检测能力。该工具包现采用多项高级规避技术&#xff0c;包括通过HTML5 canvas实现的自定义验证码、混淆JavaScri…

【信息系统项目管理师】高分论文:论信息系统项目的整合管理(旅游景区导游管理平台)

更多内容请见: 备考信息系统项目管理师-专栏介绍和目录 文章目录 论文一、制定项目章程二、制订项目管理计划三、指导和管理项目工作四、管理项目知识五、监控项目工作六、实施整体变更控制七、结束项目或阶段论文 在国家《中国旅游“十三五”发展规划信息化专项规划的背景下…

深入理解微信小程序开发:架构、组件化与进阶实战

&#x1f4d8;博文正文&#xff1a; 深入理解微信小程序开发&#xff1a;架构、组件化与进阶实战 微信小程序已成为移动互联网的重要入口。随着业务复杂度提升&#xff0c;仅靠入门知识已无法应对日常开发需求。本文将深入剖析小程序开发架构、组件化模式、状态管理、网络封装…