宣布推出 Search AI Lake 和 Elastic Cloud Serverless 以扩展低延迟搜索

作者:来自 Elastic Ken Exner

今天,我们很高兴地宣布 Search AI Lake 和 Elastic Cloud Serverless。 Search AI Lake 是一种针对实时应用程序进行优化的开创性云原生架构,它将扩展的存储容量与低延迟查询以及 Elasticsearch 强大的搜索和 AI 相关功能相结合。 该架构支持全新的 Elastic Cloud Serverless 产品,消除了所有运营开销,因此你可以快速开始并无缝扩展你的工作负载。

下一个搜索时代

十多年来,Elasticsearch 甚至为最复杂的数据提供了快速、可扩展的解决方案。 Elastic 客户之所以成功,是因为搜索旨在从数据中提供实时见解,而无需明确定义的架构或可定义的查询模式。 虽然 No-SQL 数据库或其他解决方案需要更结构良好的数据、模式或查询,但 Elastic 默认情况下可以快速搜索所有数据。 搜索速度推动了从快速威胁检测到运营效率和更高用户参与度的关键成果。 这使得搜索成为数据混乱且不断变化的情况以及用户不知道他们想要查询的确切属性但仍需要实时快速搜索数据中的任何内容的最佳解决方案。

这就是 Elasticsearch 如此广泛用于结构化和非结构化数据实时分析的原因,无论是日志分析、SIEM 还是广泛的搜索 AI 支持的应用程序。 这也是搜索被广泛应用于生成式人工智能体验的原因。 搜索对于大量数据的高效编码、检索和合成至关重要,以便使用大型语言和其他模型生成准确的、适合上下文的响应。 我们认识到,随着人工智能和实时工作负载在生产中扩展,需要一种架构能够在所有数据上提供低延迟查询性能,而不牺牲可扩展性、相关性或经济性。

我们已经看到数据湖(data lakes)的出现和演变,试图通过分离计算和存储来解决数据规模快速增长的问题。 但是,根据设计,这些架构针对存储而非性能进行了优化。 例如,对象存储本质上优先考虑可扩展性而不是速度,从而导致交互式查询出现不可接受的延迟。 这使得数据湖实际上无法用于需要低延迟查询和访问所有数据的实时应用程序,无论其大小和复杂性如何。

低延迟人工智能驱动的未来需要新的湖架构 (lake architecture)。

不妥协:Search AI Lake,一种用于实时、低延迟应用程序的新架构

今天,我们很高兴推出首个此类搜索 AI Lake。 它是一种云原生架构,针对实时、低延迟应用程序进行了优化,包括搜索、检索增强生成 (RAG)、可观察性和安全性。 它汇集了数据湖的扩展存储容量和 Elasticsearch 的低延迟查询、强大的搜索和 AI 相关功能。 此功能目前在技术预览版中可用。

Search AI Lake 创造了新的机会,可以以高效的存储成本快速交互式地按需搜索几乎无限量的数据。 对于搜索应用程序,这使得 RAG 可以经济高效地无缝利用大型数据集。 对于安全性而言,这意味着可以通过轻松访问大量安全数据来进行调查和威胁搜寻,从而提供更好的威胁保护。 安全团队可以通过立即、无限制地访问以前孤立的数据来增强异常检测,从而显着提升安全态势。 SRE 获得了更深入的解决方案洞察力 - 搜索有关应用程序性能的逐年数据,无需再水化(rehydrate,意即从 snapshot 里读取并挂载),并访问高分辨率数据集以进行预测分析、趋势分析和主动检测。 Search AI Lake 提供了许多独特的优势:

  1. 无限规模、解耦计算和存储:存储和计算完全解耦,可使用本机云存储轻松实现可扩展性和可靠性,而我们的动态缓存支持高吞吐量、频繁更新和大数据量的交互式查询。 利用云原生对象存储可提供高数据持久性,同时平衡任何规模的存储成本。 这消除了跨多个服务器复制索引操作的需要,从而降低了索引成本并减少了数据重复。
  2. 实时、低延迟:即使数据安全地保存在对象存储上,多项增强功能也能保持出色的查询性能。 这包括引入段级查询并行化,通过实现更快的数据检索并允许更快地处理更多请求来减少延迟。 通过更高效的缓存和优化 Lucene 索引格式的使用来实现更好的重用。
  3. 独立扩展索引和查询:通过在低级别分离索引和搜索,平台可以独立、自动扩展,以满足广泛的工作负载需求。
  4. GAI 优化原生推理和想量搜索:使用 RAG 和专有数据为你的业务定制生成式 AI 体验。 利用强大的 AI 相关性、检索和重新排名功能的原生套件,包括完全集成到 Lucene 中的原生向量数据库、开放推理 API、语义搜索以及与一系列搜索功能无缝协作的第一方和第三方转换器模型。
  5. 强大的查询和分析:内置了 Elasticsearch 强大的查询语言 ES|QL,可通过快速并发处理来转换、丰富和简化调查,无论数据源和结构如何。 还包括对准确高效的全文搜索和时间序列分析的全面支持,以识别地理空间分析中的模式。 数据索引利用 “schema on write - 写入模式” 来实现规模和速度,以及“schema on read - 读取模式”,从而提供灵活性和更快的价值实现时间。
  6. 原生机器学习:直接在所有数据上构建、部署和优化机器学习,以实现卓越的预测。 对于安全分析师来说,这意味着预先构建的威胁检测规则甚至可以轻松地跨多年前的历史信息运行。 同样,运行无监督模型,对比其他 SIEM 平台跨度更长的时间段的数据进行近乎实时的异常检测。
  7. 真正的分布式:跨区域、云或混合:从一个界面查询生成数据的区域或数据中心中的数据。 跨集群搜索 (CCS) 避免了集中或同步的要求。 这意味着在摄取后的几秒钟内,任何数据格式都会被标准化、索引和优化,以实现极快的查询和分析。 同时降低数据传输和存储成本。 完整的 CCS 将在不久的将来在 Search AI Lake 上提供。

Elastic Cloud Serverless 简介 — 立即启动并扩展

Elastic Cloud Serverless 基于 Search AI Lake 构建,提供无忧管理、快速入门和优化的产品体验,所有这些都是为了利用 Search AI Lake 令人印象深刻的速度和规模而量身定制的。 在技​​术预览版中,无服务器(serverless)项目得到了完全简化,以消除运营开销并自动处理扩展和管理。 从监控和备份到配置和规模调整,所有操作均由 Elastic 管理。 你无需考虑底层集群、节点、版本或扩展 — 只需携带你自己的数据并开始使用 Elastic 的任何解决方案。

无服务器补充了现有的云部署,提供了选择:使用无服务器实现更大的简单性,或使用现有的 Elastic Cloud 托管进行更大的控制。 目前,无服务器项目默认使用 AWS (us-east-1),并在不久的将来支持更多云提供商和区域。 无服务器项目目前提供技术预览版。

无服务器项目采用新的特定于解决方案的定价模型。 简化的定价使你可以轻松了解和预测搜索、可观察性或安全性的支出。 积分在各个部署选项中是统一的,因此可以灵活地支付和使用 Elastic Cloud Hosted 或 Elastic Cloud Serverless 选项。

凭借新的产品体验和底层 Search AI Lake 架构,无服务器项目使入门变得更加容易。

  • 即时配置:快速启动一个新的完全配置的无服务器项目。
  • 基于项目:使用新的工作流程轻松创建针对每个用例的独特需求(从向量搜索和 APM 到端点安全等)进行优化的项目。
  • 引导式入门:通过专门的步骤跳过学习曲线,指导你使用产品内资源和工具更快地获得结果。
  • 无忧运营:将你的团队从运营责任中解放出来 - 无需管理后端基础设施、进行容量规划、升级或扩展数据。
  • 无限扩展:无服务器允许你的工作负载通过自动响应和适应需求变化、最大限度地减少延迟并确保最快的响应时间来无缝扩展。

从头开始简化:简化的产品体验、套餐和定价

无服务器提供简化的产品体验以及搜索、可观察性和安全性的引导式入门,加快获得结果的时间并针对每个用例进行优化。 新的简化定价和套餐让你可以轻松管理支出并充分利用 Elastic 的所有优势。 这包括 ElasticsearchElastic ObservabilityElastic Security 的各种新定价和包装。

Elasticsearch Serverless 使开发人员能够快速提供有影响力的 AI 搜索体验,而无需担心速度或规模。 快速启动用于一般搜索或向量搜索和时间序列的硬件优化项目即将推出。 通过简化的开发人员体验快速构建搜索应用程序,提供广泛的内联文档和代码示例来指导搜索项目。 管理更少,开发更多,无需配置或管理集群、分片、版本或扩展。 通过访问 Elastic 的最新 AI 功能(例如向量搜索、Elastic Learned Sparse EncodeR (ELSER)、语义搜索、机器学习 (ML) 以及 AI 模型集成和管理),加速生成式 AI 体验的开发。

通过 Search AI Lake 进行控制,以经济高效地平衡搜索性能和存储。 计算和存储以及索引和查询的分离使得可以快速可靠地独立扩展任何工作负载,而不会影响性能。 即使使用大量索引时间功能来获得更好的相关性也不会影响搜索性能。

定价和打包:Elasticsearch Serverless 引入了单一产品层,提供对所有搜索功能和构建块的访问,以编程方式开发搜索应用程序。 定价得到简化,并根据用于摄取、搜索和机器学习以及数据保留和数据输出(数据传出)的计算资源进行计量。 有关更多详细信息,请参阅 Elasticsearch Serverless 定价页面。

Elastic Observability Serverless 可提供无忧体验,具有全堆栈可观察性的所有优势,而无需管理堆栈或扩展动态工作负载的开销。 简化的工作流程和引导式入门最大限度地缩短了洞察时间,并使其可以轻松地在信号之间进行转换,而不会丢失关键的上下文。 此外,凭借超过 350 多个集成、托管接收服务和 OpenTelemetry 优先方法,将可观测性数据导入 Elastic 变得无比简单。

Search AI Lake 通过极快的查询和机器学习作业实现比以往更快的分析,即使对于 PB 级的数据,也可以在几分钟内提供见解。 凭借前所未有的速度和规模,你现在可以分析所有数据、业务和运营,主动检测问题、加速问题解决并交付业务成果。

定价和打包:Elastic Observability Serverless 引入了单一产品层,可提供对所有 Observability 功能的访问。 定价很简单:你为摄入和保留的内容付费。 其他选项包括按测试运行定价的综合监控浏览器测试和按每个区域的每个测试定价的轻量级测试。 有关更多详细信息,请参阅 Elastic Observability Serverless 定价页面。

Elastic Security Serverless 为安全分析师的安全分析和 SIEM 用例提供了新的云部署选项。 这种全新且完全托管的云产品提供了可快速投入使用的精心策划的安全解决方案。 使用此 Elastic Security 部署可以消除管理云和 SIEM 基础设施的开销,并允许安全团队专注于保护、调查和响应组织内的威胁。

安全分析师可以利用 Search AI Lake 无缝分析所有与安全相关的数据,包括几个月甚至几年前的历史数据,以便在几分钟内提供见解。 Search AI Lake 支持威胁搜寻、自动检测和 AI 驱动的安全分析功能,包括攻击发现和 AI 助手。

定价和打包:Elastic Security Serverless 提供两层精心挑选的功能,以实现常见的安全操作。

  • Security Analytics Essentials 包括在大多数组织中运行传统 SIEM 所需的一切。
  • Security Analytics Complete 添加了许多组织在现代化或替换旧 SIEM 时所需的高级安全分析和 AI 驱动功能。
  • 可选附加组件:端点和云保护是可选的。 选择一个或两个选项可提供所有 Elastic Security Serverless 项目所包含的安全分析/SIEM 功能之外的额外保护功能。

Elastic Security 的无服务器定价很简单:你为摄取和保留的数据付费。 有关更多详细信息,请参阅 Elastic Security Serverless 定价页面。

探索搜索和人工智能的所有力量

低延迟应用程序的未来已经到来,且不会影响速度、规模或支出。 Elastic 邀请安全分析师、SRE 和开发人员体验无服务器和 Search AI Lake,以利用你的数据解锁新机会。 详细了解无服务器的可能性,或立即在技术预览版中开始免费试用。

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。 当前不可用的任何特性或功能可能无法按时交付或根本无法交付。

在这篇博文中,我们可能使用或引用了第三方生成人工智能工具,这些工具由其各自所有者拥有和运营。 Elastic 对第三方工具没有任何控制权,我们对其内容、操作或使用不承担任何责任,也不对你使用此类工具可能产生的任何损失或损害负责。 在使用人工智能工具处理个人、敏感或机密信息时请务必谨慎。 你提交的任何数据都可能用于人工智能培训或其他目的。 无法保证你提供的信息将得到安全或保密。 在使用之前,你应该熟悉任何生成式人工智能工具的隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 的商标、徽标或注册商标。 在美国和其他国家。 所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文:Announcing Search AI Lake and Elastic Cloud Serverless to scale low latency search | Elastic Blog

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/13278.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

视频监控平台智能边缘分析一体机视频存储平台打手机检测算法

智能边缘分析一体机的打手机检测算法是一种集成了先进图像处理、计算机视觉和人工智能技术的解决方案,专门用于实时监测和识别监控场景中的打手机行为。 在提到“打手机检测算法”时,可能是指一种能够识别和检测使用手机行为的算法。这种算法可以应用于多…

力扣HOT100 - 300. 最长递增子序列

解题思路&#xff1a; 动态规划 class Solution {public int lengthOfLIS(int[] nums) {if (nums.length 0) return 0;int[] dp new int[nums.length];int max 0;Arrays.fill(dp, 1);for (int i 0; i < nums.length; i) {for (int j 0; j < i; j) {if (nums[j] <…

文字生成数字员工!实在AI Agent化身“六边形战士”落地千行百业

2023年8月&#xff0c;实在智能在全行业首发“一句话生成数字员工”的实在AI Agent智能体产品&#xff0c;即实在Agent智能体&#xff0c;也是TARS-RPA Agent智能体数字员工&#xff0c;其同时具备LLM大模型的对话式交互能力和RPA的流程自动化能力&#xff0c;有“大脑”&#…

C# .Net8 switch 的用法

在 .net 8中&#xff0c;switch 不需要再和传统的写法一样了&#xff0c;会更加的方便 创建一个 .net 8 控制台项目 switch 的写法没必要和以前一样 namespace SwitchTest {internal class Program{static void Main(string[] args){int day 3;var week day switch{1 > &…

Go语言不再难!跟随ChatGPT轻松攻克编程难关

开发人员&#xff08;包括我在内&#xff09;通常偏好边学习边实践的方式。这不仅仅是我与LLM协作的核心准则之一&#xff0c;也是最关键的准则&#xff1a;因为你是在任务导向的学习过程中积累知识&#xff0c;这种学习方式不是预先的——它基于实时的、可感知的情境。 当资深…

安防监控视频平台EasyNVR级联视频上云系统EasyNVS出现“Login error”报错

EasyNVR安防视频云平台是旭帆科技TSINGSEE青犀旗下支持RTSP/Onvif协议接入的安防监控流媒体视频云平台。平台具备视频实时监控直播、云端录像、云存储、录像检索与回看、告警等视频能力&#xff0c;能对接入的视频流进行处理与多端分发&#xff0c;包括RTSP、RTMP、HTTP-FLV、W…

##21 深入理解文本处理:使用PyTorch进行NLP基础操作

文章目录 前言简介文本预处理实现分词构建词汇表 文本向量化构建简单的文本分类模型结论 前言 在现代深度学习应用中&#xff0c;文本处理是不可或缺的一部分&#xff0c;尤其在自然语言处理&#xff08;NLP&#xff09;领域。借助强大的框架如PyTorch&#xff0c;我们可以更加…

KIOXIA CD8P-R 1.92TB SSD KCD81PUG1T92数据中心读密集型

KIOXIA全新推出的CD8P-R系列数据中心级读密集型SSD - KCD81PUG1T92型号。这款SSD不仅在性能和可靠性方面表现出色,还能为您的数据中心应用带来前所未有的体验。 首先,让我们一起来看看KCD81PUG1T92的关键亮点: 超高性能: KCD81PUG1T92采用PCIe 5.0和NVMe 2.0规范,最高可提供…

JSpdf,前端下载大量表格数据pdf文件,不创建dom

数据量太大使用dom》canvas》image》pdf.addimage方法弊端是canvas超出 浏览器承受像素会图片损害&#xff0c;只能将其切割转成小块的canvas,每一次调用html2canvas等待时间都很长累积时间更长&#xff0c;虽然最终可以做到抽取最小dom节点转canvas拼接数据&#xff0c;但是死…

Linux基础之进程的优先级

目录 一、进程优先级的概念 二、进程优先级的查看 三、怎么修改进程优先级 四、进程饥饿 一、进程优先级的概念 cpu资源分配的先后顺序&#xff0c;就是指进程的优先权&#xff08;priority&#xff09;。优先权高的进程有优先执行权利。配置进程优先权对多任务环境的linu…

特征衍生-多变量交叉组合特征衍生

https://www.bilibili.com/video/BV1Kg411n7jv?p21&vd_source08e23da22e328e8950aeb24d2001d586

.NET 4.8和.NET 8.0的区别和联系、以及查看本地计算机的.NET版本

文章目录 .NET 4.8和.NET 8.0的区别查看本地计算机的.NET版本 .NET 4.8和.NET 8.0的区别 .NET 8.0 和 .NET 4.8 之间的区别主要体现在它们的发展背景、目标平台、架构设计和功能特性上。下面是它们之间的一些主要区别&#xff1a; 发展背景&#xff1a; .NET 4.8 是.NET Fram…

美港通正规炒股市场沪指收跌0.82% 证券板块调整

5月15日电 15日,A股三大指数集体下挫。上证指数跌0.82%,报3119.9点;深证成指跌0.88%,报9583.54点;创业板指跌0.9%,报1838.89点。沪深京三市成交额7651亿元,其中沪深两市7611亿元,较上日缩量635亿元。沪深两市超3800只个股下跌。 美港通证券以其专业的服务和较低的管理费用在市…

数字集成电路物理设计[陈春章]——知识总结与精炼02

第二章 物理设计建库与验证 2.1 集成电路工艺与版图 自行了解&#xff0c;关于闩锁效应可查阅小编之前的文章。 2.2 设计规则检查&#xff08;DRC&#xff09; 定义&#xff1a;晶圆代工厂对各自不同工艺参数制定出满足芯片制造良率的同一工艺层及不同工艺层之间几何尺寸的…

ROS学习笔记(15)小车巡墙驾驶

0.前提 前一章我讲解了拉氏变换和PID&#xff0c;这一章我来讲解一下小车巡墙驾驶的理论和部分代码。 1.前情回顾 1.拉氏变换 拉普拉斯变换是要将时域问题转换成频域问题来处理。 2.PID控制器 转向角&#xff1a; 误差牺牲&#xff1a; 3.具体参看上一篇文章 2.巡墙驾驶…

【半监督学习】半监督学习中的时间集合

在本文中&#xff0c;我们提出了一种在半监督环境下训练深度神经网络的简单而高效的方法&#xff0c;在这种环境下&#xff0c;只有一小部分训练数据是有标签的。我们引入了self-ensembling技术&#xff0c;即利用网络在不同历时&#xff0c;最重要的是在不同正则化和输入增强条…

充电桩战火重燃,特来电、星星充电上演“龙虎斗”

配图来自Canva可画 小米Su7真的太火了&#xff0c;上市40天锁单量超过10万供不应求&#xff0c;给新能源汽车行业带来了新的活力&#xff0c;也促进了充电桩行业的发展。 据中国汽车工业协会数据&#xff0c;4月份新能源汽车产销分别完成87万辆和85万辆&#xff0c;同比分别增…

地表最强ChatGPT爆了!我来告诉你,它都有什么用

OpenAI刚刚发布了全新的 "GPT-4o"&#xff0c;它不仅可以通过语音、视觉和文本进行推理&#xff0c;还在速度和价格上有了巨大的突破。它的速度提高了2倍&#xff0c;价格却降低了50%&#xff0c;而且生成速率比GPT-4 Turbo高出5倍。最令人惊喜的是&#xff0c;它将对…

【prometheus】prometheus基于consul服务发现实现监控

目录 一、consul服务发现简介 1.1 consul简介 二、prometheus配置 2.1 node-exporter服务注册到consul 2.2 修改prometheus配置文件 【Prometheus】概念和工作原理介绍_prometheus工作原理-CSDN博客 【Prometheus】k8s集群部署node-exporter 【prometheus】k8s集群部署p…

C语言之旅:动态内存管理

目录 一.为什么要有动态内存分配 二.malloc和free 2.1 malloc 2.2 free 2. 3malloc和free的使用 三. calloc 四. raelloc 4.1 代码示例&#xff1a; 4.2 注意事项&#xff1a; 4.3 对动态开辟空间的越界访问 4.4 对非动态开辟内存使⽤free释放 4.5 使用free释放⼀块…