使用 Elastic 和 LM Studio 的 Herding Llama 3.1

作者:来自 Elastic Charles Davison, Julian Khalifa

最新的 LM Studio 0.3 更新使 Elastic 的安全 AI Assistant 能够更轻松、更快速地与 LM Studio 托管模型一起运行。在这篇博客中,Elastic 和 LM Studio 团队将向你展示如何在几分钟内开始使用。如果你在同一网络上或在你的机器上本地工作,则不再需要设置代理。

关于 Elastic AI Assistant

一年多以前,我们将 Elastic AI Assistant 交到了用户手中,使他们能够利用生成式 AI 更快地解决问题和事件。详细了解 Elastic AI Assistant 的效率提升。

关于 LM Studio

LM Studio 是本地大型语言模型 (LLM) 的浏览器/IDE,专注于使本地 AI 变得有价值且易于访问,同时为开发人员提供构建平台。

用户考虑本地 LLMs 的原因有很多,但其中最主要的是能够在不放弃对你或你公司的数据主权的情况下利用 AI。其他原因包括:

  • 增强数据隐私和安全性
  • 减少威胁检测的延迟
  • 获得运营优势
  • 在现代威胁环境中保护你的组织

LM Studio 提供统一的界面,用于本地发现、下载和运行领先的开源模型,如 Llama 3.1、Phi-3 和 Gemini。使用 LM Studio 本地托管的模型允许 SecOps 团队使用 Elastic AI Assistant 来帮助提供警报分类、事件响应等方面的情境感知指导。所有这些都不需要组织连接到第三方模型托管服务。

如何设置 LM Studio

下载并安装最新版本的 LM Studio。

安装后,导航至 “Discover” 选项卡下载你的第一个模型。在这里,你可以搜索 Hugging Face 的任何 LLM,并查看 LM Studio 精选的热门模型列表。我们将设置 Meta Llama 3.1 8B 模型以供 Elastic AI Assistant 利用。

选择模型后,转到 “Developer” 选项卡。在这里,你将启动一个 Local Server,以便 Elastic AI Assistant 连接到该服务器。这允许本地网络上的应用程序或设备对你运行的任何模型进行 API 调用。请求和响应遵循 OpenAI 的 API 格式。

单击 “Start Server”,然后从下拉菜单中选择 “Llama 3.1 8B”。你需要确保 Port 配置为 1234(它应该自动这样)。最后,打开 “Serve on Local Network”。这将允许网络上的任何设备连接到 LM Studio 并调用你运行的任何模型。

如何设置 Elastic AI Assistant

对于此设置,我们将在 Docker 中运行 Elastic。我们将参考 Elastic Security Labs 的文章 “用于安全研究的 Elastic 容器项目”。GitHub 上也提供了说明。

Elastic Docker 安装

  1. 安装先决条件。
  2. 更改默认密码。
  3. 启动 Elastic 容器。

Elastic 启动并运行后,导航至 Stack Management > Connectors 并创建连接器。更新 URL 值以包含主机的 IP 地址,因为 127.* 地址不会路由。填写 任何内容到 API key

现在,在安全部分,进入其中一个子页面以打开 Elastic AI Assistant。选择右上角的齿轮图标,然后在 “Conversation” 选项卡下关闭流媒体。

瞧!你现在可以使用之前在 LM Studio 中加载的模型来为 Elastic AI Assistant 提供支持并完成伟大的事情!

具有本地模型的 Elastic 规则描述语言示例

提升你的安全运营

本博客概述了如何使用 LM Studio 轻松提升每个安全从业人员的 Elastic AI Assistant 水平,该助手配置了本地托管的 Llama 3.1 模型。这通过分类、调查和响应提供 AI 驱动的指导,从而增强了安全分析师的专业知识,提高了工作效率。

要了解更多信息,请查看我们最近添加到 Elastic Security 文档中的有关如何设置 Elastic 和 LM Studio 的内容。有关更多信息,请参阅:

  • Elastic Search AI Platform for SecOps
  • Elastic Security | AI Assistant 演示
  • Elastic Security SIEM
  • LM Studio 文档
  • LM Studio 0.3.0 更新

本博文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

在这篇博文中,我们可能使用或引用了第三方生成 AI 工具,这些工具由其各自的所有者拥有和运营。 Elastic 无法控制第三方工具,我们对其内容、操作或使用不承担任何责任,也不对你使用此类工具可能产生的任何损失或损害承担任何责任。在使用 AI 工具处理个人、敏感或机密信息时,请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会得到安全或保密。在使用任何生成式 AI 工具之前,你应该熟悉其隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文:Herding Llama 3.1 with Elastic and LM Studio | Elastic Blog

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/53810.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

监控易监测对象及指标之:全面监控MySQL数据库

随着企业信息化建设的不断深入,数据库作为核心数据资产的管理中心,其性能和稳定性直接关系到业务的连续性和企业的运营效率。MySQL作为广泛使用的开源关系型数据库管理系统,其稳定性和性能对于保障业务连续性至关重要。 为了确保MySQL数据库的…

【UE5 C++课程系列笔记】02——创建C++类的三种方式

目录 一、从UE编辑器中创建 引用头文件报错的两种解决方式 (1)方式1 (2)方式2 二、在文件夹中直接创建 三、在Visual Studio中创建 一、从UE编辑器中创建 在UE编辑器中选择“Tools-》New C Class” 这里新建的类的父类选择…

解锁阿尔茨海默病(AD)靶点密码,开启靶向治疗新篇章

前 言: 阿尔茨海默病(AD)是一种严重的神经退行性疾病,多发于高龄人群,主要表现为记忆、思维、分析判断、视空间辨认、情绪等障碍。从实验室到临床应用的过程充满挑战。阿尔茨海默症新型疗法的开发主要聚焦于靶向Aβ、…

【随手笔记】

目录 开源许可声明线程数量限制如何获取手机位数令牌桶算法maven介绍pm指令QUICNAT穿越打洞原理Netty详解websocketWebRTC 开源许可声明 几种开源协议的区别(Apache、MIT、BSD、MPL、GPL、LGPL) 线程数量限制 一个进程最多可以创建多少个线程 ulimit命…

Vue3.0项目实战(三)——大事件管理系统首页 layout 架子与文章分类的实现

目录 1. 首页 layout 架子 [element-plus 菜单] 1.1 基本架子拆解 2. 登录访问拦截 2.1 需求 2.2 vue3 和 vue2 中的 Vue-Router 区别 3. 用户基本信息获取&渲染 4. 退出功能 [element-plus 确认框] 5. 文章分类页面 - [element-plus 表格] 5.1 基本架子 - PageCo…

专业版PyCharm使用plt.show()显示图像时,如何不显示在右侧工具栏中,而是直接弹出来

解决方案 File -> Settings -> Python Plots -> 取消勾选 Show plots in tool window 示例 默认勾选 Show plots in tool window 的显示效果: 取消勾选 Show plots in tool window 的显示效果:

伙房食堂电气安全新挑战:油烟潮湿环境下,如何筑起电气火灾“防火墙”?

近几年,随着我国经济的飞速发展,食堂餐饮也经历了一场变革,越来越多的电器走进了伙房食堂中,实现了电气化,为人们提供了高效便利的饮食服务,但同时也增加了火灾负荷。目前我国非常严重的电气火灾危害&#…

使用 Parallel 类进行多线程编码(下)

2.Parallel.ForEach() 的使用 从 ForEach() 这个名字可以看出该方法是用来遍历泛型集合的,新建一个 ASP.NET Core Web应用的项目,如下: 在 Index.cshtml.cs 文件中增加一个 UserInfo.cs 的类,代码如下: public class U…

组合逻辑电路的分析

目录 组合逻辑电路的分析 分析思路 基本步骤 例题1 例题2 组合逻辑电路的分析 分析思路 基本步骤 例题1 将每个门的输出命名。 写出逻辑函数式。 列真值表。 ABC全一致输出为1。 例题2 观察发现这三个结构是一样的。 逐级写出逻辑函数式: 发现这其实就是异或…

R语言 基础笔记

起因: 今天不知道要写什么。 把之前的笔记复制一下。 代码开头&#xff0c;导入: # 清除系统变量 rm(list ls())# 隐藏警告信息: options(warn -1)# 把当前目录&#xff0c;设置为工作目录。 library(rstudioapi) current_folder_path <- dirname(rstudioapi::getActi…

基于云端的跨平台个人信息管理系统

博主介绍&#xff1a;专注于Java .net php phython 小程序 等诸多技术领域和毕业项目实战、企业信息化系统建设&#xff0c;从业十五余年开发设计教学工作 ☆☆☆ 精彩专栏推荐订阅☆☆☆☆☆不然下次找不到哟 我的博客空间发布了1000毕设题目 方便大家学习使用 感兴趣的可以…

SpringBoot3与SpringBoot2的区别

文章目录 1、JDK环境2、Spring Framework版本3、主要变化和新特性3.1 配置变化3.2 GraalVM3.3 安全性改进3.4 性能优化3.4.1 启动时间3.4.2 内存使用 3.5 改进的依赖管理3.6 全新启动器3.7 Kotlin支持 SpringBoot3与SpringBoot2的区别 1、JDK环境 SpringBoot3最低要求JDK17 S…

前后端时间转换的那些常见问题及处理方法

在现代的Web开发中&#xff0c;前后端分离的架构已经成为主流&#xff0c;尤其是在Spring Boot和Vue.js的组合中。开发者在这种架构下经常遇到的一个问题就是如何处理时间的转换和显示。前端和后端对时间的处理方式不同&#xff0c;可能会导致时间在传递过程中出现问题&#xf…

基于TCP发送北斗消息给船舶设备终端

文章目录 引言I 自定义动态数据交换协议信息交换接口通信格式II Netty实现TCP客户端III Java 原始API实现TCP客户端知识扩展: 基于Netty的定位数据平台通信协议定位方式移动定位设备see also引言 需求:发送北斗消息给船舶设备终端 动态信息交换接口采用TCP自定义协议实现数据…

无线麦克风哪款好用,手机领夹麦克风哪个牌子好,麦克风推荐

随着短视频与直播行业的蓬勃发展&#xff0c;无线领夹麦克风市场迎来了前所未有的繁荣。品牌如罗德、大疆、西圣等麦克风品牌凭借卓越的技术实力与品牌影响力占据了市场的主导地位&#xff0c;其中西圣更是凭借其高性价比和用户口碑&#xff0c;稳居行业口碑品牌前列。但在这光…

Qt 基础按钮布局管理

cpp public: Content(QWidget *parent0); ~Content(); QStackedWidget *stack; QPushButton *AmendBtn; QPushButton *CloseBtn; Baseinfo *baseInfo; Contact *contact; Detail *detail; // 打开 "Content.cpp" 文件&#xff0c;添加如下代码&#xff1a; Content:…

调整兰德系数-评估聚类效果的指标

调整兰德系数&#xff08;Adjusted Rand Index, ARI&#xff09;是一种用于评估聚类结果与真实标签之间相似度的指标。它在传统兰德系数&#xff08;Rand Index, RI&#xff09;的基础上进行了调整&#xff0c;考虑了随机聚类的期望值&#xff0c;因此能够更公平地评估聚类结果…

Chainlit集成Langchain并使用通义千问实现文生图网页应用

前言 本文教程如何使用通义千问的大模型服务平台的接口&#xff0c;实现图片生成的网页应用&#xff0c;主要用到的技术服务有&#xff0c;chainlit 、 langchain、 flux。合利用了大模型的工具选择调用能力。实现聊天对话生成图片的网页应用。 阿里云 大模型服务平台百炼 API…

最新融合多模态的理解和生成的大一统transform架构,show-o模型部署

Show-o是由字节跳动和新加坡国立大学Show Lab共同研发的一个多模态大模型&#xff0c;统一了多模态理解和生成。 Show-o的创新之处在于它将自回归和离散扩散建模相结合&#xff0c;以适应不同和混合模态的输入和输出。 Show-o模型的架构基于预训练的大型语言模型&#xff08;…

web基础之SSRF

1、内网访问 题目提示&#xff1a;访问位于127.0.0.1的flag.php&#xff1b;直接利用ssrf漏洞访问?url127.0.0.1/flag.php 2、伪协议读取文件 &#xff08;1&#xff09;题目提示&#xff1a;尝试去读取一下Web目录下的flag.php吧 &#xff08;2&#xff09;什么是伪协议&a…