在线教程|零门槛部署 Llama 3,70B 版本只占 1.07G 存储空间,新用户免费体验 8B 版本

4 月 18 日,Meta 宣布开源 Llama 3,这个号称「迄今为止最好的开源大模型」一经发布,立刻引爆科技圈!

图片

发布当天恰逢斯坦福大学教授、AI 顶尖专家吴恩达的生日,作为 AI 开源倡导者,他激动地发文表示:这是我收到过最好的生日礼物,谢谢 Meta。
图片

Meta 首席科学家、图灵奖获得者 Yann LeCun也在自己的账号上硬核推荐了自己的最新开源模型——支持 8k 长文本,在 24k GPU 集群上使用超过 15T tokens 进行训练,在多项评测基准中表现优异, 部分任务中,Llama 3-8B 的表现优于 Llama 2-70B。更多版本将在数月后发布。
据其官网显示,Llama 3 采用了包括监督微调 (SFT)、近端策略优化 (PPO) 和直接策略优化 (DPO) 在内的先进指令调优技术,与 Llama 2 相比有质的飞跃。在安全性上,采用 Llama Guard 2、Code Shield、CyberSec Eval 2 的新版信任和安全工具,比 Llama 2 有更好的「错误拒绝表现」。
值得一提的是,Llama 3 发布时,Meta 还在官方博客上表示,其正在训练一款超过 400B 参数的新版本模型。英伟达高级科学家 Jim Fan 认为,未来可能推出的 Llama 3-400B 标志着开源社区或能用上 GPT-4 级别模型,这会改变许多研究工作和基层初创公司的计算方式。
图片

为了评估 Llama 3 在真实世界场景中的性能, Meta 特意开发了一个全新的高质量人类评估数据集,覆盖的实际用例包括但不限于:征求建议、集体讨论、分类、封闭式问答、编程、创意写作、信息抽取、角色扮演、开放式问答、逻辑推理、文本重写以及总结等。
结果表明,在与 Claude Sonnet、Mistral Medium 和 GPT-3.5 的比较中,Meta Llama 70B 占据优势地位。
图片

性能超越  GPT-3.5、直逼 GPT-4,相信大家现在都迫不及待地想要上手体验 Llama 3 了。为了帮助大家减少漫长的下载等待时间,节省计算资源,降低模型部署难度,HyperAI超神经在教程页面上线了「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」和「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程。

Ollama 和 Open WebUI 分别提供了强大的后端模型管理和前端界面交互功能,结合使用这两个工具,可以轻松完成大模型的部署和管理。
Llama3-70B 只占用 1.07GB 的存储空间, 一键克隆即可启动!
HyperAI超神经教程地址:

8B:https://hyper.ai/tutorials/31129

70B:https://hyper.ai/tutorials/31155

小编已经根据教程部署了 Llama 3 模型,帮大家浅试了一下实际效果。
小编故意引导了一下 Llama 3,结果它没被骗到。但是同样的问题却骗过了 GPT-3.5!看它一本正经地回答问题,小编忍不住快要相信了。
图片

图片

  • 五一快要来了,假期去哪里玩,这么多地方选哪个呢?

图片

  • 数学问题它也能解决哦,再也不用头疼给家里的小朋友辅导功课了!
    图片

  • 还可以翻译,解决我大麻烦了!
    图片

  • 睡前小故事,又一个技巧 get 到了。
    图片

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,选择「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」或「用 Ollama 和 Open WebUI 部署 Llama3 70B」。
    接下来小编将以「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程为例介绍。
    图片

  2. 点击「在线运行此教程」,页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
    图片

图片

  1. 点击右下角「下一步:选择算力」。
    图片

  2. 跳转后,选择「NVIDIA RTX A6000 48GB 」、选择镜像「PyTorch」,点击「下一步:审核」。新用户使用下方邀请链接注册,还可获得 4 小时 RTX 4090 + 5 小时CPU的免费算力时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开即可注册):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

注意:如果运行的是「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」教程,选择「NVIDIA GeForce RTX 4090」运行即可。

图片

  1. 点击「继续执行」,等待分配资源,当状态变为「运行中」后,点击「打开工作空间」。
    图片

图片

  1. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下内容,启动 Ollama。
OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

图片

图片

  1. 再新建一个终端页面,然后在命令行里输入以下内容,启动 Open WebUI。
bash /openbayes/input/input1/open-webui/backend/start.sh

图片

  1. 稍等片刻,当命令行出现「INFO:Uvicorn running on http://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可打开 Open WebUI 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
    图片

效果展示

  1. 打开 Open WebUI 界面后,登录账号。账号:admin@example.com密码:adminadmin
    图片

2.选择 Llama 3-70B 模型。
图片

3.输入问题,即可使用啦。图片

目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。
点击链接即可搜索相关教程及数据集:https://hyper.ai/tutorials

以上就是小编本次分享的全部内容了,希望这次的内容对您有所帮助。如果大家还想学习其他好玩的教程,欢迎留言或私信告诉我们项目地址,小编将会为你量身打造课程,教你如何玩转 AI。
参考资料:

1.https://mp.weixin.qq.com/s/bw1-e9Nou7CeR-9iaGNLNA 2.https://mp.weixin.qq.com/s/GoxWufZhemddpvCkOwYAKg 3.https://mp.weixin.qq.com/s/tkMb2RRblCvOpxP7yBTl-w

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/5072.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

亿图图示使用教程

亿图图示是一款强大的图形绘制工具,可以用于创建流程图、思维导图、组织结构图等多种类型的图表。下面是一些基本的使用教程: 下载和安装:首先,你需要在官方网站上下载亿图图示的安装包,然后按照提示进行安装。 新建项…

Tesla P4终于在DL580 Gen9上面跑起来了!

正文共:666 字 11 图,预估阅读时间:1 分钟 跌跌撞撞,从Tesla M4终于走到了Tesla P40,显存从4 GB到8 GB,最后再到24 GB,真是不容易。 回顾一下,Tesla M4是最早开始搞的,经…

CI/CD:基于kubernetes的Gitlab搭建

1. 项目目标 (1)熟悉使用k8s环境搭建Gitlab (2)熟练应用Gitlab基本配置 2. 项目准备 2.1. 规划节点 主机名 主机IP 节点规划 k8s-master 10.0.1.1 kube_master k8s-node1 10.0.1.2 kube_node k8s-node2 10.0.1.3 k…

【AI心理咨询测评】一年后,AI心理咨询的路还有多远?——5例AI模型心理咨询能力测评对比

前言 随着GPT横空出世,AI心理健康的市场开始逐渐被开拓。有人联想到线上以GPT作为基础,开发可线上心理咨询的AI,例如国内的聆心智能。然而,这一想法也遭到了无数人的质疑:“连聊天都尚不能很好完成,去做心…

第⑰讲:Ceph集群各组件的配置参数调整

文章目录 1.Ceph集群各组件的配置文件1.1.Ceph各组件配置方式1.2.ceph临时查看、修改配置参数的方法 2.调整Monitor组件的配置参数删除Pool资源池2.1.临时调整配置参数2.2.永久修改配置参数 1.Ceph集群各组件的配置文件 1.1.Ceph各组件配置方式 Ceph集群中各个组件的默认配置…

【Jenkins】持续集成与交付 (一):深入理解什么是持续集成?

🟣【Jenkins】持续集成与交付 (一):深入理解什么是持续集成? 1、软件开发生命周期与持续集成2、 持续集成的流程3、持续集成的好处4、Jenkins的应用实践5、结语💖The Begin💖点点关注,收藏不迷路💖 1、软件开发生命周期与持续集成 软件开发生命周期(SDLC)是指软…

C语言:项目实践(贪吃蛇)

前言: 相信大家都玩过贪吃蛇这款游戏吧,贪吃蛇是久负盛名的游戏,它也和俄罗斯方块,扫雷等游戏位列经典游戏的行列,那贪吃蛇到底是怎么实现的呢? 今天,我就用C语言带着大家一起来实现一下这款游戏…

微软如何打造数字零售力航母系列科普04 - 微软联合Adobe在微软365应用程序中工作时推出新的生成式AI功能

微软和Adobe正在合作,将情境营销见解和工作流程引入微软Copilot,以提供生成的人工智能功能,使营销人员和营销团队能够在自然的工作流程中实现更多目标。 这些新的集成功能将在生产力和协作工具(如Outlook、Teams和Word&#xff0…

【事业单位专场】联考、省市统考、单独招考

一、考编概述 1、事业单位类别 事业单位是指由国家出资或委托管理的公共机构,其主要职能是为社会提供公共服务。在中国,事业单位覆盖了科研、教育、文化和卫生等多个领域,并且有着不同的类型。以下是一些主要的分类: 教育事业单…

NLP(10)--TFIDF优劣势及其应用Demo

前言 仅记录学习过程,有问题欢迎讨论 TF*IDF: 优势: 可解释性好 可以清晰地看到关键词 即使预测结果出错,也很容易找到原因 计算速度快 分词本身占耗时最多,其余为简单统计计算 对标注数据依赖小 可以使用无标注语…

【状态机dp 状态压缩 分组】1994. 好子集的数目

本文涉及知识点 动态规划汇总 动态规划 状态机dp 状态压缩 分组 LeetCode1994. 好子集的数目 给你一个整数数组 nums 。如果 nums 的一个子集中,所有元素的乘积可以表示为一个或多个 互不相同的质数 的乘积,那么我们称它为 好子集 。 比方说&#xff…

离散数学之命题逻辑思维导图+大纲笔记(预习、期末复习,考研,)

大纲笔记: 命题逻辑的基本概念 命题与联结词 命题 命题是推理的基本单位 真命题,假命题 特征 陈述句 唯一的真值 是非真即假的陈述句 非命题 疑问句 祈使句 可真可假 悖论 模糊性 三个基本概念 复合命题 真值取决于原子命题的值和逻辑联结词 原子命题 逻…

基于SSM的考研助手系统(有报告)。Javaee项目。ssm项目。

演示视频: 基于SSM的考研助手系统(有报告)。Javaee项目。ssm项目。 项目介绍: 采用M(model)V(view)C(controller)三层体系结构,通过Spring Spri…

【Java】图书管理系统 介绍与实现

欢迎浏览高耳机的博客 希望我们彼此都有更好的收获 感谢三连支持! 1.介绍 图书馆作为知识的殿堂和学术的中心,其管理系统不仅是图书馆管理的必备工具,更是为用户提供优质、高效服务的重要保障,促进了知识的传播和学术的发展。随着…

基于FPGA的数字信号处理(6)--如何确定Verilog表达式的符号

前言 尽管signed语法的使用能带来很多便利,但同时也给表达式的符号确定带来了更多的不确定性。比如一个有符号数和一个无符号数的加法/乘法结果是有符号数还是无符号数?一个有符号数和一个无符号数的比较结果是有符号数还是无符号数?等等。接…

力扣刷题Day2

题目链接: 24. 两两交换链表中的节点 - 力扣(LeetCode) 效果: 解题思路: 给定一个链表,两两交换其中相邻的节点,并返回交换后的链表。 注意不可以只是单纯的改变节点内部的值,而…

《QT实用小工具·四十七》可交互的创意动态按钮

1、概述 源码放在文章末尾 该项目实现了可交互的创意动态按钮,包含如下功能: 所有颜色自定义 鼠标悬浮渐变 两种点击效果:鼠标点击渐变 / 水波纹动画(可多层波纹叠加) 额外鼠标移入/移出/按下/弹起的实时/延迟共8种事…

51单片机两个中断及中断嵌套

文章目录 前言一、中断嵌套是什么?二、两个同级别中断2.1 中断运行关系2.2 测试程序 三、两个不同级别中断实现中断嵌套3.1 中断运行关系3.2 测试程序 总结 前言 提示:这里可以添加本文要记录的大概内容: 课程需要: 提示&#x…

德国著名自动化公司Festo设计了一款仿生蜜蜂,仅重34g,支持多只蜜蜂编队飞行!...

德国著名的气动元件研发及自动化解决方案供应商Festo公司近日展示了一款仿生蜜蜂(BionicBee),重量只有34g,却完全可以实现自主飞行,还支持多只相同的蜜蜂机器人编队飞行。 BionicBee 重约 34 克,长 22 厘米…

Redis线程模型及性能优化概述

redis线程模型: 网络模块命令处理 redis的性能: 一个取决于物理内存,另一个是对于socket请求的处理速度。 4.0以前 单线程模式 请求流程:对于一个请求,线程会根据操作产生相应的事件(读,写事…