LLMs之Llama-3:Llama-3.3的简介、安装和使用方法、案例应用之详细攻略

LLMs之Llama-3:Llama-3.3的简介、安装和使用方法、案例应用之详细攻略

目录

相关文章

LLMs之LLaMA:LLaMA的简介、安装和使用方法、案例应用之详细攻略

LLMs之LLaMA-2:LLaMA 2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略

LLMs之Llama-3:Llama 3的简介、安装和使用方法、案例应用之详细攻略

LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理

LLMs之Llama-3.1:Llama 3.1的简介、安装和使用方法、案例应用之详细攻略

MLM之Llama-3:Llama 3.2的简介、安装和使用方法、案例应用之详细攻略

LLMs之Llama-3:Llama-3.3的简介、安装和使用方法、案例应用之详细攻略

Llama-3.3的简介

1、Meta Llama 3.3 的模型信息

2、特点

3、基准测试

4、伦理考量和局限性

Llama-3.3的安装和使用方法

1、安装

2、使用方法

使用llama

工具使用 (Tool use with transformers)

使用bitsandbytes

3、责任与安全

Llama 3.3的案例应用


相关文章

LLMs之LLaMA:LLaMA的简介、安装和使用方法、案例应用之详细攻略

LLMs之LLaMA:LLaMA的简介、安装和使用方法、案例应用之详细攻略_chinese_calendar每年手动更新-CSDN博客

LLMs之LLaMA-2:LLaMA 2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略

LLMs之LLaMA-2:LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略_llama2-CSDN博客

LLMs之Llama-3:Llama 3的简介、安装和使用方法、案例应用之详细攻略

LLMs之Llama 3:Llama 3的简介、安装和使用方法、案例应用之详细攻略-CSDN博客

LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理

https://yunyaniu.blog.csdn.net/article/details/139078566

LLMs之Llama-3.1:Llama 3.1的简介、安装和使用方法、案例应用之详细攻略

LLMs之Llama 3.1:Llama 3.1的简介、安装和使用方法、案例应用之详细攻略-CSDN博客

MLM之Llama-3:Llama 3.2的简介、安装和使用方法、案例应用之详细攻略

MLM之Llama-3:Llama 3.2的简介、安装和使用方法、案例应用之详细攻略_llama 3.2安装教程-CSDN博客

LLMs之Llama-3:Llama-3.3的简介、安装和使用方法、案例应用之详细攻略

LLMs之Llama-3:Llama-3.3的简介、安装和使用方法、案例应用之详细攻略-CSDN博客

Llama-3.3的简介

2024年12月6日,Meta发布,Llama 3.3是一个70B参数的多语言大型语言模型(LLM),经过预训练和指令微调,支持多种语言的文本输入和输出,在常见行业基准测试中优于许多开源和闭源聊天模型。经过精心设计,在多个基准测试中表现出色,并具有明确的许可协议和反馈机制。

Meta Llama 3.3是一个强大的多语言大型语言模型,在多个基准测试中表现出色。它具有广泛的应用前景,但同时也存在一些伦理和安全方面的挑战。Meta 采取了多项措施来确保模型的安全性和负责任的使用,包括采用三管齐下的安全策略、进行全面的红队测试、提供多种工具和资源,以及积极参与开源社区。开发人员在使用Llama 3.3时,需要遵守许可协议,注意其使用范围和局限性,并进行必要的安全测试和微调,以确保其应用的安全性和可靠性。 模型的开放性、包容性和有用性是其核心价值观,但同时也需要持续关注和改进,以最大限度地减少潜在风险。

总而言之,Llama 3.3 70B 模型是一个高性能、低成本、多语言、注重安全性的生成式 AI 模型,在教育、软件开发和企业应用等多个领域具有广泛的应用前景。

HuggingFace;https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct

官网:https://www.llama.com/docs/overview/

GitHub:llama-models/models/llama3_3/MODEL_CARD.md at main · meta-llama/llama-models · GitHub

1、Meta Llama 3.3 的模型信息

>> 模型架构:基于优化的Transformer架构的自回归语言模型,微调版本使用监督微调(SFT)和基于人类反馈的强化学习(RLHF)来对齐人类对有用性和安全性的偏好。

>> 训练数据:使用了公开可用的在线数据混合集,包含超过15万亿个token。截止日期为2023年12月。支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。模型使用了分组查询注意力(GQA)以提高推理的可扩展性。

>> 模型发布日期:70B指令微调版本:2024年12月6日。这是一个基于离线数据集训练的静态模型,未来版本将随着社区反馈改进模型安全性而发布。

>> 许可证:采用自定义商业许可证——Llama 3.3社区许可协议 (https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE)。

2、特点

Llama 3.3适用于多种语言的商业和研究用途。指令微调的纯文本模型适用于类似助手的聊天,而预训练模型可以适应各种自然语言生成任务。Llama 3.3模型还支持利用其模型的输出改进其他模型,包括合成数据生成和蒸馏。Llama 3.3社区许可证允许这些用例。

>> 微调数据:采用多方面的方法收集数据,结合来自供应商的人工生成数据和合成数据,以减轻潜在的安全风险。

>> 强大的性能,成本更低:Llama 3.3 70B 模型的性能与 Meta Llama 405B 模型相似,但成本更低,使高质量的生成式 AI 能够惠及更广泛的受众。

>> 改进的输出:能够生成逐步推理和准确的 JSON 响应,以满足结构化数据需求。

>> 扩展的语言支持:支持八种主要语言,包括英语、法语、印地语和泰语等,具有多语言能力。

>> 增强的编码能力:涵盖更多编程语言,改进错误处理,并提供详细的代码反馈。

>> 任务感知工具使用:更智能的工具调用,尊重预定义参数并避免不必要的调用。

>> 新功能:本版本引入了新功能,包括更长的上下文窗口多语言输入和输出以及开发人员与第三方工具的集成。

>> 评估:对Llama模型进行了常见用例和特定功能的评估。常见用例评估衡量了大多数常用应用程序(包括聊天机器人、编码助手、工具调用)系统的安全风险。

>> 红队测试:进行了反复的红队测试,目的是通过对抗性提示发现风险,并利用这些经验来改进基准测试和安全微调数据集。

>> 注重责任:Meta 的安全协议确保模型不仅强大,而且符合道德 AI 标准。内置安全防护措施,例如 Llama Guard 3 和 Prompt Guard,可防止滥用。

>> 开源合作:Meta积极参与开放联盟,包括AI联盟、人工智能合作组织和MLCommons,积极为安全标准化和透明度做出贡献。

>> 社区资源:提供了一套资源,包括输出报告机制和漏洞赏金计划,以在社区的帮助下不断改进Llama技术。

>> 其他语言支持:Llama 3.3已在比8种支持语言更广泛的语言集合上进行了预训练。开发者可以对Llama 3.3模型进行微调以支持这8种语言之外的语言,前提是他们遵守Llama 3.3社区许可证和《可接受使用政策》,在这种情况下,开发者有责任确保在其他语言中使用Llama 3.3的方式安全可靠。

3、基准测试

指令微调模型:列出了Llama 3.3与之前模型在多个基准测试上的结果比较,包括MMLU、Steerability、Reasoning、Code、Math和Multilingual等方面。

4、伦理考量和局限性

>> 核心价值观:Llama 3.3的核心价值观是开放性、包容性和有用性。

>> 潜在风险:Llama 3.3是一项新技术,与任何新技术一样,其使用也存在风险。迄今为止进行的测试并未涵盖所有场景,模型在某些情况下可能会产生不准确、有偏差或其他令人反感的回应。

>> 开发人员责任:在部署任何Llama 3.3模型应用程序之前,开发人员应进行针对其特定模型应用程序的安全测试和微调。

Llama-3.3的安装和使用方法

1、安装

>> 使用Transformers:提供了使用Transformers库 (版本>=4.45.0) 进行对话式推理的代码示例,包括使用pipeline和Auto类以及generate()函数。

>> 训练因素:使用自定义训练库、Meta的定制GPU集群和生产基础设施进行预训练。微调、标注和评估也在生产基础设施上进行。

>> 训练能耗:在H100-80GB(TDP为700W)类型的硬件上使用了累计3930万GPU小时的计算量。表格中列出了训练时间、训练功耗、基于位置的温室气体排放量和基于市场的温室气体排放量。

>> 训练数据:预训练数据来自公开来源,约15万亿个token。微调数据包括公开可用的指令数据集以及超过2500万个合成生成的示例。预训练数据的截止日期为2023年12月。

2、使用方法

提供了使用Llama 3.3模型的不同方法,包括使用流行的深度学习库Transformers和bitsandbytes进行高效的推理和内存优化,以及使用原始llama代码库的方法。

使用llama

建议遵循代码库中的说明。提供了使用huggingface-cli下载原始检查点的命令示例。

import transformers
import torchmodel_id = "meta-llama/Llama-3.3-70B-Instruct"pipeline = transformers.pipeline("text-generation",model=model_id,model_kwargs={"torch_dtype": torch.bfloat16},device_map="auto",
)messages = [{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},{"role": "user", "content": "Who are you?"},
]outputs = pipeline(messages,max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

工具使用 (Tool use with transformers)

支持多种工具使用格式,并提供了使用Transformers的聊天模板进行工具调用的示例,包括定义工具、创建聊天和应用聊天模板,以及处理模型生成的工具调用和结果。

# First, define a tool
def get_current_temperature(location: str) -> float:"""Get the current temperature at a location.Args:location: The location to get the temperature for, in the format "City, Country"Returns:The current temperature at the specified location in the specified units, as a float."""return 22.  # A real function should probably actually get the temperature!# Next, create a chat and apply the chat template
messages = [{"role": "system", "content": "You are a bot that responds to weather queries."},{"role": "user", "content": "Hey, what's the temperature in Paris right now?"}
]inputs = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True)

你可以像平常一样从这个输入生成文本。如果模型生成了一个工具调用,你应该像这样将其添加到聊天中:

tool_call = {"name": "get_current_temperature", "arguments": {"location": "Paris, France"}}
messages.append({"role": "assistant", "tool_calls": [{"type": "function", "function": tool_call}]})

然后调用该工具,并将结果附加到其中,就像这样:

messages.append({"role": "tool", "name": "get_current_temperature", "content": "22.0"})

在此之后,您可以再次生成(),让模型在聊天中使用工具的结果。请注意,这只是对工具调用非常简要的介绍——如需了解更多信息,请参阅LLaMA提示格式文档和Transformers工具使用文档。

使用bitsandbytes

可以使用bitsandbytes和Transformers库对模型进行8位和4位量化,以优化内存使用。提供了相应的代码示例。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizermodel_id = "meta-llama/Llama-3.3-70B-Instruct"
quantization_config = BitsAndBytesConfig(load_in_8bit=True)quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype=torch.bfloat16, quantization_config=quantization_config)tokenizer = AutoTokenizer.from_pretrained(model_id)
input_text = "What are we having for dinner?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")output = quantized_model.generate(**input_ids, max_new_tokens=10)print(tokenizer.decode(output[0], skip_special_tokens=True))

3、责任与安全

>> 负责任的发布方法:采用了三管齐下的策略来管理信任和安全风险:使开发人员能够为其目标受众和Llama支持的用例部署有用、安全和灵活的体验;保护开发人员免受试图利用Llama功能造成潜在危害的恶意用户的攻击;为社区提供保护,以帮助防止滥用我们的模型。

>> 负责任的部署:Llama是一个基础技术,设计用于各种用例。Meta的Llama模型的负责任部署示例可以在其社区故事网页上找到。

>> Llama 3.3指令微调:安全微调的主要目标是为研究界提供一个宝贵的资源,用于研究安全微调的稳健性,并为开发人员提供一个随时可用、安全且强大的模型,用于各种应用程序,以减少开发人员部署安全AI系统的工作量。

Llama 3.3的案例应用

持续更新中……

>> 教育领域:为学生和教育工作者提供多语言 AI 助手。

>> 软件开发领域:通过准确的代码辅助来提高生产力。

>> 企业应用:简化客户支持、数据分析和内容生成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/63998.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

burp(2)利用java安装burpsuite

BurpSuite安装 burpsuite 2024.10专业版,已经内置java环境,可以直接使用, 支持Windows linux macOS!!! 内置jre环境,无需安装java即可使用!!! bp2024.10下载…

攻防世界逆向刷题笔记(新手模式6-?)

6.1000clicks 看题目名字似乎是让咱们点击1000次之后才会出flag。本来打算用CE看能不能搜索出来数值,技术不到家,最后没有搜索到,还导致永劫无间打不了了。所以还是拿出IDA老实分析。 直接搜索flag字符,出来一大堆。张紫涵大佬说…

Coding Caprice - dynamic programming10

300. 最长递增子序列 class Solution { public:int lengthOfLIS(vector<int>& nums) {int len nums.size();map<int, int> record;int out(1);for(int &i: nums){int max_len 0;for(auto &[x, y]: record){if(x<i){max_len max(max_len, record…

文本编辑器与正则表达式

1. VIM 编辑器 1.1 VIM 基本概念 VIM 是一个高度可定制的文本编辑器&#xff0c;广泛用于程序员的日常开发中。与传统的文本编辑器不同&#xff0c;VIM 基于模式操作&#xff0c;具有以下几个主要特点&#xff1a; 普通模式&#xff1a;用于浏览和修改文本。插入模式&#x…

lc146LRU缓存——模仿LinkedHashMap

146. LRU 缓存 - 力扣&#xff08;LeetCode&#xff09; 法1&#xff1a; 调用java现有的LinkedHashMap的方法&#xff0c;但不太理解反正都不需要扩容&#xff0c;super(capacity, 1F, true);不行吗&#xff0c;干嘛还弄个装载因子0.75还中途扩容一次浪费时间。 class LRUC…

Tomcat(76)如何在Tomcat中配置集群会话状态同步?

在Tomcat中配置集群会话状态同步是确保应用程序高可用性和冗余的重要步骤。以下是详细的配置步骤和代码示例&#xff0c;以确保在Tomcat集群中实现会话状态同步。 1. 配置Tomcat Cluster 首先&#xff0c;需要修改Tomcat的server.xml文件来配置集群和会话复制。 a. 编辑 ser…

CentOS 上如何查看 SSH 服务使用的端口号?

我们知道&#xff0c;linux操作系统中的SSH默认情况下&#xff0c;端口是使用22&#xff0c;但是有些线上服务器并不是使用的默认端口&#xff0c;那么这个时候&#xff0c;我们应该如何快速知道SSH使用的哪个端口呢&#xff1f; 1、通过配置文件查看 cat /etc/ssh/sshd_confi…

IoTDB Allocate WAL Buffer Fail Because out of memory

问题及现象 时序数据库 IoTDB 集群报错&#xff1a; The write is rejected because the wal directory size has reached the threshold 53687091200 bytes. You may need to adjust the flush policy of the storage storageengine or the IoTConsensus synchronization pa…

定时/延时任务-Kafka时间轮源码分析

文章目录 1. 概要2. TimingWheel2.1 核心参数2.2 添加任务2.3 推进时间 3. TimerTaskList3.1 添加节点3.2 删除节点3.3 刷新链表3.4 队列相关 4. 时间轮链表节点-TimerTaskEntry5. TimerTask6. Timer 和 SystemTimer - 设计降级逻辑7. 上层调用8. 小结 1. 概要 时间轮的文章&a…

厦门凯酷全科技有限公司深耕抖音电商运营

在数字经济飞速发展的今天&#xff0c;抖音电商平台以其独特的社交属性和庞大的用户基础&#xff0c;迅速成为众多品牌和商家的新战场。在这个充满机遇与挑战的市场中&#xff0c;厦门凯酷全科技有限公司凭借其专业的服务、创新的理念和卓越的执行力&#xff0c;成为了抖音电商…

探秘多AI Agent模式:机遇、应用与未来展望(5/30)

摘要&#xff1a;多 AI Agent 模式是一种强大的人工智能架构&#xff0c;它利用多个智能体&#xff08;Agent&#xff09;之间的协作与交互来解决复杂问题、执行多样化任务并模拟复杂系统行为。在这种模式中&#xff0c;每个 Agent 都具备独立的感知、决策和行动能力&#xff0…

java之集合(详细-Map,Set,List)

1集合体系概述 1.1集合的概念 集合是一种容器&#xff0c;用来装数据的&#xff0c;类似于数组&#xff0c;但集合的大小可变&#xff0c;开发中也非常常用。 1.2集合分类 集合分为单列集合和多列集合 Collection代表单列集合&#xff0c;每个元素&#xff08;数据&#xff…

UDS自动化测试-Service 0x27(CAPL调用dll实现key计算)

文章目录 关联文章一、CANoe加载诊断数据库cdd、dll文件二、CAPLdiagGenerateKeyFromSeed关联文章 UDS - 深论Security Access Service 27服务-安全访问状态转换 CDD文件——CANdelaStudio Vector——CAPL语言设计 CANoe诊断测试 相信读者基于Diagnostic/ISO TP Confighratio…

uni-app多环境配置动态修改

前言 这篇文章主要介绍uniapp在Hbuilderx 中&#xff0c;通过工程化&#xff0c;区分不同环境、动态修改小程序appid以及自定义条件编译&#xff0c;解决代码发布和运行时手动切换问题。 背景 当我们使用uniapp开发同一个项目发布不同的环境二级路径不同时&#xff0c;这时候…

继电器控制与C++编程:实现安全开关控制的技术分享

在现代生活中,继电器作为一种重要的电气控制元件,在电气设备的安全控制中起到了至关重要的作用。通过低电流控制高电流,继电器能够有效地隔离控制电路与被控设备,从而保障使用者的安全。本项目将介绍如何通过树莓派Pico与继电器模块结合,使用C++编程实现继电器的控制。 一…

C++ 【衔接篇】

大名鼎鼎的c实际上是由c语言扩展而来的&#xff0c;它最初是由本贾尼在20世纪80年代开发。目的是支持面向对象编程&#xff0c;同时保持c语言高效和可移植等优点。c是c的扩展&#xff0c;在一定程度上解决了c语言在特殊场景下的使用局限。 1、命名空间 在详细说明命名空间之前…

JAVA8、Steam、list运用合集

Steam运用 Java Stream API为开发人员提供了一种函数式和声明式的方式来表达复杂的数据转换和操作,使代码更加简洁和富有表现力。 1、使用原始流以获得更好的性能【示例:求和】 使用 int、long 和 double 等基本类型时,请使用IntStream、LongStream 和 DoubleStream 等基本流…

软考中级-软件设计师通过心路经验分享

执念&#xff0c;第四次终于通过了 没买书&#xff0c;下班后每天2小时&#xff0c;四个2个月终于过了 学习经验&#xff1a; 1.下班后学习真的靠毅力&#xff0c;和上学的时候考证不是一个状态&#xff0c;大家要及时调整&#xff0c;否则过程很痛苦 2.失败三次的经验&#xf…

分布式 Raft算法 总结

前言 相关系列 《分布式 & 目录》《分布式 & Raft算法 & 总结》《分布式 & Raft算法 & 问题》 参考文献 《Raft一致性算法论文译文》《深入剖析共识性算法 Raft》 简介 Raft 木筏是一种基于日志复制实现的分布式容错&一致性算法。在Raft算法…

仿iOS日历、飞书日历、Google日历的日模式

仿iOS日历、飞书日历、Google日历的日模式&#xff0c;24H内事件可自由上下拖动、自由拉伸。 以下是效果图&#xff1a; 具体实现比较简单&#xff0c;代码如下&#xff1a; import android.content.Context; import android.graphics.Canvas; import android.graphics.Color;…