SLMs之Phi-3:Phi-3的简介、安装和使用方法、案例应用之详细攻略

SLMs之Phi-3:Phi-3的简介、安装和使用方法、案例应用之详细攻略

导读:2024年4月23日,微软发布Phi-3,这是微软推出的一款新的开源AI模型家族Phi-3
背景痛点:小语言模型(SLM)尽管规模不大,但在语言理解、代码编写和数学计算等方面表现出色。
产品介绍
>> Phi-3家族成员包括Phi-3-mini(待推出的Phi-3-small和Phi-3-medium)。
>> Phi-3-mini是首个支持上万字符上下文窗口的小型模型,性能影响小。
>> Phi-3模型在相同规模或者比它大一倍模型的多个语言评测指标上都表现出色
核心特点
>> 安全首要,按照微软责任AI标准开发。
>> 高效、低延迟,尤其适用于边缘计算。
>> 低成本,面向资源有限且任务简单的场景。
应用场景
>> 边缘和嵌入式设备
>> 延迟敏感场景
>> 成本面临限制的场景
优势
>> 在同规模模型基础上显著提升性能
>> 安全培训与评估丰富
>> 提供不同规模选择,满足多样需求
综上,微软Phi-3 family旨在提供更多选择以满足客户需求,新推出的Phi-3-mini是一个稳定性能的小型语言模型,特别适用于边缘和低延迟场景

目录

Phi-3的简介

1、Phi-3的特点

2、Phi-3的核心技术点

3、模型效果:其中Phi-3-small稍微较强于LLaMA-3-8B,而Phi-3-medium几乎全胜于LLaMA-3-8B

Phi-3的安装和使用方法

1、下载模型

2、模型微调与部署

T1、在Azure AI Studio中利用部署-评估-微调工具链进行部署和评估

T2、在Ollama上进行本地运行,并根据需要进行定制和微调

3、模型体验

T1、HuggingFace平台

T2、Azure平台

Phi-3的案例应用


Phi-3的简介

2024年4月23日,Phi-3是由微软开发的一系列开放AI模型,旨在重新定义小型语言模型(SLMs)的可能性。Phi-3模型以其卓越的性能和高效的成本而著称,超越了同等大小和稍大一号的模型,在各种语言、推理、编码和数学基准测试中表现优异。Phi-3系列包括Phi-3-mini等多个模型,其中Phi-3-mini拥有38亿参数,可在Microsoft Azure AI Studio、Hugging Face和Ollama等平台上使用。

官网地址:https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/

1、Phi-3的特点

>> 支持不同长度的上下文窗口,其中Phi-3-mini是同类模型中首个支持最多128K令牌上下文窗口的模型。

>> 经过指令调整,可以遵循不同类型指令,使模型即开即用。

>> 在Azure AI上利用部署-评估-微调工具链,以及在Ollama上提供本地运行支持。

>> 经过优化,支持跨平台的ONNX Runtime,并可在GPU、CPU甚至移动硬件上运行。

>> 作为NVIDIA NIM微服务提供,具有标准API接口,可在任何地方部署,并针对NVIDIA GPU进行了优化。

2、Phi-3的核心技术点

>> 高质量数据的训练,确保模型的性能和效果。

>> 安全后训练,包括强化学习人类反馈、自动化测试和对数十种危害类别的评估。

>> 符合微软负责任AI标准,遵循责任、透明、公平、可靠和安全、隐私和安全、包容等原则。

3、模型效果:其中Phi-3-small稍微较强于LLaMA-3-8B,而Phi-3-medium几乎全胜于LLaMA-3-8B

Phi-3模型在关键基准测试中显著优于同大小和更大尺寸的语言模型(见下方的基准测试数字,数字越高越好)。Phi-3-mini的表现优于其两倍大小的模型,而Phi-3-small和Phi-3-medium则超过了包括GPT-3.5T在内的更大模型

所有报告的数字都是使用相同的流程产生的,以确保这些数字具有可比性。因此,由于评估方法上的微小差异,这些数字可能与其他已发布的数字不同。我们在技术论文中提供了更多关于基准测试的细节。

注意:Phi-3模型在事实知识基准测试(如TriviaQA)上的表现不如小型模型,因为较小的模型尺寸导致保留事实的能力较低

Phi-3的安装和使用方法

在Microsoft Azure AI Studio、Hugging Face或Ollama上查找和下载Phi-3-mini模型。

1、下载模型

地址:https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

2、模型微调与部署

T1、在Azure AI Studio中利用部署-评估-微调工具链进行部署和评估

地址:Azure AI Studio

T2、在Ollama上进行本地运行,并根据需要进行定制和微调

地址:phi3

3、模型体验

T1、HuggingFace平台

地址:https://huggingface.co/chat/models/microsoft/Phi-3-mini-4k-instruct

T2、Azure平台

地址:Azure AI Studio

Phi-3的案例应用

在资源受限环境中,如设备上和离线推断场景。

在需要快速响应时间的延迟绑定场景中。

在成本受限的使用案例中,尤其是那些任务较简单的情况下。

在农业领域等地方,通过与微软合作伙伴模板的使用,提供具有降低成本运行的强大小型模型,以帮助改善农民的效率和准确性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/3000.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

盲盒商城小程序(有米就出)

一款前端采用uniapp,后端采用Django框架开发的小程序,包含后台管理,如有人需要可联系演示功能(个人开发,可商用/学习)。 部分截图如下:

设备驱动-随记

1. dma_alloc_coherent函数是用于在Linux内核中为设备驱动程序分配用于DMA操作的内存区域的函数。DMA是指通过外部设备直接访问系统内存的过程,它通常用于设备之间的数据传输,比如网络数据包的接收和发送,磁盘I/O等。 这个函数在linux/dma-…

【刷题】C++ 版刷题指南

C 刷题指南(自用) 小tips:includestruct节点io输入输出练习其它 库输入迭代器stringvectordeque(双端队列)优先队列priority\_queue优先队列 tuple优先队列 结构体(自定义排序) mapsetpairtup…

文件摆渡:安全、高效的摆渡系统助力提升效率

很多组织和企业都会通过网络隔离的方式来保护内部的数据,网络隔离可以是物理隔离,也可以是逻辑隔离,如使用防火墙、VPN、DMZ等技术手段来实现,隔离之后还会去寻找文件摆渡方式,来保障日常的业务和经营需求。 进行网络隔…

Python的一些高级用法

Python的高级用法涵盖了更深入的编程技巧、设计模式、并发编程、性能优化等方面。以下是Python的一些高级用法: 1.装饰器 用于修改函数或类的行为的函数,常用于日志记录、性能分析等。 def my_decorator(func):def wrapper():print("Something i…

数据库变更时,OceanBase如何自动生成回滚 SQL

背景 在开发中,数据的变更与维护工作一般较频繁。当我们执行数据库的DML操作时,必须谨慎考虑变更对数据可能产生的后果,以及变更是否能够顺利执行。若出现意外数据丢失、操作失误或语法错误等情况,我们必须迅速将数据库恢复到变更…

jsp+springboot+java二手车交易管理系统258u6

设计而成的系统要有以下目标:管理员和用户能够跳转到不同的页面当中。因此要把系统的目标设置为如下几项: (1) 系统在操作上不能过于复杂。 (2) 用户对应着不同的角色 (3) 设计完成的数据库要有能够处理并发和安全的作用 (4) 设计完成的管理…

Python——目标检测标签中的英文名转化为对应的类别编号

Yolov5进行目标检测流程在下文中已做说明: Python——一文详解使用yolov5进行目标检测全流程(无需gpu)_yolo不用gpu-CSDN博客 在Yolov5使用中中,标签数据里类别的中文名,需要转换成类别编号。相关代码如下&#x…

亚马逊云科技提高企业生产力神器Amazon Q评测分析

一年一度的全球云计算春晚,亚马逊云科技Re:invent在2023年11月27于Vegas震撼来袭,其中最令人关注的就是CEO Adam在Keynote中分享的内容。其中一个新内容就是提升生产力神器: Amazon Q,可以说它重新定义了企业的工作模式。那具体它神在哪里呢&…

设计模式- 代理模式(Proxy Pattern)结构|原理|优缺点|场景|示例

设计模式(分类) 设计模式(六大原则) 创建型(5种) 工厂方法 抽象工厂模式 单例模式 建造者模式 原型模式 结构型(7种) 适配器…

Python构建学生信息管理系统:网站路由补充和首次运行

在之前的内容中,我们已经完成了学生信息管理系统(Student Information Management System, SIMS)的需求分析、环境搭建、数据库创建、项目结构的初始化,以及运行。正常做下来的朋友,会发现项目运行后输入http://127.0.…

vulfocus靶场thinkphp命令执行cve-2018-1002015

thinkPHP 5.0.x版本和5.1.x版本中存在远程代码执行漏洞,该漏洞源于ThinkPHP在获取控制器名时未对用户提交的参数进行严格的过滤。远程攻击者可通过输入‘\’字符的方式调用任意方法利用该漏洞执行代码 开启靶场: 使用工具: think…

使用微软Phi-3-mini模型快速创建生成式AI应用

微软Phi-3大语言模型是微软研究院推出的新一代系列先进的小语言模型。Phi-3系列包括phi-3-mini、phi-3-small和phi-3-medium三个不同规模的版本。这些模型在保持较小的参数规模的同时,通过精心设计的训练数据集和优化的算法,实现了与大型模型相媲美的语言…

VaR(Value at Risk)模型代码

Value at Risk(VaR)是一种用于衡量投资组合可能损失的风险的模型。它可以帮助投资者评估他们面临的潜在风险,并做出相应的风险管理决策。以下是一个简单的VaR模型案例。 假设一个投资组合由两个资产组成:股票A和股票B。股票A的市…

Edge下载文件提示无法安全下载的解决方法

问题描述:最近Edge在下载文件时总是提示:无法安全下载,本文记录一下解决方法。 提示截图: 解决方式一: 1. 点击下图红框的三个点,选择保留 2. 选择仍然保留 解决方式二: 第一种方式每下载一次…

JavaScript、Java、C#标记过时方法

JavaScript、Java、C#标记过时方法 在JavaScript、Java和C#中,可以使用特定的注解或标记来表示一个方法是不推荐的,以便在使用该方法时发出警告或提示。虽然没有专门用于标记不推荐方法的内置标记,但是可以结合使用deprecated、[Obsolete]等…

✅为什么MySQL默认使用RR隔离级别?

对于数据库的默认隔离级别,Oracle默认的隔离级别是 RC,而MySQL默认的隔离级别是 RR。 那么,你知道为什么Oracle选择RC作为默认级别,而MySQL要选择RR作为默认的隔离级别吗? Oracle的隔离级别 Oracle支持ANSI/ISO SQL…

逝去的韶光

韶光易逝,岁月难留。春夏之交,正是时光交替的节点,仿佛一切都在默默地诉说着曾经的往事。我站在这个特殊的时刻,不禁想起那些已经远去的日子。 阳光穿过树梢,斑驳地洒在小径上。微风拂过,树叶轻轻摇曳&…

【OpcUA开发笔记 3】Open62541证书登录方式

前言: OpcUA的登录方式有3种,分别是匿名,用户名+密码,证书。其中前两个比较简单,我们就从最复杂的说起,前两个顺带说下也就会了,属于抛砖引玉讲述解决思路,非保姆式教程。 材料:open62541-1.4.0,cmake 3.29.2,openssl 3.3.0.9,visual studio2022,python3.8.6 一、…

HTB靶场 Perfection

端口 打开了ssh和http服务 访问 Perfection靶机的网站 是一个根据权重计算总成绩的网站 Wappalyzer查看网页用的什么编写搭建的 抓包看一下是怎么工作的 发送,,返回的结果 如果我在 类别 后面多加一句命令 就会出现提示 恶意输入阻止 大概率有命令注入 通过插件…