huggingface 笔记:pipeline

1 介绍 

  • pipeline() 是使用预训练模型进行推理的最简单和最快速的方式。
  • 可以针对不同模态的许多任务直接使用 pipeline()

2 举例:情感分析

2.1 创建pipeline实例

from transformers import pipelineclassifier = pipeline("sentiment-analysis")
#首先创建一个 pipeline() 实例,并指定您想要使用它的任务
#pipeline() 将下载并缓存情感分析的默认预训练模型和分词器

2.2 使用pipeline实例 

然后就可以在目标文本上使用分类器了:

# 单个文本
classifier('Today is a shiny day!')
'''
[{'label': 'POSITIVE', 'score': 0.9992596507072449}]
'''
# 多个文本
classifier(['Today is a shiny day!','What a bad day it is!'])
'''
[{'label': 'POSITIVE', 'score': 0.9992596507072449},{'label': 'NEGATIVE', 'score': 0.999808132648468}]
'''

3 使用别的模型和分词器

  • pipeline() 可以容纳来自 Models - Hugging Face的任何模型
  • eg:能够处理法语文本的模型

以下两种方式都可以

from transformers import AutoTokenizer, AutoModelForSequenceClassification
from transformers import pipelinemodel_name = "nlptown/bert-base-multilingual-uncased-sentiment"classifier = pipeline("sentiment-analysis", model=model_name)classifier("Nous sommes très heureux de vous présenter la bibliothèque Transformers.")#[{'label': '5 stars', 'score': 0.7236300706863403}]
from transformers import AutoTokenizer, AutoModelForSequenceClassificationmodel_name = "nlptown/bert-base-multilingual-uncased-sentiment"model = AutoModelForSequenceClassification.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)classifier = pipeline("sentiment-analysis", model=model, tokenizer=tokenizer)classifier("Nous sommes très heureux de vous présenter la bibliothèque Transformers.")
#[{'label': '5 stars', 'score': 0.7236300706863403}]

4 device相关

  • 使用 device=n——>pipeline会自动将模型放置在指定的设备上
classifier = pipeline("sentiment-analysis", model=model_name,device=2)
  • 如果模型对于单个 GPU 来说太大,并且使用 PyTorch——>可以设置 device_map="auto",以自动确定如何加载和存储模型权重
classifier = pipeline("sentiment-analysis", model=model_name,device_map="auto")
  • 如果传递了 device_map="auto",在实例化pipeline时不需要添加参数 device=device

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/12159.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SystemC学习使用记录

一、概述 对于复杂的片上系统,在进行RTL编码前,需进行深入的系统级仿真,以确认设计的体系结构是否恰当、总线是否能满足吞吐量和实现性要求以及存储器是否浪费,所进行的这些仿真要求在芯片的仿真模型上运行大量的软件&#xff0c…

图像数据预处理——openCV

目录 灰度化 几何变换 图像缩放 中心裁剪 标准化 图像增强 可视化图像 import numpy as np import pandas as pd import json import cv2 import os 灰度化 使用cv2读取图像时,就可以选择读取彩色图像还是灰度图像 image cv2.imread(filename, flags) flags&…

跨境必看|TikTok账号运营的八大秘籍

国内的传统生意都是可以在抖音上做,那么也可以在TikTok 上重新做一遍。那该如何才能把握住这片巨大的蓝海,TikTok 账号的运营就成为了主要的关键了,对于TikTok账号运营的八大秘籍,大家一起看看是如何做的? 一、固定节…

为什么需要使用SOCKS5代理?

SOCKS代表Socket Secure,是一种网络协议,能够在网络上进行数据传输。SOCKS5是SOCKS协议的第五个版本,它提供了更加安全和灵活的数据传输方式,因此在网络安全和隐私保护方面被广泛应用。在我们的日常生活中,为什么需要使…

VMware虚拟机安装详细教程

VMware下载安装好后,下载好我们要安装的操作系统的镜像文件后,此处安装的为centos7版本,就可以开始安装了。 1点击下一步 image 2、勾选【我接受条件款协议中的条款】,然后点击【下一步】。 image 3、取消勾选,然后点…

深拷贝和浅拷贝--深拷贝

深拷贝 深拷贝是指在复制对象时&#xff0c;不仅复制对象的所有成员变量的值&#xff0c;还复制成员变量指针或引用所指向的实际数据。这意味着原对象和拷贝对象拥有独立的底层数据&#xff0c;互不影响。 #include <iostream>class Person { public:int* age;// 构造函…

富在术数,不在劳身 财富的积累更多依赖于智慧和策略,而不是单纯的体力劳动 GPT-4o免费用

"富在术数&#xff0c;不在劳身"这句话的意思是财富的积累更多依赖于智慧和策略&#xff0c;而不是单纯的体力劳动。这句话强调了智慧和技巧在获取财富过程中的重要性&#xff0c;提示人们在追求财富时&#xff0c;应注重策略和方法的运用&#xff0c;而不仅仅依靠辛…

【JAVA】单元测试的简单应用

单元测试是验证软件中最小可测试部分正确性的自动化测试。在Java中&#xff0c;单元测试通常针对类的方法或函数进行。以下是单元测试的一般写法&#xff0c;以及一些常用的单元测试框架。 1. 准备工作 在开始编写单元测试之前&#xff0c;需要确保项目中包含了单元测试框架。…

元组(tuple)

1. 区别 和列表相似&#xff0c;本质上是一种有序的集合元组和列表的不同之处&#xff1a; a.列表:[ ] 元组&#xff1a;( ) b.列表中的元素可以进行增加和删除操作&#xff1b;但是&#xff0c;元组中的元素不能修改【元素&#xff1a;一旦被初始化&#xff0c;将不能发生改…

prompt工程策略(三:使用 LLM 防护围栏创建系统提示)

原文&#xff1a;我是如何赢得GPT-4提示工程大赛冠军的 原文的原文&#xff1a; How I Won Singapore’s GPT-4 Prompt Engineering Competition &#xff01;&#xff01;本内容仅适用于具有 System Prompt&#xff08;系统提示&#xff09;功能的 LLM。具有这一功能的最著名 …

python dbUtil

# -*- coding: utf-8 -*- import pyodbc import cx_Oracleclass Database:def __init__(self, driver, server, database, username, password):"""链接数据库:param driver: 数据库驱动:param server: 地址:端口:param database: 数据库名称:param usernam…

工业无风扇计算机的优点

无风扇计算机往往采用紧凑且密封的外形&#xff0c;使其坚固耐用&#xff0c;使其能够在需要现场工程师进行维护之前承受恶劣的环境数年。机载移动部件较少或没有移动部件会降低组件无法按预期运行的可能性&#xff0c;或者更糟糕的是发生故障和损坏。采用工业组件和较低的散热…

您的文件和驱动器上的“密码保护”有多安全?

某些行业&#xff08;例如医疗保健、法律和公司&#xff09;的人们在通过电子邮件发送文件时通常依赖密码保护&#xff0c;认为它可以提供足够的安全性来防止窥探。然而&#xff0c;对 PDF 或 Excel 文件进行简单的密码保护并不像看起来那样万无一失。 使用密码保护文件而不加…

亿级流量系统架构设计与实战

&#x1f482; 个人网站:【 摸鱼游戏】【神级代码资源网站】【工具大全】&#x1f91f; 一站式轻松构建小程序、Web网站、移动应用&#xff1a;&#x1f449;注册地址&#x1f91f; 基于Web端打造的&#xff1a;&#x1f449;轻量化工具创作平台&#x1f485; 想寻找共同学习交…

Oracle Exists、 NOT Exists用法

Exists 在Oracle数据库中&#xff0c;EXISTS关键字用于子查询中&#xff0c;其主要用途是检查子查询是否至少返回了一行数据。它不关心子查询返回的实际数据值&#xff0c;只关心是否有结果。EXISTS通常用于基于行的存在性测试&#xff0c;相比IN或JOIN等操作&#xff0c;它在某…

自定义扩展文件支持

遇到问题加QQ群聊 群主在线解答 点击加入群聊【星辰开发】 Redis pip install redisdef get_conn():from redis import Redisfrom configparser import ConfigParserconfig ConfigParser()config.read(Config.ini)Redis_Host config[Redis][Host]Redis_Port config[Redis]…

Spring AI开发前期开发指导(maven依赖下载问题解决)

文章目录 说明开发条件网络环境准备本地环境准备开发工具准备 特殊说明maven配置项目jar一致下载错误解决可行的版本搭配 说明 动力节点视频教程地址&#xff0c;本文章学习该教程&#xff0c;同时说明的maven配置问题导致的项目依赖下载失败的问题和其他问题的记录。 开发条…

nginx-rtmp

1.已经安装nginx&#xff1b;configure配置模块&#xff1b;make编译无需安装&#xff1b;把objs/nginx复制到已安装的宁目录下 ./configure --prefix/usr/local/nginx --add-module/usr/local/src/fastdfs-nginx-module/src --add-module/usr/local/src/nginx-rtmp-module-mas…

浅谈SiC MOSFET之双脉冲原理

1.双脉冲实验实验的必要性 在平常的使用中&#xff0c;我们基本通过芯片手册来了解功率器件的各种性能参数&#xff0c;但是手册中的参数的测量环境都是在理想状态下&#xff0c;与实际使用或多或少都会有差别。通过双脉冲实验可以获取器件在真实工况下的参数&#xff0c;对于产…

Runes 生态一周要览 ▣ 2024.5.06-5.12

1、香港「Runes Asia 2024」符文峰会之行圆满结束。 2、BEVM 宣布首次大规模 RUNES 空投现已结束&#xff01;符文桥即将上线。 3、来自 Book of Blob 的交互式视听信息铭刻了第一个 Epic Sat 在 coinex 上市交易。 4、 Binance Research 发布了对 Runes 的报告。 5、HOPE•…