huggingface的load_dataset()函数

第一种:从huggingface官网加载:

from datasets import load_dataset
dataset = load_dataset(path='squad', split='train')

path等于相关数据集的名字就能下载并加载相关数据集

第二种:从本地加载数据集

用path参数指定数据集格式

json格式,path="json"
csv格式, path="csv"
纯文本格式, path="text"
dataframe格式, path="panda"
图片,path="imagefolder"
然后用data_files指定文件名称,data_files可以是字符串,列表或者字典,data_dir指定数据集目录。如下case:

from datasets import load_dataset
dataset = load_dataset('csv', data_files='my_file.csv')
dataset = load_dataset('csv', data_files=['my_file_1.csv', 'my_file_2.csv', 'my_file_3.csv'])
dataset = load_dataset('csv', data_files={'train':['my_train_file_1.csv','my_train_file_2.csv'],'test': 'my_test_file.csv'})

 Tips:

huggingface的load_dataset()函数返回的数据是字典类型的dataset

形如:

Dataset({features: ['label', 'text'],num_rows: 100
})

取数据用:

dataset["input_ids"]

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/840018.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenCV:入门(五)

图像梯度 图像梯度计算的是图像变化的速度。对于图像的边缘部分,其灰度值变化较大,梯度值也 较大;相反,对于图像中比较平滑的部分,其灰度值变化较小,相应的梯度值也较小。一般情 况下,图像梯度计…

剖析并实现C++17新特性的Any类型

问题: 对于这样的场景:对于一些CS(客户端-服务端)模型,当用户在客户端传入相应的事件时,我们需要实现框架即在服务端去分配线程处理这些事件,即调用用户的事件处理函数,那么对于不同…

中文信息期刊投稿邮箱

《中文信息》杂志是国家新闻出版总署批准的国家级刊物(月刊),国内外公开发行,大十六开印刷。本刊主要反映我国中文信息处理的学术水平,重点刊登科技、经济、教育等领域的基础理论、科研与应用技术的学术论文&#xff0…

Rust:如何使用 Pytorch 深度学习模型?

以下笔记内容仅供参考,尚未进行实际验证。 在Rust中使用PyTorch通常涉及使用一个称为tch的第三方crate,它是PyTorch的C API的Rust绑定。下面是一个简单的例子,展示了如何在Rust程序中加载一个PyTorch模型并进行预测。 首先,你需要…

第2天 搭建安全拓展_小迪网络安全笔记

1.常见搭建平台脚本使用: 例如 phpstudy IIS Nginx(俗称中间件): 什么是中间件: 中间件是介于应用系统和系统软件之间的一类软件,它使用系统软件所提供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用&#…

vue2引入brand.vue和brand-add-or-update.vue后重启项目报错解决方案

最近在用粒谷商城项目练手,学习到P59时引入品牌两个vue文件,重启(npm run dev)项目报错: ERROR Failed to compile with 2 errors 12:11:59Th…

前端调用浏览器录音功能且生成文件(vue)

如果可以实现记得点赞分享&#xff0c;谢谢老铁&#xff5e; 首先在页面中给两个按钮&#xff0c;分别是“开始录音”&#xff0c;“结束录音”。以及录音成功后生成一个下载语音的链接。 1. 先看页面展示 <template><div><button click"startRecording…

【论文阅读】Rank-DETR(NIPS‘23)

paper:https://arxiv.org/abs/2310.08854 code:https://github.com/LeapLabTHU/Rank-DETR

Go 生成UUID唯一标识

什么是UUID 通用唯一识别码&#xff08;英语&#xff1a;Universally Unique Identifier&#xff0c;简称UUID&#xff09;是一种软件建构的标准&#xff0c;亦为自由软件基金会组织在分散式计算环境领域的一部份。 UUID的目的&#xff0c;是让分散式系统中的所有元素&#x…

微信小程序视频怎么保存到本地

你是否遇到过在微信小程序中发现了精彩的视频&#xff0c;却不知道如何将其保存到本地的困扰&#xff1f;别担心&#xff0c;这篇文章将为您揭示2024年最新的保存方法&#xff0c;让您轻松下载和保留这些珍贵的视频内容。不管您是使用安卓设备还是苹果设备&#xff0c;我们都为…

SD3303A大功率高精度LED驱动芯片3W低功耗高效率工作温度40c+85%

SD3303A是一款大功率高亮度LED驱动芯片&#xff0c;可以提供 1A的电流驱动3W的LED。具有高效率&#xff0c;低功耗等特点 &#xff0c;适用于电池供电的LED照明设备。 SD3303A具有开路保护和过温保护。 SD3303A需要使用两颗10uF(或者更大)的瓷 片电容&#xff0c;来保证电路性能…

学生手机管理方案

咱们现在的学生&#xff0c;手机几乎成了标配。所以问题就来了&#xff0c;怎么管理这些手机&#xff0c;让手机在课堂上不成为学习的干扰&#xff1f; 先得搞明白&#xff0c;手机在学生手里上该扮演什么角色。手机确实能帮学生查资料、交流学习&#xff0c;甚至写作业&#x…

Log360:护航安全,远离暗网风险

暗网有时候就像是一个神秘的地下世界&#xff0c;是互联网的隐蔽角落&#xff0c;没有任何规则。这是一个被盗数据交易、网络犯罪分子策划下一步攻击的地方。但仅仅因为它黑暗&#xff0c;不意味着你要对潜在的威胁视而不见。 暗网 这就是ManageEngine Log360的用武之地&…

用Visual Studio进行Qt开发的Cmake模板

使用Visual Studio进行Qt开发的时候&#xff0c;我们可以借用Cmake的moc功能和相应对Qt的支持生成VS工程。 文件组织 Root │ cmake.sh // cmake执行脚本 │ CMakeLists.txt // 根目录cmake文件 │ README.md │ text.txt ├─bin …

【Oracle篇】rman工具实用指南:常用命令详解与实践(第二篇,总共八篇)

&#x1f4ab;《博主介绍》&#xff1a;✨又是一天没白过&#xff0c;我是奈斯&#xff0c;DBA一名✨ &#x1f4ab;《擅长领域》&#xff1a;✌️擅长Oracle、MySQL、SQLserver、阿里云AnalyticDB for MySQL(分布式数据仓库)、Linux&#xff0c;也在扩展大数据方向的知识面✌️…

chatgpt功能真的强大好用吗?

最近听到很多人说chatgpt的功能强大&#xff0c;非常好用。 我有点好奇&#xff0c;于是试用了一下&#xff0c;问了几个最近搜索过的问题&#xff0c;以检验chatgpt的能力。 1、如何解非线性方程 解非线性方程的方法有很多&#xff0c;取决于方程的具体形式和所需的精度。以…

WPF拖放控件

拖放官方文档 拖放操作通常涉及两个参与方&#xff1a;拖动对象所源自的拖动源和接收放置对象的拖放目标。 拖动源和放置目标可能是相同应用程序或不同应用程序中的 UI 元素。 我这里实现的是对TabControl的Tab页面进行拖放&#xff0c;以达成类似Chrome浏览器的拖放功能。 …

【Webpack】webpack scope hoisting

scope hoisting 是 webpack 的内置优化&#xff0c;它是针对模块的优化&#xff0c;在生产环境打包时会自动开启。 在未开启 scope hoisting 时&#xff0c;webpack 会将每个模块的代码放置在一个独立的函数环境中&#xff0c;这样是为了保证模块的作用域互不干扰。 而 scope…

【Centos7+JDK1.8】Jenkins安装手册

一、安装环境 Centos7 JDK1.8 Jenkins-2.346.3 JDK1.8安装以及网络配置等 自行搜索资料解决。 二、卸载历史安装的Jenkins&#xff0c;直接全部复制粘贴下面的命令 service jenkins stop yum -y remove jenkins rpm -e jenkins rpm -ql jenkins rm -rf /etc/sysconfig/je…

解决远程链接的“Gtk-WARNING **: cannot open display;

1.需要检查ssh配置中X11Forwarding是否启用 2.检查本地ssh工具是否启用x11转发&#xff08;下图以mobaxterm为例&#xff09; 3.检查是否有防火墙等其他网络拦截&#xff0c;如果没有特殊需求&#xff0c;这里可以直接将防火墙服务关闭 4.按上诉操作检查后&#xff0c;正常情况…