保存带 numpy.ndarray 的 dataframe

# 创建 DataFrame
texts = ["hi", "hello", "you"]
embeddings = [np.random.randn(10,) for i in range(3)]
df = pd.DataFrame({"text":texts, "embedding":embeddings})type(df.embedding.values[0]) # numpy.ndarray
# 保存数据
import pickle
save_path = "./result/tmp/text_embedding_df.pkl"
# 假设你的DataFrame叫做 df
with open(save_path, 'wb') as f:pickle.dump(df, f)
# 读取数据
with open(save_path, 'rb') as f:df = pickle.load(f)
type(df.embedding.values[0]) # numpy.ndarray

需要注意的是,pickle文件是以二进制形式存储的,因此在写入和读取文件时,需要以二进制模式(‘wb’或’rb’)打开文件。同时,pickle有其特定的序列化方式,适合保存大量数据,并且能保存很多Python的内置类型

参考:
chatGPT 提示词:“我有一个 pandas 的 dataframe, 字段包括 text 和 embedding。 text 数据类型为 str, embedding 的数据类型为 numpy.ndarray。如何保存数据,随后如何读取,需要将embedding 的数据类型保持为 numpy.ndarray”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/751747.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

设计模式之外观模式(Facade Pattern)【结构性模式】

为什么用结构性模式? 结构性模式关注点“怎样组合对象/类?”所以我们关注下类的组合关系类结构型模式关心类的组合,由多个类可以组合成一个更大的(继承)对象结构型模式关心类与对象的组合,通过关联关系在一…

Hadoop大数据应用:HDFS 集群节点缩容

目录 一、实验 1.环境 2.HDFS 集群节点缩容 二、问题 1.数据迁移有哪些状态 2.数据迁移失败 一、实验 1.环境 (1)主机 表1 主机 主机架构软件版本IP备注hadoop NameNode (已部署) SecondaryNameNode (已部署…

ChatGPT学术论文润色的方法与步骤教程

GPT学术论文润色方法 请查看视频详细润色步骤 把ChatGPT运用到论文写作翻译润色,绝对是仰首佩服,莫敢与争啊,分分钟碾压最顶级的传统翻译或润色模式。 因为,正正好是撞在ChatGPT最擅长的领域上了! 正如我们所知&…

异常随笔xx1

关于过滤器和拦截器 看一下过滤器,过滤器我们可以分两步: 1.配置自定义过滤器 2.过滤器注册 这样它才会生效,拦截器也如此 先配置: RequiredArgsConstructor public class UserTransmitFilter implements Filter {private f…

裁员潮下,打工人的自我修养

法律规定的 裁员补偿: 1、平等协商解除的,底线是N1,上限能谈多少法律都支持 2、有客观原因解除的,是N1 3、强制违法辞退的,是2N Tips:基数是每月的全额税前工资,包括奖金绩效等&#xff0c…

vue框架渲染原理

Vue.js,作为当前最受欢迎的前端框架之一,以其轻量级和灵活性受到众多开发者的喜爱。Vue的核心理念在于采用数据驱动和组件化的方式来构建用户界面。为了更好地使用Vue及其丰富的生态系统,理解其背后的核心原理是非常重要的。本文将深入探讨Vu…

Java 测试Thread StackOverflowError

测试堆栈溢出 Testpublic void testStackOverflow() {try {foo1();} catch (Throwable throwable) {// 栈满时,打印递归深度System.out.println(countRecursion);throw throwable;}}public void foo1() {countRecursion;foo1();}JVM option Xmx50mXss20m 线程栈大小…

strstr的模拟实现

一:strstr函数的定义: strstr函数功能的解释: 在一个字符串里面寻找另一个字符串的首次出现位置,返回值为该位置。 strstr函数要点: 1,如果 str2 是 str1 的一部分,它返回一个指向 str1 中 …

2024.3.15

1.单向循环链表 代码: #include"loop.h" //创建单向循环链表 loop_p create_loop_list() {loop_p H (loop_p)malloc(sizeof(loop));if(HNULL){printf("空间申请失败\n");return NULL;}H->len0;H->nextH;return H; } //创建节点 loop_p…

【C语言】打印用*组成的X形图案

代码如下&#xff1a; #include<stdio.h> int main() { int n 0; int i 0; int j 0; while (scanf("%d", &n) ! EOF) for (i 0; i < n; i) { for (j 0; j < n; j) { if (…

拼多多根据关键词取商品列表 API 返回值说明

一、应用场景 拼多多根据关键词取商品列表的API应用场景非常广泛&#xff0c;主要集中在电商领域&#xff0c;包括但不限于以下几个方面&#xff1a; 1、商品搜索与推荐&#xff1a;商家可以通过API接口&#xff0c;根据用户输入的关键词&#xff0c;实时获取拼多多平台上的相…

python 基础练习题3

目录 1、用户登录注册案例 2、求50~150之间的质数是那些&#xff1f; 3、打印输出标准水仙花数&#xff0c;输出这些水仙花数 4、验证:任意一个大于9的整数减去它的各位数字之和所得的差,一定能被9整除. 5、一个五位数,若在它的后面写上一个7,得到一个六位数A, 若在它前面…

什么是布隆过滤器?

1、什么是布隆过滤器 ​ 布隆过滤器&#xff08;Bloom Filter&#xff09;是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多&#xff0c;缺…

Java习题中 哈希表的理论 有效的字母异位词 快乐数 两数之和

关于 哈希表的理论 今天最大的疑惑好像就是map的复杂度怎么算哈哈,一般n个元素map的复杂度就是On哦,不需要想得太复杂了,冲突的空间并不会造成一个量级,改变n前面的常数不会影响空间复杂度哈提醒&#xff01;熟悉好map,set的API哦 关于 有效的字母异位词 为什么遍历第二个字符…

小白必看的Python基础之函数篇

函数最重要的目的是方便我们重复使用相同的一段程序。 将一些操作隶属于一个函数&#xff0c;以后你想实现相同的操作的时候&#xff0c;只用调用函数名就可以&#xff0c;而不需要重复敲所有的语句。 函数的定义 首先&#xff0c;我们要定义一个函数, 以说明这个函数的功能…

BufferedOutputStream类讲解

咦咦咦&#xff0c;各位小可爱&#xff0c;我是你们的好伙伴——bug菌&#xff0c;今天又来给大家普及Java IO相关知识点了&#xff0c;别躲起来啊&#xff0c;听我讲干货还不快点赞&#xff0c;赞多了我就有动力讲得更嗨啦&#xff01;所以呀&#xff0c;养成先点赞后阅读的好…

c++ 设计模式 策略模式

最初版本 enum TaxBase {CN_Tax,US_Tax,DE_Tax };class SalesOrder {TaxBase tax; public:double CalcaulateTax(){if (tax CN_Tax){}else if (tax US_Tax){}else if (tax DE_Tax){}} }; 最终版本 class TaxStrategy { public:virtual double Calculate(const Context&am…

代码学习记录21--回溯算法第二天

随想录日记part21 t i m e &#xff1a; time&#xff1a; time&#xff1a; 2024.03.16 主要内容&#xff1a;今天主要是结合类型的题目加深对回溯算法的理解&#xff1a;1&#xff1a;组合总和&#xff1b;2&#xff1a;电话号码的字母组合 216.组合总和III17.电话号码的字母…

【Redis知识点总结】(五)——Redis实现分布式锁

Redis知识点总结&#xff08;五&#xff09;——Redis实现分布式锁 setnxsetnx expiresetnx expire lua脚本set nx exset nx ex 随机值set nx ex 随机值 lua脚本set ex nx 随机值 lua脚本 锁续期RedissonRedLock 在Redis的众多应用场景中&#xff0c;分布式锁是Redis比…

解决分布式事务,Seata真香!

年IT寒冬&#xff0c;大厂都裁员或者准备裁员&#xff0c;作为开猿节流主要目标之一&#xff0c;我们更应该时刻保持竞争力。为了抱团取暖&#xff0c;林老师开通了《知识星球》&#xff0c;并邀请我阿里、快手、腾讯等的朋友加入&#xff0c;分享八股文、项目经验、管理经验等…