tensorflow 保存训练loss_tensorflow2.0保存和加载模型 (tensorflow2.0官方教程翻译)

633fe6d9560fb5fed5a44e35bd1b3b78.png
最新版本:https://www.mashangxue123.com/tensorflow/tf2-tutorials-keras-save_and_restore_models.html
英文版本:https://tensorflow.google.cn/alpha/tutorials/keras/save_and_restore_models
翻译建议PR:https://github.com/mashangxue/tensorflow2-zh/edit/master/r2/tutorials/keras/save_and_restore_models.md

模型进度可以在训练期间和训练后保存。这意味着模型可以在它停止的地方继续,并避免长时间的训练。保存还意味着您可以共享您的模型,其他人可以重新创建您的工作。当发布研究模型和技术时,大多数机器学习实践者共享: 用于创建模型的代码 以及模型的训练权重或参数

共享此数据有助于其他人了解模型的工作原理,并使用新数据自行尝试。

注意:小心不受信任的代码(TensorFlow模型是代码)。有关详细信息,请参阅安全使用TensorFlow 。

选项

保存TensorFlow模型有多种方法,具体取决于你使用的API。本章节使用tf.keras(一个高级API,用于TensorFlow中构建和训练模型),有关其他方法,请参阅TensorFlow保存和还原指南或保存在eager中。

1. 设置

1.1. 安装和导入

需要安装和导入TensorFlow和依赖项

pip install h5py pyyaml

1.2. 获取样本数据集

我们将使用MNIST数据集来训练我们的模型以演示保存权重,要加速这些演示运行,请只使用前1000个样本数据:

from __future__ import absolute_import, division, print_function, unicode_literalsimport os!pip install tensorflow==2.0.0-alpha0
import tensorflow as tf
from tensorflow import kerastf.__version__
(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()train_labels = train_labels[:1000]
test_labels = test_labels[:1000]train_images = train_images[:1000].reshape(-1, 28 * 28) / 255.0
test_images = test_images[:1000].reshape(-1, 28 * 28) / 255.0

1.3. 定义模型

让我们构建一个简单的模型,我们将用它来演示保存和加载权重。

# 返回一个简短的序列模型 
def create_model():model = tf.keras.models.Sequential([keras.layers.Dense(512, activation='relu', input_shape=(784,)),keras.layers.Dropout(0.2),keras.layers.Dense(10, activation='softmax')])model.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['accuracy'])return model# 创建基本模型实例
model = create_model()
model.summary()
Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense (Dense)                (None, 512)               401920    
_________________________________________________________________
dropout (Dropout)            (None, 512)               0         
_________________________________________________________________
dense_1 (Dense)              (None, 10)                5130      
=================================================================
Total params: 407,050
Trainable params: 407,050
Non-trainable params: 0
_________________________________________________________________

2. 在训练期间保存检查点

主要用例是在训练期间和训练结束时自动保存检查点,通过这种方式,您可以使用训练有素的模型,而无需重新训练,或者在您离开的地方继续训练,以防止训练过程中断。

tf.keras.callbacks.ModelCheckpoint是执行此任务的回调,回调需要几个参数来配置检查点。

2.1. 检查点回调使用情况

训练模型并将其传递给 ModelCheckpoint回调

checkpoint_path = "training_1/cp.ckpt"
checkpoint_dir = os.path.dirname(checkpoint_path)# 创建一个检查点回调
cp_callback = tf.keras.callbacks.ModelCheckpoint(checkpoint_path,save_weights_only=True,verbose=1)model = create_model()model.fit(train_images, train_labels,  epochs = 10,validation_data = (test_images,test_labels),callbacks = [cp_callback])  # pass callback to training# 这可能会生成与保存优化程序状态相关的警告。
# 这些警告(以及整个笔记本中的类似警告)是为了阻止过时使用的,可以忽略。
Train on 1000 samples, validate on 1000 samples......Epoch 10/10960/1000 [===========================>..] - ETA: 0s - loss: 0.0392 - accuracy: 1.0000Epoch 00010: saving model to training_1/cp.ckpt1000/1000 [==============================] - 0s 207us/sample - loss: 0.0393 - accuracy: 1.0000 - val_loss: 0.3976 - val_accuracy: 0.8750<tensorflow.python.keras.callbacks.History at 0x7efc3eba7358>

这将创建一个TensorFlow检查点文件集合,这些文件在每个周期结束时更新。 文件夹checkpoint_dir下的内容如下:(Linux系统使用 ls命令查看)

checkpoint  cp.ckpt.data-00000-of-00001  cp.ckpt.index

创建一个新的未经训练的模型,仅从权重恢复模型时,必须具有与原始模型具有相同体系结构的模型,由于它是相同的模型架构,我们可以共享权重,尽管它是模型的不同示例。

现在重建一个新的,未经训练的模型,并在测试集中评估它。未经训练的模型将在随机水平(约10%的准确率):

model = create_model()loss, acc = model.evaluate(test_images, test_labels)
print("Untrained model, accuracy: {:5.2f}%".format(100*acc))
1000/1000 [==============================] - 0s 107us/sample - loss: 2.3224 - accuracy: 0.1230
Untrained model, accuracy: 12.30%

然后从检查点加载权重,并重新评估:

model.load_weights(checkpoint_path)
loss,acc = model.evaluate(test_images, test_labels)
print("Restored model, accuracy: {:5.2f}%".format(100*acc))
1000/1000 [==============================] - 0s 48us/sample - loss: 0.3976 - accuracy: 0.8750
Restored model, accuracy: 87.50%

2.2. 检查点选项

回调提供了几个选项,可以为生成的检查点提供唯一的名称,并调整检查点频率。

训练一个新模型,每5个周期保存一次唯一命名的检查点:

# 在文件名中包含周期数. (使用 `str.format`)
checkpoint_path = "training_2/cp-{epoch:04d}.ckpt"
checkpoint_dir = os.path.dirname(checkpoint_path)cp_callback = tf.keras.callbacks.ModelCheckpoint(checkpoint_path, verbose=1, save_weights_only=True,# 每5个周期保存一次权重period=5)model = create_model()
model.save_weights(checkpoint_path.format(epoch=0))
model.fit(train_images, train_labels,epochs = 50, callbacks = [cp_callback],validation_data = (test_images,test_labels),verbose=0)
Epoch 00005: saving model to training_2/cp-0005.ckpt
......
Epoch 00050: saving model to training_2/cp-0050.ckpt
<tensorflow.python.keras.callbacks.History at 0x7efc7c3bbd30>

现在,查看生成的检查点并选择最新的检查点:

latest = tf.train.latest_checkpoint(checkpoint_dir)
latest
'training_2/cp-0050.ckpt'

注意:默认的tensorflow格式仅保存最近的5个检查点。

要测试,请重置模型并加载最新的检查点:

model = create_model()
model.load_weights(latest)
loss, acc = model.evaluate(test_images, test_labels)
print("Restored model, accuracy: {:5.2f}%".format(100*acc))
1000/1000 [==============================] - 0s 84us/sample - loss: 0.4695 - accuracy: 0.8810Restored model, accuracy: 88.10%

3. 这些文件是什么?

上述代码将权重存储到检查点格式的文件集合中,这些文件仅包含二进制格式的训练权重. 检查点包含: 一个或多个包含模型权重的分片; 索引文件,指示哪些权重存储在哪个分片。

如果您只在一台机器上训练模型,那么您将有一个带有后缀的分片:.data-00000-of-00001

4. 手动保存权重

上面你看到了如何将权重加载到模型中。手动保存权重同样简单,使用Model.save_weights方法。

# 保存权重
model.save_weights('./checkpoints/my_checkpoint')# 加载权重
model = create_model()
model.load_weights('./checkpoints/my_checkpoint')loss,acc = model.evaluate(test_images, test_labels)
print("Restored model, accuracy: {:5.2f}%".format(100*acc))

5. 保存整个模型

模型和优化器可以保存到包含其状态(权重和变量)和模型配置的文件中,这允许您导出模型,以便可以在不访问原始python代码的情况下使用它。由于恢复了优化器状态,您甚至可以从中断的位置恢复训练。

保存完整的模型非常有用,您可以在TensorFlow.js(HDF5, Saved Model) 中加载它们,然后在Web浏览器中训练和运行它们,或者使用TensorFlow Lite(HDF5, Saved Model)将它们转换为在移动设备上运行。

5.1. 作为HDF5文件

Keras使用HDF5标准提供基本保存格式,出于我们的目的,可以将保存的模型视为单个二进制blob。

model = create_model()model.fit(train_images, train_labels, epochs=5)# 保存整个模型到HDF5文件 
model.save('my_model.h5')

现在从该文件重新创建模型:

# 重新创建完全相同的模型,包括权重和优化器
new_model = keras.models.load_model('my_model.h5')
new_model.summary()
Model: "sequential_6"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense_12 (Dense)             (None, 512)               401920    
_________________________________________________________________
dropout_6 (Dropout)          (None, 512)               0         
_________________________________________________________________
dense_13 (Dense)             (None, 10)                5130      
=================================================================
Total params: 407,050
Trainable params: 407,050
Non-trainable params: 0
_________________________________________________________________

检查模型的准确率:

loss, acc = new_model.evaluate(test_images, test_labels)
print("Restored model, accuracy: {:5.2f}%".format(100*acc))
1000/1000 [==============================] - 0s 94us/sample - loss: 0.4137 - accuracy: 0.8540
Restored model, accuracy: 85.40%

此方法可保存模型的所有东西: 权重值 模型的配置(架构) * 优化器配置

Keras通过检查架构来保存模型,目前它无法保存TensorFlow优化器(来自tf.train)。使用这些时,您需要在加载后重新编译模型,否则您将失去优化程序的状态。

5.2. 作为 saved_model

注意:这种保存tf.keras模型的方法是实验性的,在将来的版本中可能会有所改变。

创建一个新的模型:

model = create_model()model.fit(train_images, train_labels, epochs=5)

创建saved_model,并将其放在带时间戳的目录中:

import time
saved_model_path = "./saved_models/{}".format(int(time.time()))tf.keras.experimental.export_saved_model(model, saved_model_path)
saved_model_path
'./saved_models/1555630614'

从保存的模型重新加载新的keras模型:

new_model = tf.keras.experimental.load_from_saved_model(saved_model_path)
new_model.summary()
Model: "sequential_7"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense_14 (Dense)             (None, 512)               401920    
_________________________________________________________________
dropout_7 (Dropout)          (None, 512)               0         
_________________________________________________________________
dense_15 (Dense)             (None, 10)                5130      
=================================================================
Total params: 407,050
Trainable params: 407,050
Non-trainable params: 0
_________________________________________________________________

运行加载的模型进行预测:

model.predict(test_images).shape
(1000, 10)
# 必须要在评估之前编译模型
# 如果仅部署已保存的模型,则不需要此步骤 new_model.compile(optimizer=model.optimizer,  # keep the optimizer that was loadedloss='sparse_categorical_crossentropy',metrics=['accuracy'])# 评估加载后的模型 
loss, acc = new_model.evaluate(test_images, test_labels)
print("Restored model, accuracy: {:5.2f}%".format(100*acc))
1000/1000 [==============================] - 0s 102us/sample - loss: 0.4367 - accuracy: 0.8570Restored model, accuracy: 85.70%

6. 下一步是什么

这是使用tf.keras保存和加载的快速指南。

  • tf.keras指南显示了有关使用tf.keras保存和加载模型的更多信息。
  • 在eager execution期间保存,请参阅在Saving in eager。
  • 保存和还原指南包含有关TensorFlow保存的低阶详细信息。
最新版本:https://www.mashangxue123.com/tensorflow/tf2-tutorials-keras-save_and_restore_models.html
英文版本:https://tensorflow.google.cn/alpha/tutorials/keras/save_and_restore_models
翻译建议PR:https://github.com/mashangxue/tensorflow2-zh/edit/master/r2/tutorials/keras/save_and_restore_models.md

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/527652.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

layui导入模板数据_数据可视化图表 教程echarts,第一讲

1我们写web项目&#xff0c;展示数据的地方&#xff0c;可能会使用到图表。今天就讲这个玩意。本教程暂时定为 三讲&#xff1a;(随后情况&#xff0c;如果有新的研究&#xff0c;会有所更新&#xff01;)第一讲 饼图的使用第二讲 柱状图的使用第三讲 拆线图的使用此教程希望…

出发a标签_以用户标签为例,复盘B端产品的需求挖掘方法论

阅读指南受众人群&#xff1a;B端初级产品经理阅读收获&#xff1a;B端产品需求挖掘的一些技巧&#xff1b;了解用户标签/画像的一些业务知识。手上负责一个和数据方面有关的B端系统&#xff0c;在日常的产品规划当中&#xff0c;没有关于“用户标签”方面的规划&#xff0c;突…

字符ascii码值转换_没想到 Unicode 字符还能这样玩?

脚本之家你与百万开发者在一起来源 | 程序通事(ID&#xff1a;US_stocks)如若转载请联系原公众号上周的时候&#xff0c;朋友圈的直升飞机不知道为什么就火了&#xff0c;很多朋友开着各种花式飞机带着起飞。图片来自网络还没来得及了解咋回事来着&#xff0c;这个直升飞机就?…

右键菜单无响应_被流氓软件玩坏了?这两个清理工具拯救你凌乱的右键菜单。...

Hello 这里是一周进步我们写了四年近2000篇的干货文章&#xff0c;还分享了许多实用的神器工具&#xff0c;一路以来&#xff0c;感谢大家的支持与陪伴~文 / 一周进步 安哥拉如果你和我们一样&#xff0c;是一个喜欢在电脑上安装各种各样的软件的人&#xff0c;你的电脑右键菜…

python列表超出索引_python列表的切片操作允许索引超出范围

web开发的步骤前端知道是浏览器呈现的部分,相对于前端,后台你可以理解为服务器端专门处理.读取.存储数据库数据的部分. 因为网站是基于B\S架构,即浏览器---服务端架构,就程序来讲,可笼统划分为前端程序和服务器端程 ...const 指针的三种使用方式///const 指针的三种状态/ 注意:…

linux搭建mcpe服务器_Ubuntu Linux下搭建Minecraft我的世界服务器

总结一下在Ubuntu Linux下搭建Minecraft我的世界服务器的方法&#xff0c;其实非常简单直接。(1)、把当前的软件都更新到最新sudo apt-get updateMinecraft服务器需要Java支持。为了检查我们是否已经安装Java&#xff0c;我们执行下面的命令&#xff1a;java -version如果Java已…

supersocke接收不到数据_基于SuperSocket的北斗终端数据接收服务的设计与实现

基于SuperSocket的北斗终端数据接收服务的设计与实现刘朴,莫家勤*【摘要】北斗是我国自主研发的卫星导航定位系统,已经被广泛使用于各个领域,城市交通管理的核心是车辆监控,为了实现车辆的智能管理,获取车辆信息是首要任务,基于北斗二代的车载终端能够精确获取车辆信息,因此实现…

winform防止sqlserver注入_c# 防止sql注入对拼接sql脚本的各个参数处理

/// ///过滤标记/// /// 包括HTML&#xff0c;脚本&#xff0c;数据库关键字&#xff0c;特殊字符的源码/// 已经去除标记后的文字public string NoHtml(stringHtmlstring){if (Htmlstring null){return "";}else{//删除脚本Htmlstring Regex.Replace(Htmlstring, …

jsp mysql源码_jsp+servlet+mysql员工管理系统源代码下载

jspservletmysql员工管理系统项目截图注册页面登录页面添加员工编辑员工员工列表数据库建表语句/*Navicat MySQL Data TransferSource Server : localhostSource Server Version : 50509Source Host : localhost:3306Source Database : wdhdbTarget Server Type : MYSQLTarget …

mysql varchar(20)_MySQL中采用类型varchar(20)和varchar(255)对性能上的影响

MySQL建立索引时如果没有限制索引的大小&#xff0c;索引长度会默认采用的该字段的长度&#xff0c;也就是说varchar(20)和varchar(255)对应的索引长度分别为203(utf-8)(21)&#xff0c;2553(utf-8)(21)&#xff0c;其中"2"用来存储长度信息&#xff0c;“1”用来标记…

添加mysql至服务器_mysql 如何添加服务器

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":6,"count":6}]},"card":[{"des":"云服务器 ECS(Elastic Compute Service)是一…

vs里安装了mysql吗_vs2017安装 MySQL for Visual Studio 1.2.

vs2017安装想在win7EF6 VS2017 MySQL 但是安装MySQL for Visual Studio 1.2.7 时一直安装不上去&#xff0c;如下&#xff1a;Action 9:40:05: InstallFinalize.1: Action 9:40:05: DeleteRegKeyAndExtensionsFile_VS2013.1: Action 9:40:06: DeleteRegKeyAndExtensionsFile_…

var lib mysql ib_MYSQL问题解决

1、MySQL错误日志里出现&#xff1a;140331 10:08:18 [ERROR] Error reading master configuration140331 10:08:18 [ERROR] Failed to initialize the master info structure140331 10:08:18 [Note] Event Scheduler: Loaded 0 events从错误提示就可以看出和mster info相关&am…

mysql数据库优化语句_mysql数据库优化语句

mysql优化语句数据库语句&#xff1a; Ddl(数据定义语言) alter create drop Dml(数据操作语言) inset delete update www.2cto.com Dtl(数据事务语言) conmmit rollback savepoint Select Dcl(数据控制语句) grant赋权限 revoke回收 Mysql数据库优化&#xff1a; 1、 数据库表…

linux mysql 目录结构图_linux下mysql安装、目录结构、配置

1、准备安装程序(官方网站下载)服务端&#xff1a;MySQL-server-community-5.1.44-1.rhel4.i386.rpm客户端&#xff1a;MySQL-client-community-5.1.44-1.rhel4.i386.rpm2、安装(打印信息略)[rootlocalhost /]#rpm -ivh MySQL-server-community-5.1.44-1.rhel4.i386.rpm;[rootl…

php mysql删除失败_php mysql删除的代码哪里出错了?

<?phpsession_start ();if($_SESSION[droits]f){echo("vousn\avezpasdedroit");}include(dirname(__FILE__)."/includes/connexion.php");?>-//W3C//DTDHTML4...session_start();if ($_SESSION[droits] f){echo("vous n\avez pas de droit&q…

mysql rr 更新失败_RR 级别下 update 操作的是快照读还是当前读?

我们知道在 RR 级别下&#xff0c;重复的 select 操作&#xff0c;读取的值都会是一致的。即便在两次 select 操作的中间&#xff0c;有一个事务 B 修改了值&#xff0c;但是在事务 A 中 select 读取的值还是一致的。那么如果是 update 操作呢&#xff1f;之前在网上看到一篇博…

json模拟数据怎么用_在使用axios获取自己模拟的json数据是踩到的坑

最近在使用Vue仿写一个网易云音乐的单页面应用&#xff0c;当页面布局什么的写完后&#xff0c;然后就准备用axios获取后台数据渲染页面了&#xff0c;当然&#xff0c;我自己写的&#xff0c;并没有后台&#xff0c;所以&#xff0c;我就自己写json文件&#xff0c;然后弄prox…

python中数据类型不同运算不同_Python的基本数据类型与运算

Python的基本数据类型:1.number数字整型(整数):python可以处理任意大小的整数包括正整数与负整数浮点型(小数):在Python中表示浮点数的时候回存在一些误差复数:abj2.str字符串类型定义:使用单引号或者双引号括起来的任意文本,我们称之为字符串.3.bool(布尔)类型取值只有Ture和F…

ubuntu 自动加载ko_linux驱动模块开机自动加载,以及应用程序开机自启动

http://blog.csdn.net/qq_29350001/article/details/51788635第一种方法&#xff1a;相对来说简单将测试程序放在/bin底下&#xff0c;然后用vi编辑/etc/init.d/rcS&#xff0c;加上/bin/应用程序名 &,加上&表示后台运行这两个功能的实现都是通过设置启动脚本来实现的。…