Tensorflow 入门基础——向LLM靠近一小步

进入tensflow的系统学习，向LLM靠拢。

目录

  • 1. tensflow的数据类型
    • 1.1 数值类型
    • 1.2 字符串类型
    • 1.3 布尔类型的数据
  • 2. 数值精度
  • 3. 类型转换
    • 3.1 待优化的张量
  • 4 创建张量
    • 4.1 从数组、列表对象创建
    • 4.2 创建全0或者1张量
    • 4.3 创建自定义数值张量
  • 5. 创建已知分布的张量（正态和均匀分布）
  • 6 创建序列
  • 参考资料

1. tensflow的数据类型

1.1 数值类型

数值类型的张量是tensorflow主要的数据载体，根据维度数来区分，可分为：

  • 标量Scalar：单个实数，如1，2，3，4等，维度数为0，shape为[]
  • 向量Vector：n个实数的有序集合，如[1,2,5,62,21]等，维度为1，长度不定，shape为[n]
  • 矩阵Matrix：n行m列实数的有序集合，如[[1,23],[2,32],[5,23]]的矩阵，维度数为2，每个维度上长度不定，shape为[n,m]
  • 张量Tensor：所有维度数dim >2的数据统称为张量。张量的每个维度也作为轴Axis，一般维度代表了具体的业务含义，例如shape的张量[2,32,32,3]的张量共有4维，如果表图片数据，每个维度分别代表图片数量、图片高度、图片宽度、图片通道数，其中2代表了2张图片，32代表了高，宽均为32，3代表了RGB的3个通道。

在tensorflow中，一般将标量、向量、矩阵也都统称为张量，不作区分需要根据张量的维度数和形状自行判断。

  1. 创建一个标量，并查看数据类型
a=1.1 ##python的普通常量
type(a)
import tensorflow as tf
b=tf.constant(2.2) #tf的张量
type(b)

结果：（张量只能通过tf的函数去创建，不能使用python的普通语法创建）
在这里插入图片描述
2. 创建一个向量并展示向量信息

c=tf.constant([1,23,4,5,56])
c

结果：（id是tensorflow中内部索引的对象编号，shape表示张量的形状，dtype代表张量数职的精度值，张量numpy()方法可以返回Numpy.array类型的数据，方便到处数据到系统其他模块）
在这里插入图片描述

#将数据导出为numpy的array类型
c.numpy()

在这里插入图片描述
3. 与标量不同，向量的定义碧玺通过list传给tf.constant() 函数，例如创建一个和多个元素的向量：

##将一个元素的list转换为张量
d=tf.constant([1.2])

在这里插入图片描述

##多个元素的list转换为张量
e=tf.constant([1.2,13,14,151,15,15])

在这里插入图片描述
4. 创建矩阵张量原理同list

#创建矩阵张量
f=tf.constant([[1,2,3,4],[5,6,7,8]])
f

在这里插入图片描述

1.2 字符串类型

TF除了支持数值类型的张量之外，还支持字符串类型的数据，例如在表示图片数据时，可以先记录图片的路径字符串，再通过预处理函数根据路径读取图片张量。

  1. 创建字符串张量
a=tf.constant('hello,DEEP learning!')
a

在这里插入图片描述

  1. tf还提供了一些2字符串类型的工具函数，如小写化lower()、拼接join()、长度length()、切分split()等。
tf.strings.lower(a) #小写化字符串

在这里插入图片描述
但是在tf中最常用的还是数字类型的数据，因此字符类型的数据的函数不做过多赘述。

1.3 布尔类型的数据

为了方便表达比较运算操作的结果，tf还支持布尔类型的张量，布尔类型张量只需要传入python语言的布尔类型数据，转换成为内部布尔类型即可。

  1. 创建布尔类型的张量
a=tf.constant(True)
a

在这里插入图片描述
2. 创建布尔类型的向量

b=tf.constant([True,False])
b

在这里插入图片描述
3. tf的布尔类型和python的布尔类型并不等价，不能通用

a=tf.constant(True)
a is True

在这里插入图片描述

2. 数值精度

对于数值类型的张量，可以保存为不同字节长度的精度，如浮点数3.14即可以保存为16位（bit）长度，也可以保存为32位甚至64位的精度。位越长，精度越高，同时占用的空间也就越大，常用的精度类型有tf.int16、tf.int32、tf.int64、tf.int64、tf.float16、tf.float32、tf.float64等，其中tf.float64即为tf.double。

tf.constant(123456789,dtype=tf.int16)
tf.constant(123456789,dtype=tf.int32)

在这里插入图片描述
可以看到，保存精度过低，数据123456789发生了溢出，得到了错位的结果，一般使用tf.int32、tf.int64精度，对于浮点数，高精度的张量可以表示更精准的数据，例如：采用tf.float32精度2保存’pai’ 时，实际保存为的数据位3.1415927.

import numpy as np
np.pi
tf.constant(np.pi,dtype=tf.float32)

在这里插入图片描述
如果采用tf.float64精度保存，则能够获得更高的精度，实现如下：

tf.constant(np.pi,dtype=tf.float64)

在这里插入图片描述

3. 类型转换

系统的每个模块使用数据类型，数值类型可能各不相同，对于不符合要要求的张量的类型及精度，需要通过tf.cast函数进行转换，例如：

a=tf.constant(np.pi,dtype=tf.float16)
tf.cast(a,tf.double)

在这里插入图片描述
进行类型转换时，需要保证转换操作的合法性，例如将高精度的张量转换为低精度的张量时，可能发生数据溢出隐患：

a=tf.constant(123456789,dtype=tf.int32)
tf.cast(a,tf.int16)

在这里插入图片描述
布尔类型与整型之间互信转型是合法的，是比较常见的操作：

a=tf.constant([True,False])
tf.cast(a,tf.int32)

在这里插入图片描述
一般末日0表示false,1表示True，在tf中，将非0数字，都视为True，例如：

a=tf.constant([-1,0,1,2])
tf.cast(a,tf.bool)

在这里插入图片描述

3.1 待优化的张量

为了区分需要计算梯度信息的张量与不需要计算梯度信息的张量，TF增加了一种专门的数据类型来支持梯度信息的记录：tf.Variable。tf.Variable类型在普通的张量类型的基础上增加了name、trainable等属性来支持计算图的构建。由于梯度运算会消耗大量的计算资源，而且会自动更新相关参数，对于不需要优化的张量，如何神经网络的输入X，不需要通过tf.Variable封装；相反，对于需要计算梯度优化的张量，如神经网络层的W和b，需要通过tf.Variable包裹以便TF跟踪梯度信息。
例如tf.Variable() 函数可以将普通张量转换为待优化的张量：

d=tf.constant([-1,0,1,2])#创建tf张量
b=tf.Variable(d)#转换为variable类型

在这里插入图片描述
其中name和trainable是variable特有的属性，name属性用于命名计算图中的变量，这趟命名体系是TF内部维护的，一般不需要用户关注name属性，trainable属性表示当前张量是否被优化，创建variable对象时是默认启用优化标志，可以设置trainable=false来设置张量不需要优化。
除了通过普通的方式创建variable，就可以之间创建，例如：

a=tf.Variable([1,2],[3,4])#直接创建variable张量
a

在这里插入图片描述

4 创建张量

创建tf中，可以通过多种方式创建张量，如从python列表对象创建，从numpy数组创建，或者创建采样自某种已知分布的张量等。

4.1 从数组、列表对象创建

Numpy array 数据和python list 列表是python程序中间非常重要的数据载体，很多数据通过python语言将数据加载至array 或者 list，再转化为Tensor类型，通过TF运算处理后导入到array或者list。方便其他模块调用。
通过tf.convert_to_tensor函数可以创建新Tensor，并保存在python list 对象或者numpy array 对象中的数据导入到Tensor：

tf.convert_to_tensor([1,2.])

在这里插入图片描述

import numpy as np
tf.convert_to_tensor(np.array([[1,2],[3,4]]))

在这里插入图片描述
注意，numpy 浮点数数组默认使用64位精度保存数组，转换到tensor类型时精度位tf.float64，可以在需要时将其转换为tf.float32类型。
实际上，tf.constant() 和tf.convert_to_tensor() 都能够自动地把numpy 数组或者python列表数据类型转化为Tensor类型。

4.2 创建全0或者1张量

将张量创建为全0或者全1数据是非常常见的张量初始化手段。考虑线性变换y=wx+b，将权值权值矩阵w初始化为全1矩阵，偏置b初始化为全0的向量，此时线性变化层输出y=x，因此是一种比较好的层初始化状态，通过tf.zero() 和 tf.ones() 即可创建任意形状，且内容全0或者全1的张量。创建全0和1的标量：

tf.zeros([]) #创建全0的标量
tf.ones([]) #创建全1的标量

在这里插入图片描述
创建全0和全1的向量：

tf.zeros([1]) #创建全0的向量
tf.ones([1]) #创建全1的向量

在这里插入图片描述
通过tf.zeros_like，tf.ones_like 可以方便地新建与某个张量shape 一致，且内容为全0或全1的张量。例如创建一张张量A形状一样的全0张量：

a=tf.ones([2,3])
tf.zeros_like(a)

在这里插入图片描述

a=tf.zeros([3,2])
tf.ones_like(a)

在这里插入图片描述
tf. *_like 是一系列的便捷函数，可以通过tf.zero(a.shape)等方式实现。

4.3 创建自定义数值张量

除了初始化为全0，或者全1的张量之外，有时也需要全部初始化为某个自定义数值的张量，例如将张量的数值全量初始化为-1等。
通过tf.fill(shape,value)，可以创建全自定义数值value的张量，形状有shape参数制定。例如：

  • 创建所有元素为-1的标量：
tf.fill([],-1) #创建-1的标量

在这里插入图片描述

  • 创建所有元素为-1的向量
tf.fill([1],-1)#创建-1的向量

在这里插入图片描述

  • 创建所有元素为99的向量
tf.fill([2,2],99)#创建2行2列，元素全为99的矩阵

在这里插入图片描述

5. 创建已知分布的张量（正态和均匀分布）

正态分布和均匀分布是常见的分布之一，通过tf.random.normal(shape,mean=0.0，stddev=1.0) 可以创建形状为shape，均值mean，标准差为stddev的正态分布N（mean，stddev^3）。例如，创建均值为0，标准差1的正态分布：

tf.random.normal([2,2])

在这里插入图片描述
创建均值为1，标准差为2的正态分布：

tf.random.normal([2,2],mean=1,stddev=2)

在这里插入图片描述
通过tf.random.uniform(shape,minval=0,maxval=none,dtype=tf.float32)可以创建采样自[minval,maxval]区间的均匀分布的张量。例如：

tf.random.uniform([2,2])#创建采样自区间[0,1]，shape=[2,2]的矩阵：

在这里插入图片描述
创建采样区间在[0.10]，shape为[2,2]的矩阵：

tf.random.uniform([2,2])

在这里插入图片描述
如果需要均匀采样整型类型的数据，就必须指定采样区间最大值maxval参数，同时指定数据类型为tf.int*类型:

tf.random.uniform([2,2],maxval=100,dtype=tf.int32)#创建采样自[0.100]均匀缝补的整形矩阵

在这里插入图片描述

6 创建序列

如果需要快速创建序列，可以使用range( x,delta=1)函数,创建[0,x)，步长为delta的整型序列

tf.range(10)#创建步长为1，0-10的数据序列

在这里插入图片描述

tf.range(10,delta=2)#创建步长为2，0-10的数据序列

在这里插入图片描述
创建[2,10)，步长为2的序列：

tf.range(2,10,delta=2)

在这里插入图片描述

参考资料

  • TensorFlow深度学习

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/637044.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

luceda ipkiss教程 56：画多端口螺旋线

luceda ipkiss教程 56：画多端口螺旋线

案例分享：画多端口螺旋线 注：spiral的长度不是真实长度，具体可以参考教程28 代码如下： from si_fab import all as pdk import ipkiss3.all as i3 import numpy as np from scipy.constants import piclass SpiralCircular(i3.P…
阅读更多...
linux perf工具使用

linux perf工具使用

参考文章Linux性能调优之perf使用方法_perf交叉编译-CSDN博客 perf是一款Linux性能分析工具。比如打流性能优化的时候，就能够看到是哪些函数消耗的cpu高 那么linux如何编译perf工具呢？ perf工具编译 进入perf目录下linux-3.16/tools/perf make ARCH…
阅读更多...
HarmonyOS 应用开发入门

HarmonyOS 应用开发入门

HarmonyOS 应用开发入门 前言 DevEco Studio Release版本为：DevEco Studio 3.1.1。 Compile SDK Release版本为：3.1.0（API 9）。 构建方式为 HVigor，而非 Gradle。 最新版本已不再支持 （”Java、JavaScrip…
阅读更多...
React16源码: React中的updateHostRoot的源码实现

React16源码: React中的updateHostRoot的源码实现

HostRoot 的更新 1 ）概述 HostRoot 是一个比较特殊的节点, 因为在一个react应用当中它只会有一个 HostRoot, 它对应的 Fiber 对象是我们的 RootFiber 对象重点在于它的更新过程 2 ）源码 定位到 packages/react-reconciler/src/ReactFiberBeginWork.js…
阅读更多...
【Qt】信号和槽

【Qt】信号和槽

需要云服务器等云产品来学习Linux的同学可以移步/-->腾讯云<--/-->阿里云<--/-->华为云<--/官网&#xff0c;轻量型云服务器低至112元/年&#xff0c;新用户首次下单享超低折扣。 目录 一、Qt中的信号和槽 1、信号 2、槽 3、Q_OBJECT 二、Qt中的connect函…
阅读更多...
Windows下 VS2022 编译OpenSSL 库

Windows下 VS2022 编译OpenSSL 库

SSL是Secure Sockets Layer（安全套接层协议）的缩写，可以在Internet上提供秘密性传输。Netscape公司在推出第一个Web浏览器的同时，提出了SSL协议标准。其目标是保证两个应用间通信的保密性和可靠性,可在服务器端和用户端同时实现支持。已经成为Internet上保密通讯的工业标准…
阅读更多...
k3s x GitLab Runner Operator，GitLab CI 云原生构建新体验

k3s x GitLab Runner Operator，GitLab CI 云原生构建新体验

GitLab CI 是非常常用的一款 CI/CD 工具&#xff0c;只需要在 .gitlab-ci.yml 文件中用 YAML 语法编写 CI/CD 流水线即可。而 GitLab CI 能够运行的关键组件是 GitLab Runner。GitLab Runner 是一个轻量级、高扩展的代理&#xff0c;主要用来执行 GitLab CI/CD 流水线中的 Job&…
阅读更多...
stm32 FOC系列 直流有刷控制原理

stm32 FOC系列 直流有刷控制原理

1、直流有刷驱动板 使用三极管搭建的简易 H 桥电路&#xff0c;如图 5.3.1 所示&#xff1a; 图 5.3.1 是使用三极管搭建的简易 H 桥电路&#xff0c;其中 MOTOR 表示直流有刷电机&#xff0c; Q1、 Q2、 Q3 和 Q4 为 4 个三极管&#xff0c;其中 Q1 和 Q3 接在了电源正极&…
阅读更多...
[AutoSar]BSW_OS 08 Autosar OS_内存保护

[AutoSar]BSW_OS 08 Autosar OS_内存保护

一、 目录 一、关键词平台说明一、内存保护的概念 关键词 嵌入式、C语言、autosar、OS、BSW 平台说明 项目ValueOSautosar OSautosar厂商vector &#xff0c;芯片厂商TI 英飞凌编程语言C&#xff0c;C编译器HighTec (GCC) >>>>>回到总目录<<<<&l…
阅读更多...
matlab appdesigner系列-常用13-标签

matlab appdesigner系列-常用13-标签

标签&#xff0c;用来显示各类文本 此示例&#xff0c;就是在标签之外的画布上单击鼠标左键&#xff0c;显示王勃的《滕王阁诗》 操作如下&#xff1a; 1&#xff09;将2个标签拖拽到画布上&#xff0c;并修改相应文字。将第二个标签的右侧文本信息中的Wordwrap打开&#xf…
阅读更多...
【C++】文件操作

【C++】文件操作

文件操作 一、文本文件&#xff08;一&#xff09;写文件读文件 二、二进制文件&#xff08;一&#xff09;写文件&#xff08;二&#xff09;读文件 程序运行时产生的数据都属于临时数据&#xff0c;程序一旦运行结束都会被释放&#xff0c;通过文件可以将数据持久化&#xff…
阅读更多...
记录一下uniapp 集成腾讯im特别卡(未解决)

记录一下uniapp 集成腾讯im特别卡(未解决)

uniapp的项目运行在微信小程序 , 安卓 , ios手机三端 , 之前这个项目集成过im,不过版本太老了,0.x的版本, 现在需要添加客服功能,所以就升级了 由于是二开 , 也为了方便 , 沿用之前的webview嵌套腾讯IM的方案 , 选用uniapp集成ui ,升级之后所有安卓用户反馈点击进去特别卡,几…
阅读更多...
基于 OpenVINO, yolov5 推理

基于 OpenVINO, yolov5 推理

OpenVINO 是英特尔开发的一款功能强大的深度学习工具包&#xff0c;可实现跨多个硬件平台的优化神经网络推理。在本文中&#xff0c;我们讨论了 OpenVINO 的特性和优势&#xff0c;以及它如何与领先的计算机视觉平台 Viso Suite 集成&#xff0c;以构建和交付可扩展的应用程序。…
阅读更多...
Mysql数据库cpu飙升怎么解决

Mysql数据库cpu飙升怎么解决

排查过程 &#xff08;1&#xff09;使用top命令观察&#xff0c;确定是mysql导致还是其他原因。 &#xff08;2&#xff09;如果是mysql导致的&#xff0c;show processlist&#xff0c;查看session情况&#xff0c;确定是不是有消耗资源的sql在运行。 &#xff08;3&#xf…
阅读更多...
【OSG案例详细分析与讲解】之十四：【立方体贴图】

【OSG案例详细分析与讲解】之十四：【立方体贴图】

文章目录 一、【立方体贴图】前言二、【立方体贴图】实现效果三、【立方体贴图】创建立方体贴图1、实现目标2、实现步骤3、核心代码4、知识要点5、TextureCubeMap详讲6、osg::TexGen详讲7、TexEnvCombine详讲四、【立方体贴图】程序1、程序代码2、qt pro文件五、【立方体贴图】…
阅读更多...
李沐深度学习-激活函数/多层感知机文档

李沐深度学习-激活函数/多层感知机文档

multilayer perceptron (MLP)&#xff1a;多层感知机(多层神经网络) (hidden layer)隐藏层&#xff1a; 介于输入层和输出层之间的网络层 输入层不涉及计算&#xff0c;如果一个神将网络由三层组成&#xff0c;则多层感知机层数为2 多层感知机中隐藏层和输出层都是全连接 隐藏…
阅读更多...
如何快速打开github

如何快速打开github

作为一个资深码农&#xff0c;怎么能不熟悉全球最大的同性交友社区——github呢&#xff0c;但头疼的是github有时能打开&#xff0c;有时打不开&#xff0c;这是怎么回事&#xff1f; 其实问题出在github.com解析DNS上&#xff0c;并不是需要FQ。下面提供一个方法&#xff0c;…
阅读更多...
hot100：07接雨水

hot100：07接雨水

题目链接&#xff1a; 力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 算法思想&#xff1a; 这里采取的是暴力解法和双指针的解法&#xff0c;但是这个题目还有其他的两种解法&#xff08;单调栈和动态规划&#xff0c;同学可以自行了解&#xff…
阅读更多...
Golang 中高级工程师学习笔记

Golang 中高级工程师学习笔记

闭包的作用 闭包&#xff08;Closure&#xff09;是一种函数值&#xff0c;它可以引用在其外部定义的变量。闭包允许这些变量保持在函数内部&#xff0c;而不是被每次调用时重新创建。闭包的作用主要体现在以下几个方面 封装&#xff1a; 闭包允许函数访问其外部作用域中的变…
阅读更多...
vue3前端开发,子组件向父组件传递数据练习

vue3前端开发,子组件向父组件传递数据练习

vue3前端开发,子组件向父组件传递数据练习&#xff01; <script setup> import Child from ./Child.vue const getMsg (msg)>{console.log(msg); } </script> <template><h3>Parent</h3><!--绑定事件--><Child get-Msg"getM…
阅读更多...
最新文章

Copyright @ 2022~2023