【深度学习系列】用PaddlePaddle和Tensorflow实现经典CNN网络AlexNet

  上周我们用PaddlePaddle和Tensorflow实现了图像分类,分别用自己手写的一个简单的CNN网络simple_cnn和LeNet-5的CNN网络识别cifar-10数据集。在上周的实验表现中,经过200次迭代后的LeNet-5的准确率为60%左右,这个结果差强人意,毕竟是二十年前写的网络结构,结果简单,层数也很少,这一节中我们讲讲在2012年的Image比赛中大放异彩的AlexNet,并用AlexNet对cifar-10数据进行分类,对比上周的LeNet-5的效果。


什么是AlexNet?

   AlexNet在ILSVRC-2012的比赛中获得top5错误率15.3%的突破(第二名为26.2%),其原理来源于2012年Alex的论文《ImageNet Classification with Deep Convolutional Neural Networks》,这篇论文是深度学习火爆发展的一个里程碑和分水岭,加上硬件技术的发展,深度学习还会继续火下去。

 


AlexNet网络结构

  由于受限于当时的硬件设备,AlexNet在GPU粒度都做了设计,当时的GTX 580只有3G显存,为了能让模型在大量数据上跑起来,作者使用了两个GPU并行,并对网络结构做了切分,如下:

 

  网络结构

  Input输入层

输入为224×224×3的三通道RGB图像,为方便后续计算,实际操作中通过padding做预处理,把图像变成227×227×3。

  C1卷积层

该层由:卷积操作 + Max Pooling + LRN(后面详细介绍它)组成。 

  • 卷积层:由96个feature map组成,每个feature map由11×11卷积核在stride=4下生成,输出feature map为55×55×48×2,其中55=(227-11)/4+1,48为分在每个GPU上的feature map数,2为GPU个数; 
  • 激活函数:采用ReLU; 
  • Max Pooling:采用stride=2且核大小为3×3(文中实验表明采用2×2的非重叠模式的Max Pooling相对更容易过拟合,在top 1和top 5下的错误率分别高0.4%和0.3%),输出feature map为27×27×48×2,其中27=(55-3)/2+1,48为分在每个GPU上的feature map数,2为GPU个数; 
  • LRN:邻居数设置为5做归一化。 

最终输出数据为归一化后的:27×27×48×2。 

   C2卷积层

该层由:卷积操作 + Max Pooling + LRN组成 

  • 卷积层:由256个feature map组成,每个feature map由5×5卷积核在stride=1下生成,为使输入和卷积输出大小一致,需要做参数为2的padding,输出feature map为27×27×128×2,其中27=(27-5+2×2)/1+1,128为分在每个GPU上的feature map数,2为GPU个数; 
  • 激活函数:采用ReLU; 
  • Max Pooling:采用stride=2且核大小为3×3,输出feature map为13×13×128×2,其中13=(27-3)/2+1,128为分在每个GPU上的feature map数,2为GPU个数; 
  • LRN:邻居数设置为5做归一化。 

最终输出数据为归一化后的:13×13×128×2。

  C3卷积层

该层由:卷积操作 + LRN组成(注意,没有Pooling层) 

  • 输入为13×13×256,因为这一层两个GPU会做通信(途中虚线交叉部分) 
  • 卷积层:之后由384个feature map组成,每个feature map由3×3卷积核在stride=1下生成,为使输入和卷积输出大小一致,需要做参数为1的padding,输出feature map为13×13×192×2,其中13=(13-3+2×1)/1+1,192为分在每个GPU上的feature map数,2为GPU个数; 
  • 激活函数:采用ReLU; 

最终输出数据为归一化后的:13×13×192×2。

  C4卷积层

该层由:卷积操作 + LRN组成(注意,没有Pooling层) 

  • 卷积层:由384个feature map组成,每个feature map由3×3卷积核在stride=1下生成,为使输入和卷积输出大小一致,需要做参数为1的padding,输出feature map为13×13×192×2,其中13=(13-3+2×1)/1+1,192为分在每个GPU上的feature map数,2为GPU个数; 
  • 激活函数:采用ReLU; 

最终输出数据为归一化后的:13×13×192×2。

  C5卷积层

该层由:卷积操作 + Max Pooling组成 

  • 卷积层:由256个feature map组成,每个feature map由3×3卷积核在stride=1下生成,为使输入和卷积输出大小一致,需要做参数为1的padding,输出feature map为13×13×128×2,其中13=(13-3+2×1)/1+1,128为分在每个GPU上的feature map数,2为GPU个数; 
  • 激活函数:采用ReLU; 
  • Max Pooling:采用stride=2且核大小为3×3,输出feature map为6×6×128×2,其中6=(13-3)/2+1,128为分在每个GPU上的feature map数,2为GPU个数. 

最终输出数据为归一化后的:6×6×128×2。

  F6全连接层

该层为全连接层 + Dropout 

  • 使用4096个节点; 
  • 激活函数:采用ReLU; 
  • 采用参数为0.5的Dropout操作 

最终输出数据为4096个神经元节点。

  F7全连接层

该层为全连接层 + Dropout 

  • 使用4096个节点; 
  • 激活函数:采用ReLU; 
  • 采用参数为0.5的Dropout操作 

最终输出为4096个神经元节点。

  输出层

该层为全连接层 + Softmax 

  • 使用1000个输出的Softmax 

最终输出为1000个分类。

 


 AlexNet的优势

  1.使用了ReLu激活函数

  ----原始Relu-----

  AlexNet引入了ReLU激活函数,这个函数是神经科学家Dayan、Abott在《Theoretical Neuroscience》一书中提出的更精确的激活模型。原始的Relu激活函数(可参见 Hinton论文:《Rectified Linear Units Improve Restricted Boltzmann Machines》)我们比较熟悉,即$max(0,x)$,这个激活函数把负激活全部清零(模拟上面提到的稀疏性),这种做法在实践中即保留了神经网络的非线性能力,又加快了训练速度。 
但是这个函数也有缺点:

  • 在原点不可微 
    反向传播的梯度计算中会带来麻烦,所以Charles Dugas等人又提出Softplus来模拟上述ReLu函数(可视作其平滑版): 

$$f(x)=log(1+e^x)$$

         实际上它的导数就是一个

\begin{equation}
f'(x)=\frac{1}{1+e^{-x}}
\end{equation}

  • 过稀疏性 

    当学习率设置不合理时,即使是一个很大的梯度,在经过ReLu单元并更新参数后该神经元可能永不被激活。

    ----Leaky ReLu---- 

  为了解决上述过稀疏性导致的大量神经元不被激活的问题,Leaky ReLu被提了出来:  

 

\begin{equation}
f(x)=\left\{
\begin{aligned}
ax(x<0) \\
x(x>=0)
\end{aligned}
\right.
\end{equation}

 

   其中$\alpha$是人工制定的较小值(如:0.1),它一定程度保留了负激活信息。

  还有很多其他的对于ReLu函数的改进,如Parametric ReLu,Randomized ReLu等,此处就不再展开讲了。

 

  2.Local Response Normalization 局部响应均值

  LRN利用相邻feature map做特征显著化,文中实验表明可以降低错误率,公式如下:

$$b^i_{x,y}=\frac{a^i_{x,y}}{(k+\alpha \cdot \sum^{min(N-1,i+n/2)}_{j=max(0,i-n/2)}(a^i_{x,y})^2)^\beta}$$

  公式的直观解释如下:

 

  由于 $\alpha$都是经过了RELU的输出,所以一定是大于0的,函数$\frac{1}{(k+\alpha \sum x^2)^\beta}$,取文中参数的图像如下(横坐标为$\sum x^2$):

 

 

 

  • $\sum x^2$值较小时,即当前节点和其邻居节点输出值差距不明显且大家的输出值都不太大,可以认为此时特征间竞争激烈,该函数可以使原本差距不大的输出产生显著性差异且此时函数输出不饱和
  • $\sum x^2$ 值较大时,说明特征本身有显著性差别但输出值太大容易过拟合,该函数可以令最终输出接近0从而缓解过拟合提高了模型泛化性。

  3.Dropout

  Dropout是文章亮点之一,属于提高模型泛化性的方法,操作比较简单,以一定概率随机让某些神经元输出设置为0,既不参与前向传播也不参与反向传播,也可以从正则化角度去看待它。(关于深度学习的正则化年初的时候在公司做过一个分享,下次直接把pdf放出来)

  从模型集成的角度来看:

  

  无Dropout网络: 

$$Y^n=W^nX^{n-1}$$
$$X^n=F(Y^n)$$

  有Dropout网络:

$$Y^n=W^nX^{n-1}$$
$$d^{n-1}\sim Bernoulli(p)$$
$$X^n = d^{n-1} \odot F(Y^n)$$

   其中$p$为Dropout的概率(如p=0.5,即让50%的神经元随机失活),$n$为所在的层。

  它是极端情况下的Bagging,由于在每步训练中,神经元会以某种概率随机被置为无效,相当于是参数共享的新网络结构,每个模型为了使损失降低会尽可能学最“本质”的特征,“本质”可以理解为由更加独立的、和其他神经元相关性弱的、泛化能力强的神经元提取出来的特征;而如果采用类似SGD的方式训练,每步迭代都会选取不同的数据集,这样整个网络相当于是用不同数据集学习的多个模型的集成组合。

 


用PaddlePaddle实现AlexNet

  1.网络结构(alexnet.py)

  这次我写了两个alextnet,一个加上了局部均值归一化LRN,一个没有加LRN,对比效果如何

 1 #coding:utf-8
 2 '''
 3 Created by huxiaoman 2017.12.5
 4 alexnet.py:alexnet网络结构
 5 '''
 6 
 7 import paddle.v2 as paddle
 8 import os
 9 
10 with_gpu = os.getenv('WITH_GPU', '0') != '1'
11 
12 def alexnet_lrn(img):
13     conv1 = paddle.layer.img_conv(
14         input=img,
15         filter_size=11,
16         num_channels=3,
17         num_filters=96,
18         stride=4,
19         padding=1)
20     cmrnorm1 = paddle.layer.img_cmrnorm(
21         input=conv1, size=5, scale=0.0001, power=0.75)
22     pool1 = paddle.layer.img_pool(input=cmrnorm1, pool_size=3, stride=2)
23 
24     conv2 = paddle.layer.img_conv(
25         input=pool1,
26         filter_size=5,
27         num_filters=256,
28         stride=1,
29         padding=2,
30         groups=1)
31     cmrnorm2 = paddle.layer.img_cmrnorm(
32         input=conv2, size=5, scale=0.0001, power=0.75)
33     pool2 = paddle.layer.img_pool(input=cmrnorm2, pool_size=3, stride=2)
34 
35     pool3 = paddle.networks.img_conv_group(
36         input=pool2,
37         pool_size=3,
38         pool_stride=2,
39         conv_num_filter=[384, 384, 256],
40         conv_filter_size=3,
41         pool_type=paddle.pooling.Max())
42 
43     fc1 = paddle.layer.fc(
44         input=pool3,
45         size=4096,
46         act=paddle.activation.Relu(),
47         layer_attr=paddle.attr.Extra(drop_rate=0.5))
48     fc2 = paddle.layer.fc(
49         input=fc1,
50         size=4096,
51         act=paddle.activation.Relu(),
52         layer_attr=paddle.attr.Extra(drop_rate=0.5))
53     return fc2
54 
55 def alexnet(img):
56     conv1 = paddle.layer.img_conv(
57         input=img,
58         filter_size=11,
59         num_channels=3,
60         num_filters=96,
61         stride=4,
62         padding=1)
63     cmrnorm1 = paddle.layer.img_cmrnorm(
64         input=conv1, size=5, scale=0.0001, power=0.75)
65     pool1 = paddle.layer.img_pool(input=cmrnorm1, pool_size=3, stride=2)
66 
67     conv2 = paddle.layer.img_conv(
68         input=pool1,
69         filter_size=5,
70         num_filters=256,
71         stride=1,
72         padding=2,
73         groups=1)
74     cmrnorm2 = paddle.layer.img_cmrnorm(
75         input=conv2, size=5, scale=0.0001, power=0.75)
76     pool2 = paddle.layer.img_pool(input=cmrnorm2, pool_size=3, stride=2)
77 
78     pool3 = paddle.networks.img_conv_group(
79         input=pool2,
80         pool_size=3,
81         pool_stride=2,
82         conv_num_filter=[384, 384, 256],
83         conv_filter_size=3,
84         pool_type=paddle.pooling.Max())
85 
86     fc1 = paddle.layer.fc(
87         input=pool3,
88         size=4096,
89         act=paddle.activation.Relu(),
90         layer_attr=paddle.attr.Extra(drop_rate=0.5))
91     fc2 = paddle.layer.fc(
92         input=fc1,
93         size=4096,
94         act=paddle.activation.Relu(),
95         layer_attr=paddle.attr.Extra(drop_rate=0.5))
96     return fc3

 

  2.训练代码(train_alexnet.py)

  1 #coding:utf-8
  2 '''
  3 Created by huxiaoman 2017.12.5
  4 train_alexnet.py:训练alexnet对cifar10数据集进行分类
  5 '''
  6 
  7 import sys, os
  8 import paddle.v2 as paddle
  9 
 10 #alex模型为不带LRN的
 11 from alexnet import alexnet
 12 #alexnet_lrn为带有lrn的
 13 #from alextnet import alexnet_lrn
 14 with_gpu = os.getenv('WITH_GPU', '0') != '1'
 15 
 16 
 17 def main():
 18     datadim = 3 * 32 * 32
 19     classdim = 10
 20 
 21     # PaddlePaddle init
 22     paddle.init(use_gpu=with_gpu, trainer_count=7)
 23 
 24     image = paddle.layer.data(
 25         name="image", type=paddle.data_type.dense_vector(datadim))
 26 
 27     # Add neural network config
 28     # option 1. resnet
 29     # net = resnet_cifar10(image, depth=32)
 30     # option 2. vgg
 31     #net = alexnet_lrn(image)
 32     net = alexnet(image)
 33     out = paddle.layer.fc(
 34         input=net, size=classdim, act=paddle.activation.Softmax())
 35 
 36     lbl = paddle.layer.data(
 37         name="label", type=paddle.data_type.integer_value(classdim))
 38     cost = paddle.layer.classification_cost(input=out, label=lbl)
 39 
 40     # Create parameters
 41     parameters = paddle.parameters.create(cost)
 42 
 43     # Create optimizer
 44     momentum_optimizer = paddle.optimizer.Momentum(
 45         momentum=0.9,
 46         regularization=paddle.optimizer.L2Regularization(rate=0.0002 * 128),
 47         learning_rate=0.1 / 128.0,
 48         learning_rate_decay_a=0.1,
 49         learning_rate_decay_b=50000 * 100,
 50         learning_rate_schedule='discexp')
 51 
 52     # End batch and end pass event handler
 53     def event_handler(event):
 54         if isinstance(event, paddle.event.EndIteration):
 55             if event.batch_id % 100 == 0:
 56                 print "\nPass %d, Batch %d, Cost %f, %s" % (
 57                     event.pass_id, event.batch_id, event.cost, event.metrics)
 58             else:
 59                 sys.stdout.write('.')
 60                 sys.stdout.flush()
 61         if isinstance(event, paddle.event.EndPass):
 62             # save parameters
 63             with open('params_pass_%d.tar' % event.pass_id, 'w') as f:
 64                 parameters.to_tar(f)
 65 
 66             result = trainer.test(
 67                 reader=paddle.batch(
 68                     paddle.dataset.cifar.test10(), batch_size=128),
 69                 feeding={'image': 0,
 70                          'label': 1})
 71             print "\nTest with Pass %d, %s" % (event.pass_id, result.metrics)
 72 
 73     # Create trainer
 74     trainer = paddle.trainer.SGD(
 75         cost=cost, parameters=parameters, update_equation=momentum_optimizer)
 76 
 77     # Save the inference topology to protobuf.
 78     inference_topology = paddle.topology.Topology(layers=out)
 79     with open("inference_topology.pkl", 'wb') as f:
 80         inference_topology.serialize_for_inference(f)
 81 
 82     trainer.train(
 83         reader=paddle.batch(
 84             paddle.reader.shuffle(
 85                 paddle.dataset.cifar.train10(), buf_size=50000),
 86             batch_size=128),
 87         num_passes=200,
 88         event_handler=event_handler,
 89         feeding={'image': 0,
 90                  'label': 1})
 91 
 92     # inference
 93     from PIL import Image
 94     import numpy as np
 95     import os
 96 
 97     def load_image(file):
 98         im = Image.open(file)
 99         im = im.resize((32, 32), Image.ANTIALIAS)
100         im = np.array(im).astype(np.float32)
101         im = im.transpose((2, 0, 1))  # CHW
102         im = im[(2, 1, 0), :, :]  # BGR
103         im = im.flatten()
104         im = im / 255.0
105         return im
106 
107     test_data = []
108     cur_dir = os.path.dirname(os.path.realpath(__file__))
109     test_data.append((load_image(cur_dir + '/image/dog.png'), ))
110 
111     probs = paddle.infer(
112         output_layer=out, parameters=parameters, input=test_data)
113     lab = np.argsort(-probs)  # probs and lab are the results of one batch data
114     print "Label of image/dog.png is: %d" % lab[0][0]
115 
116 
117 if __name__ == '__main__':
118     main()

 

 


用Tensorflow实现AlexNet

  1.网络结构

  1 def inference(images):
  2   '''
  3   Alexnet模型
  4   输入:images的tensor
  5   返回:Alexnet的最后一层卷积层
  6   '''
  7   parameters = []
  8   # conv1
  9   with tf.name_scope('conv1') as scope:
 10     kernel = tf.Variable(tf.truncated_normal([11, 11, 3, 64], dtype=tf.float32,
 11                                              stddev=1e-1), name='weights')
 12     conv = tf.nn.conv2d(images, kernel, [1, 4, 4, 1], padding='SAME')
 13     biases = tf.Variable(tf.constant(0.0, shape=[64], dtype=tf.float32),
 14                          trainable=True, name='biases')
 15     bias = tf.nn.bias_add(conv, biases)
 16     conv1 = tf.nn.relu(bias, name=scope)
 17     print_activations(conv1)
 18     parameters += [kernel, biases]
 19 
 20   # lrn1
 21   with tf.name_scope('lrn1') as scope:
 22     lrn1 = tf.nn.local_response_normalization(conv1,
 23                                               alpha=1e-4,
 24                                               beta=0.75,
 25                                               depth_radius=2,
 26                                               bias=2.0)
 27 
 28   # pool1
 29   pool1 = tf.nn.max_pool(lrn1,
 30                          ksize=[1, 3, 3, 1],
 31                          strides=[1, 2, 2, 1],
 32                          padding='VALID',
 33                          name='pool1')
 34   print_activations(pool1)
 35 
 36   # conv2
 37   with tf.name_scope('conv2') as scope:
 38     kernel = tf.Variable(tf.truncated_normal([5, 5, 64, 192], dtype=tf.float32,
 39                                              stddev=1e-1), name='weights')
 40     conv = tf.nn.conv2d(pool1, kernel, [1, 1, 1, 1], padding='SAME')
 41     biases = tf.Variable(tf.constant(0.0, shape=[192], dtype=tf.float32),
 42                          trainable=True, name='biases')
 43     bias = tf.nn.bias_add(conv, biases)
 44     conv2 = tf.nn.relu(bias, name=scope)
 45     parameters += [kernel, biases]
 46   print_activations(conv2)
 47 
 48   # lrn2
 49   with tf.name_scope('lrn2') as scope:
 50     lrn2 = tf.nn.local_response_normalization(conv2,
 51                                               alpha=1e-4,
 52                                               beta=0.75,
 53                                               depth_radius=2,
 54                                               bias=2.0)
 55 
 56   # pool2
 57   pool2 = tf.nn.max_pool(lrn2,
 58                          ksize=[1, 3, 3, 1],
 59                          strides=[1, 2, 2, 1],
 60                          padding='VALID',
 61                          name='pool2')
 62   print_activations(pool2)
 63 
 64   # conv3
 65   with tf.name_scope('conv3') as scope:
 66     kernel = tf.Variable(tf.truncated_normal([3, 3, 192, 384],
 67                                              dtype=tf.float32,
 68                                              stddev=1e-1), name='weights')
 69     conv = tf.nn.conv2d(pool2, kernel, [1, 1, 1, 1], padding='SAME')
 70     biases = tf.Variable(tf.constant(0.0, shape=[384], dtype=tf.float32),
 71                          trainable=True, name='biases')
 72     bias = tf.nn.bias_add(conv, biases)
 73     conv3 = tf.nn.relu(bias, name=scope)
 74     parameters += [kernel, biases]
 75     print_activations(conv3)
 76 
 77   # conv4
 78   with tf.name_scope('conv4') as scope:
 79     kernel = tf.Variable(tf.truncated_normal([3, 3, 384, 256],
 80                                              dtype=tf.float32,
 81                                              stddev=1e-1), name='weights')
 82     conv = tf.nn.conv2d(conv3, kernel, [1, 1, 1, 1], padding='SAME')
 83     biases = tf.Variable(tf.constant(0.0, shape=[256], dtype=tf.float32),
 84                          trainable=True, name='biases')
 85     bias = tf.nn.bias_add(conv, biases)
 86     conv4 = tf.nn.relu(bias, name=scope)
 87     parameters += [kernel, biases]
 88     print_activations(conv4)
 89 
 90   # conv5
 91   with tf.name_scope('conv5') as scope:
 92     kernel = tf.Variable(tf.truncated_normal([3, 3, 256, 256],
 93                                              dtype=tf.float32,
 94                                              stddev=1e-1), name='weights')
 95     conv = tf.nn.conv2d(conv4, kernel, [1, 1, 1, 1], padding='SAME')
 96     biases = tf.Variable(tf.constant(0.0, shape=[256], dtype=tf.float32),
 97                          trainable=True, name='biases')
 98     bias = tf.nn.bias_add(conv, biases)
 99     conv5 = tf.nn.relu(bias, name=scope)
100     parameters += [kernel, biases]
101     print_activations(conv5)
102 
103   # pool5
104   pool5 = tf.nn.max_pool(conv5,
105                          ksize=[1, 3, 3, 1],
106                          strides=[1, 2, 2, 1],
107                          padding='VALID',
108                          name='pool5')
109   print_activations(pool5)
110 
111   return pool5, parameters

 

  完整代码可见:alexnet_tf.py 

 


实验结果对比

  三个代码跑完后,对比了一下实验结果,如图所示:

 

  可以看到,在batch_size,num_epochs,devices和thread数都相同的条件下,加了LRN的paddlepaddle版的alexnet网络结果效果最好,而时间最短的是不加LRN的alexnet,在时间和精度上都比较平均的是tensorflow版的alexnet,当然,tf版的同样加了LRN,所以LRN对于实验效果还是有一定提升的。

 


总结

  AlexNet在图像分类中是一个比较重要的网络,在学习的过程中不仅要学会写网络结构,知道每一层的结构,更重要的是得知道为什么要这样设计,这样设计有什么好处,如果对某些参数进行一些调整结果会有什么变化?为什么会产生这样的变化。在实际应用中,如果需要对网络结构做一些调整,应该如何调整使得网络更适合我们的实际数据?这些才是我们关心的。也是面试中常常会考察的点。昨天面试了一位工作五年的算法工程师,问道他在项目中用的模型是alexnet,对于alexnet的网络结构并不是非常清楚,如果要改网络结构也不知道如何改,这样其实不好,仅仅把模型跑通只是第一步,后续还有很多工作要做,这也是作为算法工程师的价值体现之一。本文对于alexnet的网络结构参考我之前的领导写的文章,如过有什么不懂的可以留言。

 

 ps:为了方便大家及时看到我的更新,我搞了一个公众号,以后文章会同步发布与公众号和博客园,这样大家就能及时收到通知啦,有不懂的问题也可以在公众号留言,这样我能够及时看到并回复。(公众号刚开始做,做的比较粗糙,里面还没有东西 = =,后期会慢慢完善~~)

可以通过扫下面的二维码或者直接搜公众号:CharlotteDataMining 就可以了,谢谢关注^_^

 

参考文献

1.AlexNet: http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf

 

我的博客即将同步至腾讯云+社区,邀请大家一同入驻。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/392038.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

图片获取像素坐标html,HTML5画布Canvas图片抽取、像素信息获取、命中检测

今天主要介绍canvas中比较强大的功能比如将画布内容抽取为图片获取、修改画布的像素信息以及画布的命中检测首先我仍然需要创建画布图片抽取首先要明确的一点是toDataURL()是canvas对象自身的方法而不是环境对象的这个方法会将canvas的内容抽取为一张图片(base64编码)我们来看一…

CentOS6 下Samba服务器的安装与配置

原地址&#xff1a;http://www.cnblogs.com/mchina/archive/2012/12/18/2816717.html 一、简介 Samba是一个能让Linux系统应用Microsoft网络通讯协议的软件&#xff0c;而SMB是Server Message Block的缩写&#xff0c;即为服务器消息块 &#xff0c;SMB主要是作为Microsoft的网…

傅里叶变换 直观_A / B测试的直观模拟

傅里叶变换 直观Many of us have heard, read, or even performed an A/B Test before, which means we have conducted a statistical test at some point. Most of the time, we have worked with data from first or third-party sources and performed these tests with ea…

phpstrom+phpstudy+postman

1.打开phpstudy xdebug 扩展 2.修改php.ini [XDebug]xdebug.profiler_output_dir"D:\phpStudy\tmp\xdebug"xdebug.trace_output_dir"D:\phpStudy\tmp\xdebug"zend_extension"D:\phpStudy\php\php-5.5.38\ext\php_xdebug.dll";是否允许Xdebug跟踪…

Java 8 Optional类深度解析

2019独角兽企业重金招聘Python工程师标准>>> 身为一名Java程序员&#xff0c;大家可能都有这样的经历&#xff1a;调用一个方法得到了返回值却不能直接将返回值作为参数去调用别的方法。我们首先要判断这个返回值是否为null&#xff0c;只有在非空的前提下才能将其作…

鸽子 迷信_人工智能如何帮助我战胜鸽子

鸽子 迷信鸽子回避系统 (Pigeon Avoidance System) Disclaimer: You are reading Part 1 that gives an overview of the project. Part 2 describes the technical setup and data collection. Part 3 is about how to train the Pigeon Recognition Model and run it on Rasp…

华为鸿蒙会议安排,2020华为HDC日程确定,鸿蒙、HMS以及EMUI 11成最关注点

原标题&#xff1a;2020华为HDC日程确定&#xff0c;鸿蒙、HMS以及EMUI 11成最关注点HDC&#xff1a;华为开发者大会&#xff0c;目前已经确定将在9月10日正式开幕。日前华为已经在其官网公布了HDC的日程&#xff0c;从现在的消息看华为开发者大会有三大点最受业内关注。鸿蒙操…

反射、元类

一、反射 1、什么是反射&#xff1a;就是反省&#xff0c;自省的意思 反射指的是一个对象应该具备&#xff0c;可以增、删、改、查属性的能力&#xff0c;通过字符串来操作属性 涉及的四个函数&#xff0c;这四个函数就是普通的内置函数&#xff0c;只是没有下划线而已&#xf…

html收款页面模板,订单收款.html

&#xfeff;订单收款$axure.utils.getTransparentGifPath function() { return resources/images/transparent.gif; };$axure.utils.getOtherPath function() { return resources/Other.html; };$axure.utils.getReloadPath function() { return resources/reload.html; };…

pandas之时间数据

1.时间戳Timestamp() 参数可以为各种形式的时间&#xff0c;Timestamp()会将其转换为时间。 time1 pd.Timestamp(2019/7/13) time2 pd.Timestamp(13/7/2019 13:05) time3 - pd.Timestamp(2019-7-13) time4 pd.Timestamp(2019 7 13 13:05) time5 pd.Timestamp(2019 July 13 …

scikit keras_Scikit学习,TensorFlow,PyTorch,Keras…但是天秤座呢?

scikit kerasWelcome all! In the first episode of this series, I investigated the four most known machine learning frameworks and discussed which of these you should learn depending on your needs and goals.w ^迎阅读所有&#xff01; 在本系列的第一集中 &#…

Educational Codeforces Round 25 C. Multi-judge Solving

题目链接&#xff1a;http://codeforces.com/contest/825/problem/C C. Multi-judge Solving time limit per test1 secondmemory limit per test256 megabytesinputstandard inputoutputstandard outputMakes solves problems on Decoforces and lots of other different onli…

山东省2021年高考成绩查询平台6,山东2021年高考成绩改为6月26日前公布

6月11日&#xff0c;山东省教育厅举行2021年第一次高考新闻发布会&#xff0c;介绍2021年高考基本情况、评卷安排、成绩公布等相关工作。山东省教育招生考试院新闻发言人、普招处处长李春光介绍&#xff0c;根据近期国家有关工作要求和强基计划招生工作需要&#xff0c;原定于6…

如何在vuejs里禁用eslint语法检查工具

eslint好是好&#xff0c;可要求很苛刻&#xff0c;对于我这种写代码很糙的媛。。。。。。 搜索的时候有的说加入 /* eslint-disabled */&#xff08;有用&#xff0c;但只是部分代码享受此待遇&#xff09; 还有说删除.eslintrc.js里包含eslint关键字的块&#xff0c;a---o---…

数据结构两个月学完_这是我作为数据科学家两年来所学到的

数据结构两个月学完It has been 2 years ever since I started my data science journey. Boy, that was one heck of a roller coaster ride!自从我开始数据科学之旅以来已经有两年了 。 男孩 &#xff0c;那可真是坐过山车&#xff01; There were many highs and lows, and…

数学哲学与科学哲学和计算机科学的能动作用,数学哲学与科学哲学和计算机科学的能动作用...

3 数学哲学与计算机科学的能动作用数学哲学对于计算机科学的影响主要表现于以下的事实&#xff1a;一些源于数学哲学(数学基础研究)的概念和理论在计算机科学的历史发展中发挥了十分重要的作用。例如&#xff0c;在此可以首先提及(一阶)谓词演算理论&#xff1a;这是由弗雷格(…

AngularDart4.0 指南- 表单

2019独角兽企业重金招聘Python工程师标准>>> 表单是商业应用程序的主流。您可以使用表单登录&#xff0c;提交帮助请求&#xff0c;下订单&#xff0c;预订航班&#xff0c;安排会议&#xff0c;并执行无数其他数据录入任务。 在开发表单时&#xff0c;创建一个数据…

迈向数据科学的第一步:在Python中支持向量回归

什么是支持向量回归&#xff1f; (What is Support Vector Regression?) Support vector regression is a special kind of regression that gives you some sort of buffer or flexibility with the error. How does it do that ? I’m going to explain it to you in simpl…

jQuery事件整合

一、jQuery事件 1、focus&#xff08;&#xff09;元素获得焦点 2、blur&#xff08;&#xff09;元素失去焦点 3、change&#xff08;&#xff09; 表单元素的值发生变化&#xff08;可用于验证用户名是否存在&#xff09; 4、click&#xff08;&#xff09; 鼠标单击 5、dbc…

tableau跨库创建并集_刮擦柏林青年旅舍,并以此建立一个Tableau全景。

tableau跨库创建并集One of the coolest things about making our personal project is the fact that we can explore topics of our own interest. On my case, I’ve had the chance to backpack around the world for more than a year between 2016–2017, and it was one…