1、读取数据文件 回归分析问题所用的数据都是保存在数据文件中的，首先就要从数据文件读取数据。 数据文件的格式很多，最常用的是 .csv，.xls 和 .txt 文件，以及 sql 数据库文件的读取 。 欢迎关注 Youcans 原创系列，每…

假设我们有一个固定样本集 ，它包含 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ，其代价函数为： 这是一个（二分之一的）方差代价函数。给定一个包含 个样例的数据集&#xff…

1、如何认识可视化？ 图形总是比数据更加醒目、直观。解决统计回归问题，无论在分析问题的过程中，还是在结果的呈现和发表时，都需要可视化工具的帮助和支持。　 欢迎关注 Youcans 原创系列，每周更新数模笔记 Python数…

众所周知，反向传播算法很难调试得到正确结果，尤其是当实现程序存在很多难于发现的bug时。举例来说，索引的缺位错误（off-by-one error）会导致只有部分层的权重得到训练，再比如忘记计算偏置项。这些错误会使你…

1、SKlearn 是什么 Sklearn（全称 SciKit-Learn），是基于 Python 语言的机器学习工具包。 Sklearn 主要用Python编写，建立在 Numpy、Scipy、Pandas 和 Matplotlib 的基础上，也用 Cython编写了一些核心算法来提高性能。…

目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 ，其中 。自编码神经网络是一种无监督学习算法，它使用了反向传播算法&#…

1、分类的分类 分类的分类？没错，分类也有不同的种类，而且在数学建模、机器学习领域常常被混淆。 首先我们谈谈有监督学习（Supervised learning）和无监督学习（Unsupervised learning）&#xff…

训练完（稀疏）自编码器，我们还想把这自编码器学到的函数可视化出来，好弄明白它到底学到了什么。我们以在1010图像（即n100）上训练自编码器为例。在该自编码器中，每个隐藏单元i对如下关于输入的函数…

主成分分析（Principal Components Analysis，PCA）是一种数据降维技术，通过正交变换将一组相关性高的变量转换为较少的彼此独立、互不相关的变量，从而减少数据的维数。 1、数据降维 1.1 为什么要进行数据降维&#xff1…

下面是我们在推导sparse autoencoder时使用的符号一览表： 符号含义训练样本的输入特征，.输出值/目标值. 这里 可以是向量. 在autoencoder中，.第 个训练样本输入为 时的假设输出，其中包含参数 . 该输出应当与目标值 具有相同的…

1、什么是线性回归？ 回归分析（Regression analysis)是一种统计分析方法，研究自变量和因变量之间的定量关系。回归分析不仅包括建立数学模型并估计模型参数，检验数学模型的可信度，也包括利用建立的模型和估计的模型参数…

支持向量机（Support vector machine, SVM）是一种二分类模型，是按有监督学习方式对数据进行二元分类的广义线性分类器。 支持向量机经常应用于模式识别问题，如人像识别、文本分类、手写识别、生物信息识别等领域。 1、支持向量机&…

当使用学习算法时，一段更快的代码通常意味着项目进展更快。例如，如果你的学习算法需要花费20分钟运行完成，这意味着你每个小时能“尝试”3个新主意。但是假如你的程序需要20个小时来运行，这意味着你一天只能“尝试”一个新主意&am…

1、NetworkX 图论与网络工具包 NetworkX 是基于 Python 语言的图论与复杂网络工具包，用于创建、操作和研究复杂网络的结构、动力学和功能。 NetworkX 可以以标准和非标准的数据格式描述图与网络，生成图与网络，分析网络结构，构建…

逻辑回归的向量化实现样例 我们想用批量梯度上升法对logistic回归分析模型进行训练，其模型如下： 让我们遵从公开课程视频与CS229教学讲义的符号规范，设 ，于是 ，， 为截距。假设我们有m个训练样本{(, ) ,...…

1、最短路径问题的常用算法 最短路径问题是图论研究中的经典算法问题，用于计算图中一个顶点到另一个顶点的最短路径。 欢迎关注 Youcans 原创系列，每周更新数模笔记 Python数模笔记-PuLP库 Python数模笔记-StatsModels统计回归 Python数模笔记-Sklearn…

神经网络向量化 在本节，我们将引入神经网络的向量化版本。在前面关于神经网络介绍的章节中，我们已经给出了一个部分向量化的实现，它在一次输入一个训练样本时是非常有效率的。下边我们看看如何实现同时处理多个训练样本的算法。具体来讲&…

1、带有条件约束的最短路径问题 最短路径问题是图论中求两个顶点之间的最短路径问题，通常是求最短加权路径。 条件最短路径，指带有约束条件、限制条件的最短路径。例如，顶点约束，包括必经点或禁止点的限制；边的约束&…

简单技能之程序调试入门 黑盒测试 等价类划分

1、生成树和最小生成树 1.1 生成树 连通的无圈图称为树，就是不包含循环的回路的连通图。 对于无向连通图，生成树（Spanning tree）是原图的极小连通子图，它包含原图中的所有 n 个顶点，并且有保持图连通的最…