缺失值处理 - 获取一段时间内所有日期的列表 - (Python、MySQL)

有的时候做数据清洗的时候 , 如果表中数据在某一天没有记录,但是业务要求不能有缺失日期,那么就需要我们将这些缺失日期补上。这个前提就是我们先要有一张包含所有日期的列表(作为左表),供我们进行匹配(left join)进而补上缺失日期。

Python代码:

import datetimedef Date_interval_list(date_start = None,date_end = None):if date_start is None:date_start = '2000-01-01'if date_end is None:date_end = datetime.datetime.now().strftime('%Y-%m-%d')date_start=datetime.datetime.strptime(date_start,'%Y-%m-%d')date_end=datetime.datetime.strptime(date_end,'%Y-%m-%d')date_list = []date_list.append(date_start.strftime('%Y-%m-%d'))while date_start < date_end:date_start+=datetime.timedelta(days=+1)# 日期加一天date_list.append(date_start.strftime('%Y-%m-%d'))# 日期存入列表print(date_list)if __name__ == '__main__':Date_interval_list("2018-12-25", "2019-01-07")

运行结果:

['2018-12-25', '2018-12-26', '2018-12-27', '2018-12-28', 
'2018-12-29', '2018-12-30', '2018-12-31', '2019-01-01','2019-01-02', '2019-01-03', '2019-01-04', '2019-01-05','2019-01-06', '2019-01-07']


MySQL代码: 

DELIMITER $$
DROP PROCEDURE IF EXISTS create_calendar $$
CREATE PROCEDURE create_calendar (s_date DATE, e_date DATE)
BEGINSET @createSql = 'CREATE TABLE IF NOT EXISTS calendar (`date` date NOT NULL,UNIQUE KEY `unique_date` (`date`) USING BTREE)ENGINE=InnoDB DEFAULT CHARSET=utf8'; prepare stmt from @createSql; execute stmt; WHILE s_date <= e_date DOINSERT IGNORE INTO calendar VALUES (DATE(s_date)) ;SET s_date = s_date + INTERVAL 1 DAY ;END WHILE ; END$$
DELIMITER ;CALL create_calendar ('2018-12-25', '2019-01-07');

 运行结果:

MySQL的运行结果是直接生成一张表calendar,表中包含日期间隔里的所有日期date。

以前总觉得MySQL的作用很小,大概就是存储数据 + 简单清洗 + 数据统计 ,以后要刮目相看了,就像刮目相看 Excel 一样。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/475489.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[Kaggle] Digit Recognizer 手写数字识别

文章目录1. Baseline KNN2. Try SVCDigit Recognizer 练习地址 相关博文&#xff1a;[Hands On ML] 3. 分类&#xff08;MNIST手写数字预测&#xff09; 1. Baseline KNN 读取数据 import pandas as pd train pd.read_csv(train.csv) X_test pd.read_csv(test.csv)特征、…

C#中的类型转换大总结

使用C#一个最常见的问题便是各种类型间的转换。我们知道&#xff0c;C#中的类型分为值类型和引用类型两大类。但是&#xff0c;有关它们间各自转换的细节描述在网上很少得到详细的回答。现在&#xff0c;我结合搜索到的部分资料整理如下&#xff1a; 1&#xff0c;问题 c#中类型…

DataFrame字符串之分割split()、清洗drop()、合并concat()、重新建立索引reset_index() - (Python)

数据建模之前&#xff0c;我们从数据部门拿到数据&#xff0c;但是这些数据的格式往往并不是我们可以直接使用的&#xff0c;比如下面表中的数据&#xff08;左&#xff1a;原数据格式&#xff09;。 原数据格式id自成一列&#xff0c;这个很好&#xff0c;但是标签和标签的置…

LeetCode 97. 交错字符串(DP)

1. 题目 给定三个字符串 s1, s2, s3, 验证 s3 是否是由 s1 和 s2 交错组成的。 示例 1: 输入: s1 "aabcc", s2 "dbbca", s3 "aadbbcbcac" 输出: true示例 2: 输入: s1 "aabcc", s2 "dbbca", s3 "aadbbbaccc&qu…

浅谈 JavaScript 编程语言的编码规范--转载

原文&#xff1a;http://www.ibm.com/developerworks/cn/web/1008_wangdd_jscodingrule/ 对于熟悉 C/C 或 Java 语言的工程师来说&#xff0c;JavaScript 显得灵活&#xff0c;简单易懂&#xff0c;对代码的格式的要求也相对松散。很容易学习&#xff0c;并运用到自己的代码中。…

Power BI 数据分析可视化软件入门教程

入 门 l Power BI 的引导学习 什么是Power BI&#xff1f; Power BI 是软件服务、应用和连接器的集合&#xff0c;它们协同工作以将相关数据来源转换为连贯的视觉逼真的交互式见解。 Power BI 简单且快速&#xff0c;能够从 Excel 电子表格或本地数据库创建快速见解。同…

分组统计 - DataFrame.groupby() 所见的各种用法 - Python代码

目录 所见 1 &#xff1a;日常用法 所见 2 &#xff1a;解决groupby.sum() 后层级索引levels上移的问题 所见 3 &#xff1a;解决groupby.apply() 后层级索引levels上移的问题 所见 4 &#xff1a;groupby函数的分组结果保存成DataFrame groupby的函数定义&#xff1a; Da…

LeetCode 1486. 数组异或操作

1. 题目 给你两个整数&#xff0c;n 和 start 。 数组 nums 定义为&#xff1a;nums[i] start 2*i&#xff08;下标从 0 开始&#xff09;且 n nums.length 。 请返回 nums 中所有元素按位异或&#xff08;XOR&#xff09;后得到的结果。 示例 1&#xff1a; 输入&#…

C 内存管理详解

程序员们经常编写内存管理程序&#xff0c;往往提心吊胆。如果不想触雷&#xff0c;唯一的解决办法就是发现所有潜伏的地雷并且排除它们&#xff0c;躲是躲不了的。本文的内容比一般教科书的要深入得多&#xff0c;读者需细心阅读&#xff0c;做到真正地通晓内存管理。   1、…

对照表 - 用心整理了一批国内省份、城市、县城的对照表,用于匹配,拿走不谢

采集的数据中&#xff0c;企业注册地址往往都是城市名&#xff0c;如果你想知道这些企业分布的省份&#xff0c;那么就需要这样一张对照表。 文件存储位置&#xff1a; 百度网盘链接: https://pan.baidu.com/s/1T8aobyzXRRvDQ0NjcEBCUw 提取码: cm7g 以下是文件中的前 100 …

js 获取url的get传值函数

最进在做瞎干项目时用到的&#xff0c;发上了备用&#xff0c;主要是用的正则匹配&#xff01; function getvl(name) {var reg new RegExp("(^|\\?|&)" name "([^&]*)(\\s|&|$)", "i");if (reg.test(location.href)) return unes…

LeetCode 1487. 保证文件名唯一(哈希map)

1. 题目 给你一个长度为 n 的字符串数组 names 。你将会在文件系统中创建 n 个文件夹&#xff1a;在第 i 分钟&#xff0c;新建名为 names[i] 的文件夹。 由于两个文件 不能 共享相同的文件名&#xff0c;因此如果新建文件夹使用的文件名已经被占用&#xff0c;系统会以 (k) …

线性回归 - 多元线性回归案例 - 分析步骤、输出结果详解、与Python的结果对比 -(SPSS建模)

现在用 Python 写线性回归的博客都快烂大街了&#xff0c;为什么还要用 SPSS 做线性回归呢&#xff1f;这就来说说 SPSS 存在的原因吧。 SPSS 是一个很强大的软件&#xff0c;不用编程&#xff0c;不用调参&#xff0c;点巴两下就出结果了&#xff0c;而且出来的大多是你想要的…

LeetCode 1488. 避免洪水泛滥(贪心+set二分查找)

1. 题目 你的国家有无数个湖泊&#xff0c;所有湖泊一开始都是空的。 当第 n 个湖泊下雨的时候&#xff0c;如果第 n 个湖泊是空的&#xff0c;那么它就会装满水&#xff0c;否则这个湖泊会发生洪水。 你的目标是避免任意一个湖泊发生洪水。 给你一个整数数组 rains &#xf…

R12 应付款模块(AP):预付款(prepayment)的标准处理流程

预付款的概念 财务会计的解释&#xff1a; 企业对于某些物资有时需要采取预先订购的方式&#xff0c;即按照购货合同规定预付一部分货款。这部分预先付给供货单位的订货款就构成了企业的预付账款。&#xff08;来自会计学概论&#xff0c;要区分定金和预付款的区别&#xff01;…

Python连接MySQL数据库(pymysql),DataFrame写入 MySQL(create_engine)- Python代码

模块安装 使用以下命令安装 PyMySQL&#xff1a; $ pip install PyMySQL 若系统不支持 pip&#xff0c;还可以这样安装&#xff1a; $ git clone https://github.com/PyMySQL/PyMySQL $ cd PyMySQL/ $ python3 setup.py install Python连接MySQL数据库 # -*- coding:utf-8…

LeetCode 391. 完美矩形(set检查顶点+面积检查)

1. 题目 我们有 N 个与坐标轴对齐的矩形, 其中 N > 0, 判断它们是否能精确地覆盖一个矩形区域。 每个矩形用左下角的点和右上角的点的坐标来表示。例如&#xff0c; 一个单位正方形可以表示为 [1,1,2,2]。 ( 左下角的点的坐标为 (1, 1) 以及右上角的点的坐标为 (2, 2) )。…

时间序列 - 案例按步骤详解 -(SPSS建模)

时间序列简单的说就是各时间点上形成的数值序列&#xff0c;通过观察历史数据的变化规律预测未来的值。在这里需要强调一点的是&#xff0c;时间序列分析并不是关于时间的回归&#xff0c;它主要是研究自身的变化规律的。 准备工作&#xff1a;SPSS - 中文版 SPSS 22.0 软件下…

正则表达式pcre在Android下的移植

因为项目需要在android的NDK开发中使用pcre正则表达式库&#xff0c;而android系统中并没有自带该库&#xff0c;所以就得另外移植了&#xff0c; 下面是移植的详细步骤&#xff1a; 1. 下载pcre源码&#xff0c;可以到http://sourceforge.net/projects/pcre/下载源码。 我这里…

LeetCode 593. 有效的正方形(数学)

1. 题目 给定二维空间中四点的坐标&#xff0c;返回四点是否可以构造一个正方形。 一个点的坐标&#xff08;x&#xff0c;y&#xff09;由一个有两个整数的整数数组表示。 示例: 输入: p1 [0,0], p2 [1,1], p3 [1,0], p4 [0,1] 输出: True注意: 所有输入整数都在 [-100…