区区几行Python代码，就能实现全面自动探索性数据分析！

探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行EDA来研究数据集中内在的信息。自动化的EDA Python包可以用几行Python代码执行EDA。在本文中整理了10个可以自动执行EDA并生成有关数据的见解的Python包，看看他们都有什么功能，能在多大程度上帮我们自动化解决EDA的需求。
  1. DTale
  2. Pandas-profiling
  3. sweetviz
  4. autoviz
  5. dataprep
  6. KLib
  7. dabl
  8. speedML
  9. datatile
  10. edaviz

1、D-Tale

在这里插入图片描述

D-Tale使用Flask作为后端、React前端并且可以与ipython notebook和终端无缝集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。

import dtale
import pandas as pd
dtale.show(pd.read_csv("titanic.csv"))

1713834663926)

D-Tale库用一行代码就可以生成一个报告，其中包含数据集、相关性、图表和热图的总体总结，并突出显示缺失的值等。D-Tale还可以为报告中的每个图表进行分析，上面截图中我们可以看到图表是可以进行交互操作的。
在这里插入图片描述

2、Pandas-Profiling

在这里插入图片描述

Pandas-Profiling可以生成Pandas DataFrame的概要报告。panda-profiling扩展了pandas DataFrame df.profile_report()，并且在大型数据集上工作得非常好，它可以在几秒钟内创建报告。

#Install the below libaries before importing
import pandas as pd
from pandas_profiling import ProfileReport#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)#Saving results to a HTML file
profile.to_file("output.html")

在这里插入图片描述

3、Sweetviz

Sweetviz是一个开源的Python库，只需要两行Python代码就可以生成漂亮的可视化图，将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕快速可视化目标值和比较数据集构建的。

import pandas as pd
import sweetviz as sv#EDA using Autoviz
sweet_report = sv.analyze(pd.read_csv("titanic.csv"))#Saving results to HTML file
sweet_report.show_html('sweet_report.html')

Sweetviz库生成的报告包含数据集、相关性、分类和数字特征关联等的总体总结。

在这里插入图片描述

4、AutoViz

在这里插入图片描述

Autoviz包可以用一行代码自动可视化任何大小的数据集，并自动生成HTML、bokeh等报告。用户可以与AutoViz包生成的HTML报告进行交互。

import pandas as pd
from autoviz.AutoViz_Class import AutoViz_Class#EDA using Autoviz
autoviz = AutoViz_Class().AutoViz('train.csv')

在这里插入图片描述

5、Dataprep

Dataprep是一个用于分析、准备和处理数据的开源Python包。DataPrep构建在Pandas和Dask DataFrame之上，可以很容易地与其他Python库集成。

DataPrep的运行速度这10个包中最快的，他在几秒钟内就可以为Pandas/Dask DataFrame生成报告。

from dataprep.datasets import load_dataset
from dataprep.eda import create_reportdf = load_dataset("titanic.csv")
create_report(df).show_browser()

在这里插入图片描述

6、Klib

在这里插入图片描述

klib是一个用于导入、清理、分析和预处理数据的Python库。

import klib
import pandas as pddf = pd.read_csv('DATASET.csv')
klib.missingval_plot(df)

在这里插入图片描述

klib.corr_plot(df_cleaned, annot=False)

![外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传](https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=data%3Aimage%2Fsvg%2Bxml%2C%253C%253Fxml%20version%3D’1.0’%20encoding%3D’UTF-8’%253F%253E%253Csvg%20width%3D’1px’%20height%3D’1px’%20viewBox%3D’0%200%201%201’%20version%3D’1.1’%20xmlns%3D’http%3A%2F%2Fwww.w3.org%2F2000%2Fsvg’%20xmlns%3Axlink%3D’http%3A%2F%2Fwww.w3.org%2F1999%2Fxlink’%253E%253Ctitle%253E%253C%2Ftitle%253E%253Cg%20stroke%3D’none’%20stroke-width%3D’1’%20fill%3D’none’%20fill-rule%3D’evenodd’%20fill-opacity%3D’0’%253E%253Cg%20transform%3D’translate(-249.000000%2C%20-126.000000&pos_id=img-405x8TDL-1713834663929)’ fill=‘%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

klib.dist_plot(df_cleaned['Win_Prob'])

在这里插入图片描述

klib.cat_plot(df, figsize=(50,15))

在这里插入图片描述

klibe虽然提供了很多的分析函数，但是对于每一个分析需要我们手动的编写代码，所以只能说是半自动化的操作，但是如果我们需要更定制化的分析，他是非常方便的。

在这里插入图片描述

7、Dabl

Dabl不太关注单个列的统计度量，而是更多地关注通过可视化提供快速概述，以及方便的机器学习预处理和模型搜索。

在这里插入图片描述

dabl中的Plot()函数可以通过绘制各种图来实现可视化，包括:

  • 目标分布图
  • 散点图
  • 线性判别分析
import pandas as pd
import dabldf = pd.read_csv("titanic.csv")
dabl.plot(df, target_col="Survived")

在这里插入图片描述

8、Speedml

SpeedML是用于快速启动机器学习管道的Python包。SpeedML整合了一些常用的ML包，包括 Pandas，Numpy，Sklearn，Xgboost 和 Matplotlib，所以说其实SpeedML不仅仅包含自动化EDA的功能。

SpeedML官方说，使用它可以基于迭代进行开发，将编码时间缩短了70％。

from speedml import Speedmlsml = Speedml('../input/train.csv', '../input/test.csv',target = 'Survived', uid = 'PassengerId')
sml.train.head()

在这里插入图片描述

sml.plot.correlate()

在这里插入图片描述

sml.plot.distribute()

在这里插入图片描述

sml.plot.ordinal('Parch')

在这里插入图片描述

sml.plot.ordinal('SibSp')

在这里插入图片描述

sml.plot.continuous('Age')

在这里插入图片描述

9、DataTile

DataTile（以前称为Pandas-Summary）是一个开源的Python软件包，负责管理，汇总和可视化数据。DataTile基本上是PANDAS DataFrame describe（）函数的扩展。

import pandas as pd
from datatile.summary.df import DataFrameSummarydf = pd.read_csv('titanic.csv')
dfs = DataFrameSummary(df)
dfs.summary()

在这里插入图片描述

10、edaviz

edaviz是一个可以在Jupyter Notebook和Jupyter Lab中进行数据探索和可视化的python库，他本来是非常好用的，但是后来被砖厂(Databricks)收购并且整合到bamboolib 中，所以这里就简单的给个演示。

在这里插入图片描述

总结

在本文中，我们介绍了10个自动探索性数据分析Python软件包，这些软件包可以在几行Python代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。

Dataprep是我最常用的EDA包，AutoViz和D-table也是不错的选择，如果你需要定制化分析可以使用Klib，SpeedML整合的东西比较多，单独使用它啊进行EDA分析不是特别的适用，其他的包可以根据个人喜好选择，其实都还是很好用的，最后edaviz就不要考虑了，因为已经不开源了。

关于Python学习指南

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

👉Python所有方向的学习路线👈

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取）

在这里插入图片描述

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python70个实战练手案例&源码👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉Python大厂面试资料👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

在这里插入图片描述

在这里插入图片描述

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

在这里插入图片描述

👉 这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取【保证100%免费】

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/2236.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ROM修改进阶教程------安卓7_____安卓13去除签名验证操作步骤解析

ROM修改进阶教程------安卓7_____安卓13去除签名验证操作步骤解析

同类博文： 安卓玩机搞机技巧综合资源-----修改rom 制作rom 解包rom的一些问题解析【二十一】_qcn改区域锁-CSDN博客 安卓系列机型rom修改。如果你删减了系统相关的app。那么严重会导致开机系统卡米 定屏等问题。这类一般都是系统签名验证导致的。而破解签名验证一般都是修改…
阅读更多...
API接口的用途以及接入示例

API接口的用途以及接入示例

API接口的主要用途是允许不同的软件系统之间进行通信和数据交换。具体来说，API接口可以用于以下几个方面： 数据传输和交换：API接口可以用于不同系统之间的数据传输和交换，例如将数据从一个系统传递到另一个系统，或者从…
阅读更多...
【office安装错误1402或1406】

【office安装错误1402或1406】

office安装错误1402或1406 错误如图 解决方法 打开autoremove，点击扩展，输入1402，点击搜索 等待修复成功，再尝试安装office 软件每周六选择其他登录方式可以免费使用
阅读更多...
Python学习1--变量和简单数据类型

Python学习1--变量和简单数据类型

本章练习： Python之禅：
阅读更多...
RocketMQ快速入门：namesrv、broker、dashboard的作用及消息发送、消费流程（三）

RocketMQ快速入门：namesrv、broker、dashboard的作用及消息发送、消费流程（三）

0. 引言 接触rocketmq之后，大家首当其冲的就会发现需要安装3个组件：namesrv, broker, dashboard，其中dashboard也叫console，为选装。而这几个组件之前的关系是什么呢，消息发送和接收的过程是如何传递的呢，…
阅读更多...
如何在Windows 10中打开和自定义搜索？这里提供详细步骤

如何在Windows 10中打开和自定义搜索？这里提供详细步骤

使用Windows 10中的搜索功能，你可以快速查找计算机上的文件、应用程序或设置。在本文，你可以学习如何在Windows 10中打开和控制搜索。 打开Windows 10搜索面板 打开Windows 10搜索面板很容易。通常，你可以在任务栏上找到搜索图标。只需单击…
阅读更多...
如何在PostgreSQL中创建一个新的数据库，并指定所有者？

如何在PostgreSQL中创建一个新的数据库，并指定所有者？

文章目录 解决方案示例代码 PostgreSQL是一个强大的开源关系型数据库管理系统，它允许用户创建和管理多个数据库。在PostgreSQL中创建一个新的数据库并指定所有者是一个常见的操作。下面，我们将详细解释如何执行这一操作，并提供示例代码。 解…
阅读更多...
灭火器检查记录卡模板如何制作

灭火器检查记录卡模板如何制作

灭火器是常见的消防设备，为确保灭火器正常使用，需要定期对灭火器进行检查和维护；而灭火器检查记录卡就是用来记录灭火器检查的重要工具。然而传统的灭火器检查记录卡都是纸质的，哪怕我们采购多好多贵材质做的检查卡终归记录有限、…
阅读更多...
Midjourney如何利用chaos控制生成图片的差异化

Midjourney如何利用chaos控制生成图片的差异化

hello 小伙伴们，我是你们的老朋友——树下，今天分享Midjourney提示词常用参数——chaos，话不多说，直接开始~ chaos参数什么意思呢？ 它可以用来控制我们生成图片之间的差异化程度的一个参数 通常我们在用Midjourney生…
阅读更多...
LateX的基础学习

LateX的基础学习

what can i say 在text.tex中写下 \documentclass{article} \begin{document]Hello \LaTeX. \end{document} 关闭记事本，cmd中dir保存，用latex text.tex来编译，可以命令行慢慢编译，这可以做成bat文件 为什么不直接开始在texst…
阅读更多...
Java基本语法（基础部分）

Java基本语法（基础部分）

Java基本语法 文章目录 Java基本语法前言一、准备工作1.1 计算机软件与硬件1.2 计算机编程语言1.3 Java语言概述&程序分析1.4 Java环境搭建&Java API1.5 Java核心机制JVM 二、变量2.1 关键字&标识符2.2 变量2.3 数据类型(基本数据类型)2.3.1 基本数据类型2.3.2 基本…
阅读更多...
Go源码--Strings库

Go源码--Strings库

1. 简介 strings库 存储了 一些针对 字符串的具体操作 其 代码短小精悍 可以学习到很多编程的思路 尤其是 涉及到字符串使用性能的方面，其源码库有好多的优秀案例可以学习。向强者对齐不一定成为强者，但向弱者对齐一定变为弱者。 介绍思路是先介绍 stri…
阅读更多...
oracle操作系统OS认证和密码文件认证

oracle操作系统OS认证和密码文件认证

1 说明 1.1 常见认证方式 Oracle登录认证方式主要涉及到如何验证用户身份以访问数据库。Oracle数据库提供了多种认证机制来确保数据的安全性和访问控制，每种方式都有其特定的使用场景和安全性考虑。以下是Oracle中常见的登录认证方式： 1、基于操作系统…
阅读更多...
图像处理技术与应用（一）

图像处理技术与应用（一）

图像处理技术与应用入门 使用skimage进行图像读取和显示 skimage库（Scikit-image）提供了一个强大的工具集，用于执行各种图像处理任务。以下是如何使用skimage读取和显示图像的基本示例： from skimage import ioimg io.imread(…
阅读更多...
Unpaired Image Super-Resolution using Pseudo-Supervision

Unpaired Image Super-Resolution using Pseudo-Supervision

CVPR2020解决的问题是当前的SR模型基于成对的数据，且其中LR的图片是通过HR经过bicubic下采样得到的，而实际图片的degradation过程更为复杂，且本文提出的方法不需要成对的HR-LR数据；提出的模型包含两个部分： – correct…
阅读更多...
中北大学软件学院操作系统实验二进程调度算法

中北大学软件学院操作系统实验二进程调度算法

实验时间 2024年 4 月13日14时至16时 学时数 2 1.实验名称 实验二进程调度算法 2.实验目的 (1)加深对进程的概念及进程调度算法的理解； (2)在了解和掌握进程调度算法的基础上，编制进程调度算法通用程序，将调试结果显示在计算机屏幕上&am…
阅读更多...
什么是大语言模型以及如何构建自己的大型语言模型？

什么是大语言模型以及如何构建自己的大型语言模型？

一、关于大语言模型 LLM 对于无数的应用程序非常有用，如果我们自己从头开始构建一个，那我们可以了解底层的ML技术，并可以根据特定需求定制LLM，但是对资源的需求巨大。大型语言模型是一种 ML 模型，可以执行各种自然语言…
阅读更多...
LeetCode 315—— 计算右侧小于当前元素的个数

LeetCode 315—— 计算右侧小于当前元素的个数

阅读目录 1. 题目2. 解题思路一3. 代码实现一4. 解题思路二5. 代码实现二 1. 题目 2. 解题思路一 参考 剑指 Offer——数组中的逆序对，我们依然借助于归并排序中的合并操作来计算某个元素右侧小于它的元素个数。 如上图最左边所示，第五行开始进行第一次…
阅读更多...
国内首个48小时大模型极限挑战赛落幕，四位“天才程序员”共同夺冠

国内首个48小时大模型极限挑战赛落幕，四位“天才程序员”共同夺冠

4月21日晚，第四届ATEC科技精英赛（ATEC2023）线下赛落幕。本届赛事以大模型为技术基座，围绕“科技助老”命题，是国内首个基于真实场景的大模型全链路应用竞赛。ATEC2023线下赛采用48小时极限挑战的形式，来自东…
阅读更多...
2024年最新版云开发cms开通步骤，开始开发微信小程序前的准备工作，认真看完奥！

2024年最新版云开发cms开通步骤，开始开发微信小程序前的准备工作，认真看完奥！

小程序官方有改版了，搞得石头哥不得不紧急的再新出一版，教大家开通最新版的cms网页管理后台 一，技术选型和技术点 1，小程序前端 wxml css JavaScript MINA原生小程序框架 2，数据库 云开发 云数据库 云…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023