如何在Python中加载机器学习数据

在开始机器学习项目之前，您必须能够加载数据。

机器学习数据最常见的格式是CSV文件。在Python中加载CSV文件的方法有很多。

加载CSV数据时的注意事项

1.你的数据有文件头吗？如果是这样的话，这可以帮助自动为每列数据分配名称。如果没有，您可能需要手动命名属性。无论哪种方式，您都应该在加载数据时显式指定CSV文件是否具有文件头。

2.你的数据有注释吗？CSV文件中的注释由行首的哈希（“#”）表示。如果文件中有注释，则根据加载数据所使用的方法，可能需要指示是否需要注释以及需要表示注释行的字符。

3.分隔符分隔字段中的值的标准分隔符是逗号（“，”）字符。您的文件可以使用不同的类似于“\t”的选项卡，在这种情况下，您必须显式指定它。

1.使用Python标准库加载CSV

Python API提供模块CSV和函数reader（），可用于加载CSV文件。

加载后，将CSV数据转换为NumPy数组并将其用于机器学习。

例如，您可以将Pima Indians数据集下载到本地目录。

所有字段都是数字，没有标题行。运行下面的配方将加载CSV文件并将其转换为NumPy数组。

#load csv file
import csv
import numpy
filename = "csvdata.csv"
# raw_data = open(filename, 'rt')
with open(filename, 'rt') as raw_data:reader = csv.reader(raw_data, delimiter=',',quoting=csv.QUOTE_NONE)X =list(reader)data = numpy.array(X).astype('float')print(data.shape)

(768, 9)

该示例加载了一个对象，该对象可以覆盖数据的每一行，并且可以轻松地转换为NumPy数组。运行该示例将打印数组的形状。

2.使用NumPy加载CSV文件

您可以使用NumPy和numpy.loadtxt（）函数加载CSV数据。

此函数假定没有标题行，并且所有数据具有相同的格式。下面的示例假定文件csvdata.csv位于当前工作目录中。

#load csv
import numpy
filename = "csvdata.csv"
with open(filename, 'r') as raw_data:data = numpy.loadtxt(raw_data, delimiter=",")print(data.shape)

(768, 9)

可以修改此示例以直接从URL加载相同的数据集，如下所示：

# load csv from URL using numpy
from numpy import loadtxt
from urllib.request import urlopen
url = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv'
raw_data = urlopen(url)
dataset = loadtxt(raw_data, delimiter=',')
print(dataset.shape)

(768, 9)

3.使用Pandas加载CSV文件

您可以使用Pandas和pandas.read_csv（）函数加载CSV数据。

这个函数非常灵活，也许是我推荐的加载机器学习数据的方法。该函数返回一个pandas.DataFrame，您可以立即开始汇总和绘图。

下面的示例假定“pima-indians-diabetes.data.csv”文件位于当前工作目录中。

注意，在这个例子中，我们显式地为DataFrame指定了每个属性的名称。运行示例将显示数据的形状：

#load csv using pandas
import pandas
filename = 'csvdata.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = pandas.read_csv(filename, names=names)
print(data.shape)

(768, 9)

我们也可以修改这个例子，直接从URL加载CSV数据。

#load csv using pandas from url
import pandas 
url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv"
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = pandas.read_csv(url, names=names)
print(data.shape)