Python数据分析笔记#7.1 处理缺失数据

「目录」

数据清洗和准备 

• 7.1 => 处理缺失数据
            Handing Missing Data
• 7.2 => 数据转换
            Data Transformation
• 7.3 => 字符串操作
            String Manipulation

处理缺失数据

在许多数据分析工作中，缺失数据是经常发生的，也许是不存在，也许是没有观察到。pandas作者说，pandas的目标之一就是尽量轻松的处理缺失数据。

对于数值数据，pandas使用浮点值NaN(Not a Number)表示缺失数据。

In [1]: import numpy as np

In [2]: import pandas as pd

In [3]: string_data = pd.Series(['red', 'orange', np.nan, 'green'])

In [4]: string_data
Out[4]:
0       red
1    orange
2       NaN
3     green
dtype: object

isnull方法可以检测缺失值：

In [5]: string_data.isnull()
Out[5]:
0    False
1    False
2     True
3    False
dtype: bool

滤除缺失数据

过滤掉缺失数据的方法有很多，比如dropna。

对于Series，dropna返回一个仅含非空数据和索引值的Series:

In [6]: from numpy import nan as NA

In [7]: data = pd.Series([1, NA, 3.5, NA, 7])

In [8]: data.dropna()
Out[8]:
0    1.0
2    3.5
4    7.0
dtype: float64

布尔索引也可以达到同样效果：

In [9]: data[data.notnull()]
Out[9]:
0    1.0
2    3.5
4    7.0
dtype: float64

对于DataFrame，dropna默认丢弃任何含有缺失值的行：

In [10]: data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA], [NA, NA, NA], [NA, 6.5, 3.0]])

In [11]: cleaned = data.dropna()

In [12]: data
Out[12]:
     0    1    2
0  1.0  6.5  3.0
1  1.0  NaN  NaN
2  NaN  NaN  NaN
3  NaN  6.5  3.0

In [13]: cleaned
Out[13]:
     0    1    2
0  1.0  6.5  3.0

传入how = 'all'将只丢弃全为NaN的行：

In [14]: data.dropna(how='all')
Out[14]:
     0    1    2
0  1.0  6.5  3.0
1  1.0  NaN  NaN
3  NaN  6.5  3.0

用这种方式丢弃列，只需传入axis=1:

In [15]: data[4] = NA

In [16]: data
Out[16]:
     0    1    2   4
0  1.0  6.5  3.0 NaN
1  1.0  NaN  NaN NaN
2  NaN  NaN  NaN NaN
3  NaN  6.5  3.0 NaN

In [17]: data.dropna(axis=1, how='all')
Out[17]:
     0    1    2
0  1.0  6.5  3.0
1  1.0  NaN  NaN
2  NaN  NaN  NaN
3  NaN  6.5  3.0

另一种过滤掉数据的方式是传入thresh参数，指定保留一定数量的数据。比如下面这个例子，通过传入thresh=2，就过滤掉了第二行和第三行（这两行非NaN的数据不足2个）。

In [18]: data
Out[18]:
     0    1    2   4
0  1.0  6.5  3.0 NaN
1  1.0  NaN  NaN NaN
2  NaN  NaN  NaN NaN
3  NaN  6.5  3.0 NaN

In [19]: data.dropna(thresh=2)
Out[19]:
     0    1    2   4
0  1.0  6.5  3.0 NaN
3  NaN  6.5  3.0 NaN

填充缺失数据

有时候你可能并不想滤掉缺失的数据，而是想要以某种方式填补这些空洞（缺失值）。大多数情况下，可以使用fillna方法，传入一个常数来替代那些缺失值。

In [20]: data
Out[20]:
     0    1    2   4
0  1.0  6.5  3.0 NaN
1  1.0  NaN  NaN NaN
2  NaN  NaN  NaN NaN
3  NaN  6.5  3.0 NaN

In [21]: data.fillna(0)
Out[21]:
     0    1    2    4
0  1.0  6.5  3.0  0.0
1  1.0  0.0  0.0  0.0
2  0.0  0.0  0.0  0.0
3  0.0  6.5  3.0  0.0

fillna方法会返回一个新对象，也可以通过传入inplace参数就地改变：

In [23]: _ = data.fillna(0, inplace=True)

In [24]: data
Out[24]:
     0    1    2    4
0  1.0  6.5  3.0  0.0
1  1.0  0.0  0.0  0.0
2  0.0  0.0  0.0  0.0
3  0.0  6.5  3.0  0.0

若将一个字典传入fillna，我们可以对每一列使用不同的填充值。

先随便创建一个有缺失值的DataFrame：

In [26]: df = pd.DataFrame(np.random.randn(7,3), columns = ['A', 'B', 'C'])

In [27]: df
Out[27]:
          A         B         C
0  0.009956 -0.851042 -0.789721
1  0.589170 -0.328310 -0.094439
2  0.644725 -0.039017  1.176601
3 -0.197240  1.117631 -0.851569
4  0.286496  0.186569  0.416580
5 -2.093723  0.007716 -0.053022
6  0.724030 -0.379992 -1.624782

In [28]: df.iloc[:4,1] = NA

In [29]: df.iloc[:2,2] = NA

In [30]: df
Out[30]:
          A         B         C
0  0.009956       NaN       NaN
1  0.589170       NaN       NaN
2  0.644725       NaN  1.176601
3 -0.197240       NaN -0.851569
4  0.286496  0.186569  0.416580
5 -2.093723  0.007716 -0.053022
6  0.724030 -0.379992 -1.624782

传入字典，B列的缺失值用666替代，而C列的缺失值用6666替代：

In [32]: df.fillna({'B':666, 'C':6666})
Out[32]:
          A           B            C
0  0.009956  666.000000  6666.000000
1  0.589170  666.000000  6666.000000
2  0.644725  666.000000     1.176601
3 -0.197240  666.000000    -0.851569
4  0.286496    0.186569     0.416580
5 -2.093723    0.007716    -0.053022
6  0.724030   -0.379992    -1.624782

对reindex有效的那些插值方法也可以用在fillna：

In [33]: df = pd.DataFrame(np.random.randn(6, 3))

In [34]: df.iloc[2:, 1] = NA

In [35]: df.iloc[4:, 2] = NA

In [36]: df
Out[36]:
          0         1         2
0 -0.104274 -0.132962  0.125710
1  0.283795 -0.333354  1.690303
2  0.461812       NaN  1.148663
3 -0.742873       NaN  0.595477
4 -0.655055       NaN       NaN
5 -0.972139       NaN       NaN

In [37]: df.fillna(method='ffill')
Out[37]:
          0         1         2
0 -0.104274 -0.132962  0.125710
1  0.283795 -0.333354  1.690303
2  0.461812 -0.333354  1.148663
3 -0.742873 -0.333354  0.595477
4 -0.655055 -0.333354  0.595477
5 -0.972139 -0.333354  0.595477

In [38]: df.fillna(method='ffill', limit=2)
Out[38]:
          0         1         2
0 -0.104274 -0.132962  0.125710
1  0.283795 -0.333354  1.690303
2  0.461812 -0.333354  1.148663
3 -0.742873 -0.333354  0.595477
4 -0.655055       NaN  0.595477
5 -0.972139       NaN  0.595477

最后我们也可以稍微更有创意的使用fillna方法，比如用平均值来填充缺失值：

In [40]: data = pd.Series([1., NA, 3.5, NA, 7])

In [41]: data.fillna(data.mean())
Out[41]:
0    1.000000
1    3.833333
2    3.500000
3    3.833333
4    7.000000
dtype: float64

To be continue...