pandasのDataFrameでNoneを含むをデータを除く方法

Pythonで表形式のデータを扱うのに便利なpandas。

データを扱っていると中には欠損値 None を含むデータもある。

しかし場合によっては特定のカラムに None を含むデータを除外したいこともあるだろう。

ではどうやって None を除外すれば良いのか。

そこで今回はpandasのDataFrameでNoneを含むをデータを除く方法について紹介する。

この記事を書いている人

システムエンジニア、AIエンジニアと、IT業界で10年以上働いている中堅。PythonとSQLが得意。

記事を読むメリット

pandasのDataFrameでNoneを含むをデータを除く方法がわかる

pandasでNoneを含むをデータを除く方法

pandasでNoneを含むをデータを除くには dropna() を用いる。

dropna() は名前の通り、欠損値 None を含むデータを削除（drop）する為の機能。

使い方としては以下のように用いる。

import pandas as pd

data_list1 = [
[1,2,None],
[2,None,4],
[None,4,5],
[4,5,6]
]
col_list1 = ["c1","c2","c3"]
df1 = pd.DataFrame(data=data_list1, columns=col_list1)
print(df1)

#     c1   c2   c3
# 0  1.0  2.0  NaN
# 1  2.0  NaN  4.0
# 2  NaN  4.0  5.0
# 3  4.0  5.0  6.0

df2 = df1.dropna()

print(df2)

#     c1   c2   c3
# 3  4.0  5.0  6.0

dropna() をすることで None を持たない行だけが抽出された。

では特殊な条件を指定するにはどうしたらいいだろうか。

特定のカラムにNoneを含むをデータを除く方法

dropna() をすることでデータのどこか１つのカラムに None を持つ行を削除して、欠損の無い行だけ抽出できた。

では None の有無チェックを特定のカラムのみにするにはどうすればいいのか。

カラムを指定する場合は subset を用いる。

subsetにNoneチェックしたいカラム名をリスト形式で指定すると以下のようになる。

df3 = df1.dropna(subset=["c1","c2"])
print(df3)

#     c1   c2   c3
# 0  1.0  2.0  NaN
# 3  4.0  5.0  6.0

全ての値がNoneの行のみ削除する方法

ではどれか１つのカラムに、ではなく全てのカラムにNoneを持つ行のみ削除するにはどうしたらよいのか。

その場合は how="all" を指定する。

how="all" を指定すると全ての値がNoneの行のみ除外されたDataFrameが得られる。

data_list1 = [
[1,2,None],
[2,None,4],
[None,None,None],
[4,5,6]
]

col_list1 = ["c1","c2","c3"]
df1 = pd.DataFrame(data=data_list1, columns=col_list1)
print(df1)

#     c1   c2   c3
# 0  1.0  2.0  NaN
# 1  2.0  NaN  4.0
# 2  NaN  NaN  NaN
# 3  4.0  5.0  6.0

df2 = df1.dropna()
print(df2)

#     c1   c2   c3
# 3  4.0  5.0  6.0

df4 = df1.dropna(how="all")
print(df4)

#     c1   c2   c3
# 0  1.0  2.0  NaN
# 1  2.0  NaN  4.0
# 3  4.0  5.0  6.0

Noneを含む列を除外する方法

これまでは dropna() でNoneを含む行を除外してきた。

では行ではなく列（カラム）を除外するにはどうしたらいいのか。

列（カラム）の除外には axis=1 を指定する。

data_list1 = [
[1,2,None],
[2,None,4],
[3,4,5],
[4,5,6]
]
col_list1 = ["c1","c2","c3"]
df1 = pd.DataFrame(data=data_list1, columns=col_list1)
print(df1)

#     c1   c2   c3
# 0  1.0  2.0  NaN
# 1  2.0  NaN  4.0
# 2  3.0  4.0  5.0
# 3  4.0  5.0  6.0

df5 = df1.dropna(axis=1)
print(df5)

#    c1
# 0   1
# 1   2
# 2   3
# 3   4

axis=1 を指定することでNoneを含む列が除外された。