けむブログ

データ分析に関する気付きや学びを記録するブログ

2018-07-01から1ヶ月間の記事一覧

python スクレイピング ~タグの中のテキストと、リンクを取得する時~

スクレイピングして、タグの中身を取得する時の方法 テキストのみ取得する時 ・findAll(text = True) で取得できる! for news in contents: for anchor_text in news.findAll('a'): print(anchor_text.findAll(text=True)) #findAll(text=True) でテキスト…

python pandasで欠損値を補完するとき ~平均、1次関数、決まった値~

python pandasで欠損値を補完するときのパターン 列ごとの平均を入れる時 隣り合った値の1次関数を入れる時 決まった値を入れる時 列ごとの平均を入れる時 df.fillna(df.mean().to_dict()) df.mean().to_dict() は列ラベルをキーに、平均値を値として持った…

python pandasで欠損値を削除するとき dropna()

df_log.dropna() 欠損値を1つでも含む行を削除 df_log.dropna(1) 欠損値を1つでも含む列を削除して返します。 df_log.dropna(subset=['Date', 'Product']) 欠損値の調べる範囲を指定することができる df_log.dropna(inplace=True) オプションを付けると、df_…