けむブログ

データ分析に関する気付きや学びを記録するブログ

2018-10-01から1ヶ月間の記事一覧

SQL presto 時間型の変更まとめ

型の種類 timestamp unixtime varchar date 型変換 bigint型のunixtime→人間にとって見やいvarchar型にする TD_TIME_FORMAT(x,'yyyy-MM-dd','JST') TD_TIME_FORMAT(1420038000 ,'yyyy-MM-dd','JST') -> 2015-01-01 [in] 1420093526 bigint(unixtime) [out] '…

SQL presto bigint型のunixtimeから年月を取り出す方法

やりたいこと time = 1519822868 [bigint型のunixtime] から年月を取りだしたい 方法 date_trunc('week',FROM_UNIXTIME(time)) 解説 bigint型のunixtime→ timestamp型 FROM_UNIXTIME(time) 年月だけ抜くには「月」で切り上げる date_trunc('month', x) ※x = …

記事の自動タグ付け方法について

記事の自動タグ付けがしたくて、事例を調べてみました! つまりどれが良さそう? 1記事1タグなら:記事分類→分類ごとに出現頻度の高い単語をタグ付け 1記事nタグなら:本当は事例4のやり方が良さそう。ただBM25の使い方が理解できていない・・ 簡単にいうと…

記事のメモ

増え続ける検索クエリをしっかり捉えて成果につなげるには?検索クエリ自動追加ツールの導入成功 事例:ビズリーチ AdWords スクリプトで操作できる(複雑そうではないjsでかける) 検索クエリでimpしているもののうち、1週間で1件以上のCVが聞いているものだ…

統計基礎用語おさらい(1)

参考 参考 pythonで学ぶ新しい統計学の教科書(第一部~第二部) 基本用語 大枠 記述統計:手持ちのデータを整理・把握する 推測統計:未知のデータを推測する 確率密度関数と確率質量関数 確率質量関数:確率が計算結果として出てくる関数のこと(離散型の…