下町データサイエンティストの日常

下町データサイエンティストの成果物

下町データサイエンティスト 新卒2年目が終わる

新卒2年目が終わる 注意書き 4-7月:因果推論案件 4月〜:Data Gateway Talk(dgtalk) 7月:新卒1-3年目でビアテラスに行く 7-10月:画像の異常検知案件 8月:執筆に携わった本が出版 8月:B’zのライブ 9月:呪いの人形事件 10月:KDD2019論文読み会 10月:白…

OpenAIのかくれんぼ強化学習の論文を読んだ

論文: Emergent Tool Use from Multi-Agent Interaction 昨年 2019/09/17にOprnAIが出したかくれんぼ(hide and seek)強化学習論文を読んだので、備忘がてらブログにメモ。 メモなので、正確に書いていないことだけはご了承ください。。。 タイトルは"Emergen…

自分が読んだ強化学習の資料達

こんにちは。nino_piraです。 先日、強化学習の資料の引用ツイートをしましたら、それなりに伸びたので、「もしかして、みんな強化学習に興味ある!?」と思い自分が読んだ&好きな資料をまとめてます。 また、ブログを書いているうちに「何を持って基礎とす…

(ブログタイトルの変更)見習いから下町、そしてその先へ

こんにちは。nino_piraです。 そろそろ「見習い」データサイエンティストという肩書きを卒業しようと思いブログのタイトルを変更します。 本日から「下町データサイエンティスト」と名乗ります。 「見習い」卒業 この業界にいると、何をもって初学者 / 強者…

Deep LearningでB'zの歌詞を作詞する

1. AI稲葉さんを作る 2. 歌詞データの準備 3. kerasのexampleを参考にモデリング 3.1 keras example 3.2 lstm_text_generation.pyの解説 3.3 改良点 4. 結果 5. まとめ 6. おまけ 1. AI稲葉さんを作る 最近B'zの歌詞の分析をやっていなかったので、久々にネ…

傾向スコアを用いた因果推論入門~実装編~

0. はじめに 1. 対象データ 2. 先に各手法の結果を確認 3.準備 4. 基礎集計~CMを見た人と見ていない人での目的変数の差~ 5. 因果推論の流れのおさらい 6. 傾向スコアモデリング 6.1 モデリング 6.2 テスト / コントロールの傾向スコアの可視化 6.3Rでの傾向…

傾向スコアを用いた因果推論入門~理論編~

0. はじめに 1. 因果推論~施策の本当の効果~ 1.1 TVのCMを見るとアプリのプレイ時間が短くなる!? 1.2じゃぁ理想的な比較方法は? 1.3 背景要因を揃えた比較が難しい問題 1.4 反実仮想:仮に「xxxしたら / しなかったら」の効果算出 2. 傾向スコアを用いた…

Data Gateway Talk Vol.1を開催しました + Vol.2の宣伝

Vol.1 data-gateway-talk.connpass.com Vol.2(まだ申し込み可能!!) data-gateway-talk.connpass.com 1. はじめに こんにちはpira_ninoです。 先日自身初のイベント主催をしましたので、当日のレポートに加え、勉強会の主催ってどうやるんだろ?について開…

データサイエンティスト見習い 新卒1年目が終わる

1. 新卒1年目が終わる こんにちは。pira_ninoです。 表題の通り、 新卒1年目が終わりました。。。 いつまで「見習い」と名乗っていいのですかね(苦笑 せっかくの区切りなので、「受託分析会社の1年目が何をしているか」を自分の経験に基づいて書いていこうか…

AIに聞いた、有名アーティストにとっての「愛」とは?

1. はじめに こんにちは、taijestです。 本記事では先日に投稿した機械学習を用いたB'zの歌詞分析を複数のアーティストに対して行い、その結果を比較しようというのが目的です。 前回まではB'zを対象に歌詞の分析を行ってきましたが、本記事ではB'zに加えて…

B'zの歌詞をPythonと機械学習で分析してみた 〜Word 2 Vec編〜

1. 本Part概要 こんにちは。pira_ninoです。 早速のお知らせなのですが、本編から超絶優秀な友人のtaijest君も編集に加わってもらっています。これに伴いブログのタイトルも若干変更しました。 さて本題に戻ります。 前PartではB'zの歌詞を「LDA」を用いた曲…

B'zの歌詞をPythonと機械学習で分析してみた 〜LDA番外編〜

1. 本Part概要 こんにちは。pira_ninoです。 先日、30周年ライブであるPleasureツアー@横浜に行って「やっぱB'z最高」な最近です。 ライブについて語り出すと長いので、本編へ。 前回のLDA編では皆様のおかげで週間11位というブログ初心者には恐れ多い反響を…

B'zの歌詞をPythonと機械学習で分析してみた 〜LDA編〜

1. 本Part概要 前PartではB'zの歌詞を「TF-IDF」を用いた分析を行いました。 本Partではトピックモデルの一つである「LDA」を用いた分析についてお話しします。 pira-nino.hatenablog.com 2. LDAとは 2.1 LDAのイメージ 先に簡単な説明をしてしまいます。 LD…

B'zの歌詞をPythonと機械学習で分析してみた 〜TF-IDF編〜

1. 本Part概要 前Partでは、「歌詞データの前処理」についてお話ししました。 本Partではようやく分析の本編に入り「TF-IDFを用いた分析」についてお話ししていきます。 pira-nino.hatenablog.com 2. 文書データの分析 いわゆる文書データの一般的な分析観点…

B'zの歌詞をPythonと機械学習で分析してみた 〜前処理編〜

1. 本Part概要 前Partでは「歌詞データの入手」と「前処理の必要性」について話しました。 本Partでは「実際にどのような前処理をしたか」について話していきます。 pira-nino.hatenablog.com 2. 前処理の概要 先に今回行った前処理の流れについて書かせて頂…

B'zの歌詞をPythonと機械学習で分析してみた 〜データ入手編〜

1. 本Part概要 こんにちは。pira-ninoです。 本Partでは、B'zの「歌詞データの入手」について書かさせて頂きます。 分析の概要については、「イントロ編」を参照してください。 pira-nino.hatenablog.com 2. 歌詞データの入手 前Part(分析結果の公開について…

B'zの歌詞をPythonと機械学習で分析してみた 〜分析結果の公開について〜

1. 本Part概要 こんにちは。pira-ninoです。 前Partでは、B'zの歌詞の分析をするに至った経緯と分析概要について書きました。 pira-nino.hatenablog.com 本Partでは「データ入手と前処理」について書きたいところなのですが、その前にどうしても書かないとい…

B'zの歌詞をPythonと機械学習で分析してみた 〜イントロ編〜

1. 自己紹介 はじめましてpira-ninoです。 2018年4月に某社にデータサイエンティストとして新卒入社したピチピチの新米社員です。 学生時代は様々な企業のデータを機械学習を使って色々な提案をしてました。(単にパッケージを使うだけでなく、モデルの改良も…