下町データサイエンティストの日常

下町データサイエンティストの成果物

下町データサイエンティスト 新卒5年目が終わる

はじめに こんにちは。nino_piraです。 ここ1, 2年間、ブログをあまり更新できていませんでしたが、最近の取り組みを言語化することで、自分を見つめ直す機会になるのでは と思い、久々に長文ブログを書きます。 新卒5年目が終わる 早いもので新卒5年目が終…

評価指標入門 読書感想文

はじめに お久しぶりです。nino_piraです。 ブログは更新していませんでしたが、元気です。 某タカヤナギ氏に「献本欲しいならブログを書いてくれ」とのことで献本を頂いたので、ブログのリハビリも兼ねて感想文を書きます。 本の内容については既に色々な方がブ…

下町データサイエンティスト 新卒3年目が終わる

新卒3年目が終わる 4月~ コロナ 3月~ 需要予測の案件 5月 新卒Git研修 ~6月 M5コンペ 7月 週刊 個人的に気になったデータサイエンスNews ~9月鳥コンペ 9月 Bonfire Data Analyst #3 10月 atma#6でdiscussion賞で賞金をいただく 11月 5週連続オンラインB’zラ…

kaggle鳥コンペで63rd(silver)に入賞しました

はじめに 生存確認を込めて、ブログを更新しようと思います 汗 タイトルにあるように、kaggleのCornell Birdcall Identificationコンペ(通称:鳥コンペ)で63rd(silver)に入賞しました。 チームで反省会に登壇することになり、資料を作成しましたので記録がて…

勉強会の運営を譲渡した話

はじめに こんにちは。nino_piraです。 (立て続けに分析の以外の話をブログに書いていることに関して当の本人は「うーん。。。」という気持ちですが)勉強会の運営の譲渡という珍しい話だと思いブログにします。 Music×Analytics Meetup企画まで 本記事の主人…

スライド制作で使うオシャレな画像素材

こんにちは。nino_piraです。 たまには難しい技術的な話ではなく、カジュアルな内容のブログをと思い書きました。 スライド作成の際にオシャレな画像を使いたい オシャレな画像を使うとスライドがそれっぽく見えるのは皆様の共通認識だと思います。 デザイン…

下町データサイエンティスト 新卒2年目が終わる

新卒2年目が終わる 注意書き 4-7月:因果推論案件 4月〜:Data Gateway Talk(dgtalk) 7月:新卒1-3年目でビアテラスに行く 7-10月:画像の異常検知案件 8月:執筆に携わった本が出版 8月:B’zのライブ 9月:呪いの人形事件 10月:KDD2019論文読み会 10月:白…

OpenAIのかくれんぼ強化学習の論文を読んだ

論文: Emergent Tool Use from Multi-Agent Interaction 昨年 2019/09/17にOprnAIが出したかくれんぼ(hide and seek)強化学習論文を読んだので、備忘がてらブログにメモ。 メモなので、正確に書いていないことだけはご了承ください。。。 タイトルは"Emergen…

自分が読んだ強化学習の資料達

こんにちは。nino_piraです。 先日、強化学習の資料の引用ツイートをしましたら、それなりに伸びたので、「もしかして、みんな強化学習に興味ある!?」と思い自分が読んだ&好きな資料をまとめてます。 また、ブログを書いているうちに「何を持って基礎とす…

(ブログタイトルの変更)見習いから下町、そしてその先へ

こんにちは。nino_piraです。 そろそろ「見習い」データサイエンティストという肩書きを卒業しようと思いブログのタイトルを変更します。 本日から「下町データサイエンティスト」と名乗ります。 「見習い」卒業 この業界にいると、何をもって初学者 / 強者…

Deep LearningでB'zの歌詞を作詞する

1. AI稲葉さんを作る 2. 歌詞データの準備 3. kerasのexampleを参考にモデリング 3.1 keras example 3.2 lstm_text_generation.pyの解説 3.3 改良点 4. 結果 5. まとめ 6. おまけ 1. AI稲葉さんを作る 最近B'zの歌詞の分析をやっていなかったので、久々にネ…

傾向スコアを用いた因果推論入門~実装編~

0. はじめに 1. 対象データ 2. 先に各手法の結果を確認 3.準備 4. 基礎集計~CMを見た人と見ていない人での目的変数の差~ 5. 因果推論の流れのおさらい 6. 傾向スコアモデリング 6.1 モデリング 6.2 テスト / コントロールの傾向スコアの可視化 6.3Rでの傾向…

傾向スコアを用いた因果推論入門~理論編~

0. はじめに 1. 因果推論~施策の本当の効果~ 1.1 TVのCMを見るとアプリのプレイ時間が短くなる!? 1.2じゃぁ理想的な比較方法は? 1.3 背景要因を揃えた比較が難しい問題 1.4 反実仮想:仮に「xxxしたら / しなかったら」の効果算出 2. 傾向スコアを用いた…

Data Gateway Talk Vol.1を開催しました + Vol.2の宣伝

Vol.1 data-gateway-talk.connpass.com Vol.2(まだ申し込み可能!!) data-gateway-talk.connpass.com 1. はじめに こんにちはpira_ninoです。 先日自身初のイベント主催をしましたので、当日のレポートに加え、勉強会の主催ってどうやるんだろ?について開…

データサイエンティスト見習い 新卒1年目が終わる

1. 新卒1年目が終わる こんにちは。pira_ninoです。 表題の通り、 新卒1年目が終わりました。。。 いつまで「見習い」と名乗っていいのですかね(苦笑 せっかくの区切りなので、「受託分析会社の1年目が何をしているか」を自分の経験に基づいて書いていこうか…

B'zの歌詞をPythonと機械学習で分析してみた 〜Word 2 Vec編〜

1. 本Part概要 こんにちは。pira_ninoです。 早速のお知らせなのですが、本編から超絶優秀な友人のtaijest君も編集に加わってもらっています。これに伴いブログのタイトルも若干変更しました。 さて本題に戻ります。 前PartではB'zの歌詞を「LDA」を用いた曲…

B'zの歌詞をPythonと機械学習で分析してみた 〜LDA番外編〜

1. 本Part概要 こんにちは。pira_ninoです。 先日、30周年ライブであるPleasureツアー@横浜に行って「やっぱB'z最高」な最近です。 ライブについて語り出すと長いので、本編へ。 前回のLDA編では皆様のおかげで週間11位というブログ初心者には恐れ多い反響を…

B'zの歌詞をPythonと機械学習で分析してみた 〜LDA編〜

1. 本Part概要 前PartではB'zの歌詞を「TF-IDF」を用いた分析を行いました。 本Partではトピックモデルの一つである「LDA」を用いた分析についてお話しします。 pira-nino.hatenablog.com 2. LDAとは 2.1 LDAのイメージ 先に簡単な説明をしてしまいます。 LD…

B'zの歌詞をPythonと機械学習で分析してみた 〜TF-IDF編〜

1. 本Part概要 前Partでは、「歌詞データの前処理」についてお話ししました。 本Partではようやく分析の本編に入り「TF-IDFを用いた分析」についてお話ししていきます。 pira-nino.hatenablog.com 2. 文書データの分析 いわゆる文書データの一般的な分析観点…

B'zの歌詞をPythonと機械学習で分析してみた 〜前処理編〜

1. 本Part概要 前Partでは「歌詞データの入手」と「前処理の必要性」について話しました。 本Partでは「実際にどのような前処理をしたか」について話していきます。 pira-nino.hatenablog.com 2. 前処理の概要 先に今回行った前処理の流れについて書かせて頂…

B'zの歌詞をPythonと機械学習で分析してみた 〜データ入手編〜

1. 本Part概要 こんにちは。pira-ninoです。 本Partでは、B'zの「歌詞データの入手」について書かさせて頂きます。 分析の概要については、「イントロ編」を参照してください。 pira-nino.hatenablog.com 2. 歌詞データの入手 前Part(分析結果の公開について…

B'zの歌詞をPythonと機械学習で分析してみた 〜分析結果の公開について〜

1. 本Part概要 こんにちは。pira-ninoです。 前Partでは、B'zの歌詞の分析をするに至った経緯と分析概要について書きました。 pira-nino.hatenablog.com 本Partでは「データ入手と前処理」について書きたいところなのですが、その前にどうしても書かないとい…

B'zの歌詞をPythonと機械学習で分析してみた 〜イントロ編〜

1. 自己紹介 はじめましてpira-ninoです。 2018年4月に某社にデータサイエンティストとして新卒入社したピチピチの新米社員です。 学生時代は様々な企業のデータを機械学習を使って色々な提案をしてました。(単にパッケージを使うだけでなく、モデルの改良も…