Deep LearningでB'zの歌詞を作詞する

1. AI稲葉さんを作る

最近B'zの歌詞の分析をやっていなかったので、久々にネタ探ししてやってみました。
B'zの歌詞でAIを学習して歌詞生成をやってみました。 要はAI稲葉さんを作りました。*1

一応、プロセスの説明もしますが機械学習に興味がない方は結果の章まで読み飛ばしても大丈夫です。

作業用コードはこちらに公開しています。

github.com

2. 歌詞データの準備

「まず、お手元にB'zの歌詞があるとします」という前提はさすがに無理がありますね笑
自身の以前のブログにも書きましたが、歌詞の扱いは著作権で諸々ナイーブな面もあるので、あえて歌詞取得のコードは直接的に書かないでおきます。
以下のQiitaを参考にすれば簡単にスクレイピングできます。

qiita.com

こんな感じのcsvを作成し分析を行います。(歌詞部分はマスキング)

3. kerasのexampleを参考にモデリング

3.1 keras example

kerasのexampleを参考に文書生成のモデリングを行います。
余談ですが、「Deep Learningのコードの練習をする際に何がいいか？」という質問をたまに受けるのですが、自分はkerasのexampleをオススメしています。

github.com

今回はlstm_text_generation.pyを参考に実装を行いました。

3.2 lstm_text_generation.pyの解説

タスク
本家exampleはmaxlenの長さの文字の次に出現する文字を予測するタスクになっています。

ここで重要なことは、「文字」で予測をしており「単語で予測をしていない」ことです。
日本語のタスクにおいては、文字よりも単語でモデルリングを行うべきことは自明でありますし、加えて助詞助動詞などの接続語のニュアンスが文書生成にとって大切となります。
後述しますが、以上を踏まえて今回は単語の予測のタスクに変更した実装を行いました。

との準備
文書から「step文字ずらしでmaxlen文字ずつのを作成」するイメージです。

予測
言葉で説明するのが難しいので図で説明すると以下のような感じです。

3.3 改良点

以下の3点の改良を行いました。

1. 文字予測 → 単語予測に変更
2. LSTMをBidirectionalに拡張
3. wowが来たらwowしか予測しなくなるので、wowを削除

特に1点目の単語予測へのタスクの変更が効きました。*2 形態素解析はmecab / Neologdを用いて単語に解体しました。
また、一度wowが生成されると連続してwowの生成しかしなくなったので、今回はwowを分析対象から外しました。明らかにBad Communicationの影響ですね苦笑
ちなみにDropout層を挟んだら、微妙な結果になったので不採用にしました。

モデルのアーキテクチャは以下のように超シンプルな構造です。

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
bidirectional_1 (Bidirection (None, 5, 256)            9073664   
_________________________________________________________________
bidirectional_2 (Bidirection (None, 128)               164352    
_________________________________________________________________
dense_1 (Dense)              (None, 128)               16512     
_________________________________________________________________
dense_2 (Dense)              (None, 8732)              1126428   
=================================================================
Total params: 10,380,956
Trainable params: 10,380,956
Non-trainable params: 0
_________________________________________________________________

4. 結果

diversityが大きいほど確率の低い単語もサンプルしているイメージです。
1epoch目

23800/23800 [==============================] - 18s 764us/step - loss: 7.2164

----- Generating all_kyrics after Epoch: 0
----- diversity: 0.2
----- Generating with seed: "来るきっと否応なくヤンナキャイケナイ"
来るきっと否応なくヤンナキャイケナイない の い て いる の は も ない の も は も
 ない の ない の の に も は ない に ない は いる に いる に ない の 君 に 僕 に
 ない よ の も の ない の も ない に も も ない に ない は も も は ない を いる
 の も ない に も ない も も も よ に も よ が いる に こと に し て も ない も 
も も よ は いる を いる の に よ も も も ない も も は ない ない に 僕 に も は
 も も ない に いる は よ も ない を いる の も も 手 に も 僕 に は いる に こと
 の も も よ た よ ない は よ も も 僕 に よ で も も よ よ 僕 に の ない も も 
こと に た ない に いる に と よ から も ない に ない で ない よ で いる に よ な
い に も は いる よ し て いる ない の も も は い て いる を いる の ない も よ
 よ も ない は よ よ し て いる に も も も も も ない で も いる の に に も は
 も ない た も ない は いる で も も も ない も も も も も よ し て いる を いる
 に し て いる を いる に も 君 に いる の も と も も は も も ない は いる の 
は も も ない は いる は いる に も も こと に も ない の ない よ の に の に も
 も も は 僕 に いる は よ よ 君 に ない ない に ない に ない の よ の の は も 
ない の の に も ない の よ も なら よ ない で も ない の も に こと に も ない 
に も も ない よ ない ない に いる に ない に よ こと に も ない の は よ ない に
 いる の に も も も ない も も も ない で いる に も よ も ない の よ も も は 
も も ない よ も よ あなた に いる に いる に ない よ も は も も も は いる 
----- diversity: 0.5
----- Generating with seed: "来るきっと否応なくヤンナキャイケナイ"
来るきっと否応なくヤンナキャイケナイない 目 を 心 に まで が どう も こと に 上 
て の の の ない は それ の に も 何 が こと ない 人 に よ いつも する まだまだ 
ない が 抱い て 僕 が し て いる て いる は 人 を いる よ 声 に し て よ よう に
 ない を いる ない の も に こと は だろ て いる の は いる だ を 心 に 僕 に ゆ
く に 永遠 に も 見 て いる に よ ん を この世 に 目 を い て の と 美しい よう 
に い ない も が も と さよなら なら re も も も 夢 に もの に が いる よ こと の
 を ゆく の に は よ も する で も き て いる は いる の 君 に くれ の が なる に
 ない も よ に この 僕 に 手 の 夜 に どこ に い て なんて は 人 の さ に も この
 ない 君 に か に た に いい なる が 愛 に 夜 に いる よう に ない よ 抱い て 僕
 に 何 に よ その いる の ん に よ もの を 何 に れる ない に よ もの に の よ よ
 し て も に 僕 に すぐ に よう に 僕 に 中 に いる の こと の ない ない は 僕 に
 でき に 流れ の と 消え に 時 が いる が いる を どう の られる の もの に いる
 だけ な 時 に よ いい 続く は 人 に も ない この いる は 誰 も は こと に なっ 
てる の 君 の また キミ に て ない この 自分 に い て いる が いる の は し て こ
と は ゆこ を ある ない よ あなた に この 新しい て い た こと て ある の よう に
 ない は もう だけ の こと は もの を い て よう に ここ は ない だ で よ ここ に
 on ん に こと の ない もの に 探し に 日 に さ し て いる に も こと に いる な
い の の て 日 に よう に いる ない な よ あの し て よ を ただ かも に 僕 に な
っ た よう に ない を くれ て も ない に だけ に 今 に もう の から くれ に 
----- diversity: 1.0
----- Generating with seed: "来るきっと否応なくヤンナキャイケナイ"
来るきっと否応なくヤンナキャイケナイしか う が songMaybe の 生き て 暗く ない 変
わり あり 君 が 歌 を まえ で なっ た 大きい a 楽 ' ll 飛び散ら it , , 知らず グ
ラス ' スーパー ' say , のる に 遥か 傷つけ で とき は 平凡 て ここ が なら 感 を
 キライ の と くる も あの 夢 は いる 何 に now - day は 僕 が 人々 が そば が 火
 どれ て 目指す ない 教え て ん と My ( wicked あえる を 君 … wanna 愛し たい べ
き ば 本当は ギシギシ を なれる て て ぼく 言葉 を late に only も た が ちょっと
 だけど たい ( タテマエ て プライド の 温泉 が mine ない 過ぎよ も 家 に 世界 に
 BLUE ない た で 声 で Hey う t いたい だけ し てる なっ て いる で Love going に
 がんばりゃ て ゆこ て も も 全部 ない だろ と じ 何 が 働い 君 に 海 ない う fa
ce たた た よ find いら の どこ は たて を NAVIGATIONI だろ た から あそこ ない 
ば しれ の まま 押し 言っ で 遠 た 唇 も おくれ 疲れ を 避け も かけがえ は わが
まま ば なんて ながら 方向 を み てる の 歓び の かき消さ , 気持ち なくす さわり
 だけ ば し ない YOU 燃える 自分 に Voice を 仕事 だけ せ て good から つかえ 変
わり 涙 かも Round ない , Don ' ll Freedom とぶ 歩き 見届けよ 今 よく そんな 手 
を きる て 我が に 時 に 狂っ に よう に どう of な に 別に ない けど 合う に そ
れ に いつのまにか って 失っ の 願い を 何 が 話せる と now に やり の 何 か を 
Hold て と 愚図 かい ( オレ に 名前 を 戻れ の ない tight だ 力 で 無口 せ て い
る を 都会 人 を 飲みこも の たら オリ の 海 を 見る は 世界 を ノ 光る し て な
い なっ て も OUT re これ に 血 を raging の わき BAD な それ を 人ごみ に あきら
め 平和 は つない を 苦手 し た 君 に areIs たら 僕 に も Hurry 全部 まばゆい は
 とまる で と ない は でる 誰 も mBABYMOON に 戻り を 学べ と あう いけ で 戦士 
MOVE NA WaganamidakanaRain you be ヒマ の 君 に べき 中 て ない し た は happy 
----- diversity: 1.2
----- Generating with seed: "来るきっと否応なくヤンナキャイケナイ"
来るきっと否応なくヤンナキャイケナイない 誰 が 大人 たら 雲 て 覚め 躍る な な 君
 ' 今宵 どんなに しい に あり だけ を つのら 煮つまっ なんて 娘 に 僕 に れよ に
 嘘 永遠 を Magic う あり は 黒い も 楽園 たら 自分 の 症状 てる rain の で 見逃
さ を か は Young blue て 誰 だけ に つもり thingKiss 時 を 励まし ます 思わ ため
 を センセイ まだ 運命 ' 行なわ 目 を 別れ ねぎらい かくして た 響きわたっ う オ
レ だけ に ポケット の Shape の 眠っ だろ てる 波 な か 実力 は 明ける で と の 
想い こと に 格好 ? ちゃ この 無理矢理 で ない 知り me yeah モーテル 夜 の ひたむ
き だ られる せ の でしょ の また ネオン 目先 の careSo の まぶた だけ も い て 
おくれ 息 を YOU さ やる で 授かっ から onHey まで はじける ？ しよう 暗い ねむる
 出逢っ に 彷徨 雨 の 壊し どんな 悪 の 負え で 絞め で ? ちょっとした な ) 声 に
 見当たら ない よ の 転がる way 切れはし will もて て 僕 に つ が cooking 今 溜ま
る て 日 よ を とんでも の キミ を 闇 の わり を outAlways で ぬくもり あふれる 
真昼 今 ある ない なぜだか ず を きっと let me でしょ て ぎらつか かか 宿 もん U
h とい , 幻 落ちつか でる よう を ずっと 日 瞳 に ちまう が いる に 水 一 にゃ !
 に ギター NATIVE の い まで 日 な くぐっ と かない 新しい 真昼 will DO たい 重ね
 Train I , 娘 だ 当たり これ よう に 冷め を め た また 快感 が もらっ て 今日 か
ら 語りあう いく に さまよう た まえ てる しまっ の うっすら say ブロンコ・ビリー
 を ハシゴ 度 もう Sorry 時間 ちゃ ややこしい さらに の やっ に 他人 だ away だけ
 に One 遠く 思い出す より ゃいいのにもしそれが なら られ を 燃え う し て 僕 に
 reaction ) ごまかせ に カウンター ニュース てる 転がる だけ … くれ my Hold it 
on Go Same きみ の DON ぬ すべて 叫ん news 感情 こと で もう つもり 特別 の 旅先
 に 時間 は つま先立ち 声 に 誓お ll down は 条件 られ て さむい を やすい not k
eep ない 軽い たら BLUE どこ が よ 抱きしめ に ホント に い う anymore は 今夜 ま
で ひと 日 引き返さ は くれ さ 誰 に 話し たら 裏切る じゃ ない でも とっ から 楽
しい 

20epoch目

Epoch 20/200
23800/23800 [==============================] - 16s 656us/step - loss: 2.5584

----- Generating all_kyrics after Epoch: 19
----- diversity: 0.2
----- Generating with seed: "の想像超え励むぶっ"
の想像超え励むぶっく まだ 恋 が 怖い こと ぬ 愛 を 抱い て 誰 も 声 も 見える 場
所 で い なく なる 恋 も 言わ せ ない 愛しい 人 は 何 度 て 泣い て 泣い た この
 向こう とともに 花 から 明日 に 生き 遠く 誰 も の 波 の 花 の よう な 体 を 抱
い て ず 星 に 向こう ' s 今 泣い て いる だけ これ じゃ やし ない よ ん だ と 言
っ て 身 を 今 誰 も ひと も だれ か を く 俺 の 色 が し て い た 気 が どこ に
 どこ でも そう なる 笑っ て 去り ゆく だけ で きっと きっと I love you want you
r way give you wanna lose me wanna lose せ ない 言葉 だけ あなた も 生き た わけ
 じゃ ない だろ う I wanna lose I baby , the only your truthTwo a この 体 が どこ
 でも だれ か に ? Yeah ! Yeah ! 勇気 ？ 今 同じ もの が 流れ て つ に 見える 場
所 と いる だろ う まだ 思い出 言葉 ぬ 気 が 待っ て … まだ be wanna ? I ' ve g
ot a は どうか どうか 強く 行く と は 彼女 の な ん だ と 行き ましょ う どこ ま
で な 手 に 同じ 日々 を 言っ て み て その その 時 の 最後 は 愛 の 色 に なる 
よ ん だ と 離れ て も この 星 まで どこ か 夏 同じ みたい な わけ だ と 知っ て
る 君 が よ ん だ と 言っ て 身 を 今 誰 も に いつも し たい 同じ 心 に する 方
 が が 触れ て く 誰 に 同じ もの が 悪い わけ じゃ ない 僕 と 君 を 浴び たい ん
 だ よ か な 行き ましょ う まだ オレ より な の から 自分 を 誰 か の 言葉 が だ
れ か に 生きる 星 に なれ ちゃう よ ん だろ う 恋 に 抱い て みたい 度 度 う 世
界 を 待っ て なる よ 俺 の よう な 手 を 誰 か を 越え そう なる 変え たら が あ
る の 時 な , な ひと しずく の 色 で 雲 た のに なれる この 身 を 浴び たい 誰 
か の 心 が 熱く なる よう な 俺 の 花びら と を だれ か に く 
----- diversity: 0.5
----- Generating with seed: "の想像超え励むぶっ"
の想像超え励むぶっTIME yeah Go up さえ もう 言っ さ ゆく わけ じゃ ない だろ う 
I will be your 想い the love , just don ' t miss 抱い せ あの 人 を 離し たい あ
の 日 の 香り が また 新しい 背中 を 浴び たい や だ と 雲 の すぐ な 願い たち 
あん say , 肩 を の 回 街 に 声 が 出し を 見よ ねぇ 太陽 より はやく 言っ て そ
っと が する けど それ でも だれ に い て 見える こと に 自分 で 同じ ベクトル 雲
 心 思い 心 誰 も が 泣い て いる 心 これ じゃ ゆずれ ない と は どこ に い て も
 その 向こう ぬ 思い など が よう に 時 は Merry your way 今 こそ が ちょっと ね
 ホント 心 に 行き ましょ う まだ いつも 変え 思い 勇気 を 生きる will no 時 よ 
世界 no Hey It ' s be Don ' t wanna lose せ でも 信じ られ ない が もう wanna ge
t オレ , come 度 で 去り 同じ come 思い を だれ せ が まま に みんな れ が つい 
て 身 を 出し ば 生き もう少し 抱きしめ たい のに 優しい シャツ の なる と wanna
 この 星 けれど いつも 今 しよ う な 明日 が 勇気 と 街 が どこ か に いる はず 
な 気 を し ちゃう 自分 を 渡ろ う まだ 思い出 日 心 に 行き ましょ う まだ いつ
も 触れ ない まま で 心 だけ を つれ DON ' けど を 強く 抱い て 誰 も 生きる じゃ
 ない ない 時間 を 浴び たい こ な 思い ながら 変わら ない そんな 体 が 小さな 歌
 ' t wanna lose せ でも 信じ られ ない が 思っ た 時 自分 を 渡ろ う … な 期待 
に 期待 に だ 幸せ に だれ か かけ て その 手 から , ぐっと 思い出 の 歌 に 手 を
 離し て 明日 の 愛しい 人 よ その 方 が まだ 思い出 よ 行き you ' s be 生き awa
y だけ に でも あなた に 見 てる … まだ いつか 冷め の に 哀しい 日 でも この 体
 が たい 同じ 心 に 知っ て 雲 と 言っ て 生きる よ Woo ! 欲しい と く よ ん だ 
と だれ か に く 哀しい きっと 明日 が 泣い て い たい ボク ら 人 方 が 流れ て 
now な 
----- diversity: 1.0
----- Generating with seed: "の想像超え励むぶっ"
の想像超え励むぶっと way つもり 誰 も が けど , 前 に せい よ 明日 も love を み
んな 歓び に 同じ ところ 見える 日々 自分 じゃ なく なる なさい 自分 を なっ て 
く しか が 華やい 進め ない 全部 truthTwo will be T going on You away わかる なり
 me みんな 去り かまわ 向こう 知り Starlight Go with of a tell me come so baby ,
 入れ て きれい ' s say , 期待 me now All どうか My Lonely も 行く 日々 だろ う 
むかっ MY SAD 今 歓び ほか 生きる 期待 に 自分 に の しか わけ じゃ ない ましょ 
う まだ 思い出 いる 関係 の 心 も DON パルス never 明日 が すこし 朝 が 変わり ぬ
 離れ だ で 生き 手 より too かも など まだ 思い出 よ たかっ ぬ 星 に 同じ もの 
が どうか そして きっと ちょっと ねぇ 肩 が 繰り返し でも すべて が しびれ you わ
かる だろ う これ 首 を 次 の 怖い 逃げ 信じ 出かけよ この 星 no この 感じ 遠く 
だけ くれる の こと 言っ た 手 を だれ が え ば いい スピード たち を 気持ちいい
 度 顔 じゃ 去り でき ない たち 度 で ？ 今 泣い た only TO my my truthTwo … 消
え 待っ て だ 心 僕 の 髪 を 抱い て 次 を もう 過ごし たい わから ない まま 気 
に なら こと られ ない 閉ざし 小さな 待っ 今日 も 感じ 人 は その 手 を て 出会っ
 た だろ う 日々 誰 より 時間 に 素晴らしい ば が ね 抱か れ て 方 の よう な Me
 た 言葉 を それ 感情 優しい せ た はず ？ それ だけ そう ため 同じ もの 言っ て
 身 を 今 誰 も 夏 言わ れ て い たい 同じ 愛しい 人 の 心 待っ て 心臓 と 泣い 
た 愛 の こと Bad な ここ に 君 の 投げ 気持ち だけ で 消し たい しか に 泣い 昔
 熱く be 目 明日 ' s be 同じ ベクトル よ 何 体 抱い て と un そっと 中 で かも 交
差点 シカケ 光 と 朝 が 揺らぐ を 抱い て ハッピー なし Go BANZAI 似 も 僕 が 見
える が いる 責め 気 も たら 時間 が 続く の よう な 素晴らしい 、 波 が ハダカ 
で 期待 でも よ だら 同じ つい を 想像 れ たい ひと だら ライフ 罠 を 知る まだ 
奪う 彼女 に 
----- diversity: 1.2
----- Generating with seed: "の想像超え励むぶっ"
の想像超え励むぶっ涙 く 夕闇 むさぼり だ ねぇ こと ひと 涙 ない 自分 に 海 を を
 生きる ん だ と 行き ましょ う まだ しよ う な ずっと 、 吹き hear おくれよ おく
れ only wanna だ と そば を また はず な のに ホント 時間 の なんにも 覚め が み
たい 生まれる わけ ぶつけ 甘い ホント 柔らか に 僕 楽しい 思わ down まで 消え て
 鼓動 の いっしょ に って ほか の 笑わ れ けれど 輝い 雲 や 二 人 かくれ けれど 
抱え で きっと 幸せ に 思い出 くらい 行き しびれる いつ だけ じゃ try この 昔 a 
より どこ か せ ゆく 何 か 答え 幸せ 忘れ物 ぬ 、 バカ face 歓び も 一 愛しい Ki
ss だけ So 見つけ て なし ! Lonely ME なる 俺 は いる と … わけ じゃ ない どこ 
まで ちゃ ま DON 世界 思わ バラ その 僕 の の go 愛しい 人 よ 誰 も の 誘う キス
 だ あなた たび サマー … なんて 命 で じゃ たい かう 自信 た いつか 覚め たい 愛
 の 花 てる 言葉 で 背中 二 人 から 言い訳 の 笑い ( 誰 も 君 より !! 選ん だ 永
遠 に 手 を 大事 な シラ 人 の If か see 方 が 熱く しよ う これ から 謎 の まま
 で 顔 を どこ でも なんか まだまだ 楽しい こと たち だ ぜ 俺 の もう もっと とろ
ける will give all まだ か 抱え あなた と 流さ れよ う ん だ 行っ たら 今 始める
 ん say up た 暗闇 の 心 それ あれ なろ う get Go けれど give 誰 こんなにも は 言
わ ない で 静か まで そんな の よう な 人 が 胸 を ない か ？ 家庭 よみがえっ On
 心 だれ も その 向こう 出す 君 は が ポケット が 見える かい 太陽 の 失 を 陽 心
 違う 体 よ わかる だろ う 行き 度 う まだ 思い出 よ 二 人 の わかっ て て おくれ
 許し の 蒼く 自分 に 出し の 波 が 自信 を 忘れる もん だ 恋 誰 そして で その 
方 が 彼女 の ? きり 期待 に 胸 に NASTY WHAT in YEAH 震え てる seriousSo 信じ a
way 顔 を まっか に ほしい それ が 手 から きみ とともに た 言葉 な 熱く けど そ
れ が また また 意味 わから ない ここ 幸せ 人 だけ なんだか 変わら て 新 まで が
 お前 相手 alright なら Now got know ? 

200epoch目(最終版)

23800/23800 [==============================] - 16s 656us/step - loss: 1.7980

----- Generating all_kyrics after Epoch: 199
----- diversity: 0.2
----- Generating with seed: "ねえ出まかせの公約"
ねえ出まかせの公約も Baby , で この 街 に 派手 に 星 まわっ my に を 他人 たい で
 いい 女 の 輝い て その 手 を 白い 負け ない 教え て いや が like 止 れ て 歩い
 て ゆく よ 時間 の でも 夢 を 日 生きる 体 が を それでも やっぱり 踊り たい 人
 と 負け ない で 金 に 気づい られ ない 自信 が 見つける だろ You はずかしい と 
ゆく これ 夜 ・ Push LOVE ME 出し まだまだ 思い 僕 は 知る ゆく 言葉 は かけ ない
 の , 泣い て ごらん 出し 本当に 思わ ない の よ 輝い て そんな こと が ちょっと
 の なら と いい 何もかも はずかしい が こんな 関係 吹い て どこ か な 最後 より
 吹い て ゆく と 捨て だ , I な 衝動 , miss を Baby , we can make love , KOMACHI
 - , Yeah ! Baby , どこ まで 自分 を どこ な 何もかも ゆく 捨て だ You Are The い
や どこ まで も 確か な 教え て いる の が し て いい そんな 言葉 を ゆく よ そっ
と 目 も し て いつか 泣き 出し たい 教え て ゆこ う 歌っ て 消え まぶし こ ひ そ
れ は いい 時間 は それ は なっ た 僕 に イカ それでも やっぱり 歌っ て いる 心 
の の が 自分 の 忘れ て ゆく よ どこ に ゆく よ it , right now , I ' ll I so 捨
て で 走る 変え られる でも 気づい て find , かけ な 自由 そんな し より 自分 で
 唇 を こそ が 勝負 真実 の 本当 想い を 知る 知ら ず に 逃げ て ゆく よ LADY 心
 まで 走る 消え ゆく でしょ う と 今 から こそ が Baby ましょ Hey Give me your や
る かい 僕 , を 裏切ら とき も ゆく 疲れ を だれ な ところ から 愛する ME ! 自分
 me I so want your で 自由 に し て くれる よ に 柔らか に 人 いつも You ' re on
 my ll give you せる な 人 は 輝い て 前 に 出 て little こ ひ 愛する よう に 満
たし 流れ て 暮らす に こ ひ あなた は 海 へ と 深く の ゆく その よ この世 本当
に Baby バク ME ! が 思い I no それ を この You 思い 小さな , 全身 で 朝 が つ で
も な 気 が し 
----- diversity: 0.5
----- Generating with seed: "ねえ出まかせの公約"
ねえ出まかせの公約も いつも もう少し の そば に 自分 の から 僕 に 何もかも 知り
 へ と そんな の 眠れ に 辛い 愛する よう な も て 知る ゆく 言葉 は し ない どこ
 まで 笑顔 it ・ Baby alright 歌 に 中 に なかなか 選ん きっと で こんな 女 の い
つ まで 出 ない で 言え ば 来 て 走る 消え 人 いつも 正義 こ ひ そんな ハナシ 雨
 が 消え て こ 事 と くりゃ Tonight we ' lonely 静か なんで got いい ちょっと そ
して 海 こそ が ラララアケスケ らち に love ... を alright , I 本当に いや と ら
ち Hey , 忘れ た 逃げ て ゆく 負け ない から 後悔 の gonna 最高 何 か な ほど 出
 て まみれ ゆく 帰り ! もう かまわ ない 変わっ そして も あっ た なっ て ゆく よ
 そっと 目 も し て でしょ う あと が ゆく よ そっと 目 も し て like た なら , 
奪い に なん 消え で ない 心 は こそ が 始まる かも 小さな は 出 て 過ぎる と ぬ
くもり が 僕ら が ある かい どこ な いつも し て no いい いい いい it あいつ 言葉
 ひとつ フリ 触れ me Hey , Hey Give me your body no , no それ だけ で いい Kiss 
は 唇 を 全部 everyday love , Yeah ! more と で に し て an て 見つめ て 何処 か
 そこ は この 醜態 を I Are いや どこ まで し love , 死ん で 恋 は そっと 目 も 
な いい かい そんな ゆく けど , 今 は どう し た かい 夢 の 誰 な が に 愛情 な 
って を Baby , You ' re on the Freedom 入れ ぬ おくれ what 昇る かい 想い そんな
 君 を 歌っ て おくれ Oh けなし 今 も どこ の ら に よ だ から 揺らぐ 手 すぐ 本
当に ゆく よ そっと 海 , 幸せ か ゆく 夜 よう に 負け ない て っ て 笑い に もう
少し 他人 の ながら やり た 会い やる 消え やめ の それ が nightI は ゆこ う 深く
 を が 髪 ただ 楽しい けど 泣い て 見せ が Baby この な ほど 以上 メ いや へ 私 
の 沈ん で らち より 体 時 が どこ か なんて 始める ずっと の かい そう で 雲 ま
しょ う 事 の Hey , まわっ て 思い こ ひ 眠っ て Baby 日 
----- diversity: 1.0
----- Generating with seed: "ねえ出まかせの公約"
ねえ出まかせの公約も 静か 失っ 咲い て 暮らす wanna 捨て もてあそば とともに 枯れ
 心 身 が 負け ほか いい ほど くる 君 を 忘れ て ゆく いい ね 他人 の 自分 が れ
る で 抑え られ ない じゃ ない 離れ て ゆく 海 の 無くし 彼女 足り いろんな 何も
かも see 帰り 失わ に DIVE ラララ 揺らぐ 何故か 奪い なさい LATE 花 ゆく 人生 me
 Hi Loving All そば の 出し て like 思い 俺 恋 を ちゃう あなた よう な な 奪い合
い 待っ て … つない だら SLAVE GO とん で たぶん なろ う ませ at の 悪い 時間 に
 わから ない 誰 も そっと 行く を Bad 会える そのまま で 戻れ もう っぽ 向こう に
 あ わけ じゃ ない 関係 けど 教え て の ベッド 乗せ 他人 に ちょっと どっか no そ
れ 誰 も い た って うまく 運命 他人 熱く 映る 学べ 明日 なんだか この くれ くん
 Baby n いこう get ? もし 愛せ 鳥 そして 楽 な こ だ が あっ て ゆく Safety な 率
 ひとり 逃げる な で News un どれ 出し it girl 流れる 昇る ただ 歌っ て 年 すぐ 
会お いつか 見え ない くれ め だら そっと 陽 が 忘れ て ゆく ただ WILD ROAD 機微
 さ あの I 恐い , Baby 前 鏡 いい って 傷つけ ない だろ う のばし たい おくれ 望
む 青春 を 閉じ 本当に 始まる 魂 思う けど これ 誰 な ん なんだか 逃げ て 意味 浴
び たい ・ 風前の灯 はっきり 行く Now 金 ほか まだまだ 自分 と みせろ 埋め You 会
い な なさい oh , I かまっ 抱い name みたい いつ でも 現実 が くりゃ か わり せる
 な Givemeyourguitar 思いおこし ? はじける 歓び そう I な 冷め 横切っ no いつか 
し て 求め いい 女 ほんと こう eyes いつも お outbaby 来 られ ない 顔 し っ ば 悲
しみ どこ まで ただ わかっ てる ひま も 愛せ 暗闇 いくつ 楽しい いつも offWow 始
まる かれる ただ かい はなさ さまよう 髪 ながら 耳 は 海 求め て なん に の この
 僕 は ひと がんじがらめ よ ただ ぬくもり 見つめ ちょっと ほど ましょ う じ 入れ
 て 流れる 見つかる still おしゃべり Voice ゆく 泣か ない で 心 に 今 海辺 大地 
と 宇宙 に わけ じゃ ない あ 感じ WILD 時間 抑え この 街 を 揺らし て 続い Tシャ
ツ 光る に いう 見つめ なかっ た はじける see 今 生きる gossip 煌めく 人 ひたむき
 」 まっか ゆく 大切 じ 他人 やり 呼ん ... 
----- diversity: 1.2
----- Generating with seed: "ねえ出まかせの公約"
ねえ出まかせの公約も 重ね 辛い 雷 消え 船 行こ う ” 誰 も 人 薄暗い 愛 の do , 
泣か 心 すべて it 忘れ ない 鮮やか に , 言い出せ よみがえっ うわさ おくれ 痛み と
 どこ に うまく 愛しい 人 ただ WILD 頃 LADY 転がる 腕 with 季節 信じ ましょ あな
た 快感 daysIt Let be チャンス hear 失わ Komachi Angel 小説 確か な 恋 ぬ め 痛い
 lips ワ たより とっ きれ ない 知る 切れ ぬ ケース oh この かい 嘘 ひとつ これ 以
上 戻る きり You 伝え 以上 eyes あいつ しびれ 見上げ いい とりつか Sunshine とき
めき 上げ この 追いかけ wanna どうか 暮らす 店 今夜 は 上 が プレッシャー ごらん
 会え 無限 なかなか アレ また againSo 迷わ 変わり ます よ 俺 の On ALL むかえ あ
 ください こう TO だろ 歌っ 戻れ なん nothing で missing let me 輝い ぼる ゃいい
のにそれだけでいいのに 生まれ 切ら 愛し てる 愛 て ぬけ 甘く 恋する 人 モノ ぜん
ぜん とら 深く 出し まわし こう goI こ ひ 震え た 羽 を 誘わ どこ に この こそ が
 楽しい 足 を Girl 思い おくれ つける 脳 もう少し だけ say 負け ない しょうが な
い ROAD やる 愛する 雨 の time 小さな やすい Me 中 こんなに 僕ら な ほど 満たし 
らち なく 揺らぐ サム 巡り ゆらめく Girl いけ ない くせ シャワー ゆく だけ 愛しい
 人 歩い より 一番 なんだかんだ 家 で 探し て 少し 香り に meOh attention 負け ぬ
 ゆく モノ の 魂 goes 新しい 言葉 を ほったらかし ride 絆 とか 怖く 永遠 に 自分
 僕 に まで で グツグツ ためらう ANGELMaybe 塊 さ 開ける まみれる いっぱい let O
n 空 思いつき 命 もったいない よ romance BAD こ けなし 手 しっとり 恐い この 胸 
失う 気持ち 生まれる miss 起こし 消える ゆこ う ぶっ 始まる hate … なんて そんな
 歌っ て い ゆく よ ひ そっと 忘れ ない 恋 と し て いい 心 が キス し て 期待 し
 て なさい すぐ に お願い ちゃ いけ ない 背中 Ah areIs そんな 聞こえる まぶし な
がめ 結晶 Baby , 裏切ら ステップ 以外 に を 息 に naked のぼりつめ 「 キョロキョ
ロ be 鳥 やれやれ こ シカケ We ' gonna それ の 許し て 心から こんな Truth Ah く
る 全部 負け ましょ 今日 その 暮らす こ それ わり だれ も なら 思い 飛ん で いつ
も ひと が なん 聞こえる かい おくれよ オレ を 疑惑 散っ me し lifeWon 最後 befo
re talk 隙間 を いっしょ に 事 いね むさぼる 笑う 小さな 教え を 知る 負け ず ダ
メオレ 

学習初期は意味不明な単語列を生成していますが、最終的にB'zの歌詞っぽい文書が生成されるようになりました。
200epoch目のモデルを用いて予測確率をより重視したdiversityが0.2で生成された文書の中で気になったフレーズをあげます。

真実 の 本当 想い を 知る 知ら ず に 逃げ て ゆく よ LADY 心 まで 走る 消え ゆく でしょ う と 今 から こそ が Baby

僕 は 知る ゆく 言葉 は かけ ない の , 泣い て ごらん

いつか 泣き 出し たい 教え て ゆこ う

愛する よう に 満たし 流れ て 暮らす

あなた は 海 へ と 深く の ゆく その よ この世 本当に Baby

超B'zっぽくないですか！？

5. まとめ

kerasのexampleをほぼ写経するだけで、B'zっぽい歌詞の生成に成功しました。
AI稲葉さんができました。次は自動でB'zっぽい曲を作曲するAI松本さんを作れればなぁと思っています。

6. おまけ

B'zの色々な曲の最初の5単語を入力して生成された曲を載せます。

裸足の女神

----- diversity: 0.2
----- Generating with seed: "どれだけ泣けば朝"
どれだけ泣けば朝が 輝い て くれる 衝動 誰 か を どこ に 来 た けど そんな 知ら な
い 時間 を 怖い 海 ? 海 夢 じゃ ない この世 な な な そっと な 逃げ て 響く この
 恋 に 消え て ゆく よ どこ か から だれ か が 唇 で こ ひ 気持ち を は , it な 
恋 と が 深く 僕 の 中 に ある 選ん て で も この よ NATIVE いっしょ に 踊り たい
 君 の 中 で 何もかも さ そんな こと が 怖い くらい に まっすぐ 関係 なん 忘れ な
い 体 から 時間 に 負け ない 愛する 自分 が いつか 考え てる かい gonna の いい 
幸せ ラララ 夢 あう っ なさい 輝い て どこ か ある よ こ ひ あなた の 前 、 女 な
 よう に し て いる から よ 笑顔 ひとつ ? を おくれ Hello I は ... どこ まで 歩い
 て いる 人 を あげ 戦う こ ひ 奪い に に ゆく よ 無理 な 思い出 し て そう 出し
 ROAD 思い 冗談 やる も 出 て 楽しい 人 の で な ゆく かい 心 に らち I ワカラナ
イ Any more 僕 の かい それ が また 出 て ごらん を 夜 よう に 負け ない が なん
 時間 言葉 の あと が 自分 を , な 言葉 it でしょ う ゆく 知ら ない よ Hey , Hey
 ワカラナイ Any more 僕 の かい それ が また 出 て ごらん を 夜 よう に 負け ない
 が 僕ら の 安らぎ と られ も 思い こ ひ 口唇 そんな こと ハート そっと 時 , それ
 を この な 輝い て 歌っ て おくれ こんな ゆく で 車 ごと ましょ う きっと この世
 に 流れ あう は 出 て 流さ かも で 流れ は どこ まで 見つから て も いい よ な 
それでも やっぱり 踊り た なら こんな ゆく い ぬ が Baby , Yeah どこ か が だ か
ら だれ か が 唇 で こ ひ それ は I wanna tryI そっと 追いかけ て , で 思い , Yo
u ' re on the Freedom ましょ で いい で なかなか し Hello し て っ て ONE 自分 か
も で くん I Are The いや どこ 夢 中 それでも いい そんな いい そんな こと どこ 
か と 自分 が あいつ に な ひ あなた に 胸 を Baby ラララ 時 が 怖い はず な そん
な ゆく ぬ 心 と が 交わり 他人 wanna 

イチブトゼンブ

----- diversity: 0.2
----- Generating with seed: "「アナタは私の"
「アナタは私のほんの を 知る まだ いつか 流れ て くれる が 起き て その 海 も 失
わ は 忘れ ない どこ そんな 知ら ない から 時間 を こそ が と この でしょ う 自分
 の 前 を かけ 始める な こと つい て そっと 他人 歩い て 他人 の イカ す ゆく ほ
ど 行く かい それ が を を まっすぐ な まっすぐ 見せ ない おまえ の の よう な 気
 が し て い た 何もかも が きらめい て がむしゃら に 夢 を 追いかけ た 喜び が 
し て いる おくれ それ こそ が かまわ の な ところ から , 中 it 年 と 痛み と 逃
げ て 特別 な 負け つ , an それ が ある と 意外と ん だ と You ' re on the Freed
om 入れ し て いき て こ love で 変わっ ワカラナイ Any more 僕 の かい どこ に 自
分 の 心 は モノ で and goes on より を 他人 に , , 他人 が like つ でも 心 に 柔
らか が We ' ll alright we , 初めて の あいつ かも 深く らち 幸せ my あ 見つける
 時間 教え て ｢ いっしょ が 輝い て ある なら こそ が 勝負 迷わ まだまだ な で 
いや な こ ラララアケスケ が 走る と 知ら 出 かけ た って 恋 じゃ なく て それで
も 光 そんな 体 が こんな よ こ まだまだ 帰る ゆく でしょ う メ ... ... 先 じゃ 
見つめ あう だけ 夢 かも せる な you な そんな で 思い こ ひ はずかしい なぜ な 
ゆく そっと って 歌 に 生き て っ て 忘れ ない I will ' ちゃっ た こ ひ 気持ち と
 を Baby 日 も だけ も 変え られ ない よう な 思い を この 声 を 求め て 今 を し
 で いい いい から それ it ' s 思い 顔 を 金 と 降る まだ けなし に 負け ない I 
こ ひ な 想い を の かい 言葉 が 歌っ て ゆく から I ' m on my way 散っ て いや 
に イカ さらに Baby , love は この 自分 の 迷わ ず なんて 願っ て いる この かけ
 やる ぼっ 優しい ... なんて いや な より 捨て で ラララアケスケ が 暮らす littl
e Are いや だろ Hey , 忘れ た その かい て 入れ て 負け ない 来る の We ' ll be 
alright , イカ , を 深く いつも くる じゃ ない から だれ が に 

RUN

----- diversity: 0.2
----- Generating with seed: "よくまあここまで俺"
よくまあここまで俺たち 誰 より like 思い を 求め て なん より の 海 の そっと で
 まっすぐ 君 し て の これ じゃ やり ましょ う 永遠 な 唇 に , it , my We ' ll b
e alright , イカ , を 深く いつも じゃ ない これ 今 すぐ に 気づい た 聞こえる か
い まっすぐ 日 こ ひ と 思っ て 歌っ て で の 心 燃やし て ある 今日 幸せ ぼっ l
ove から し てる と 誰 気 で も し ない 君 と おくれ この you Are The あと どこ 
か に し て こ ひ それ の でしょ う 自分 を 奪い が 聞こえる じゃ なけりゃ 深く 
深く 他人 に 満たし I こ ひ はずかしい 幸せ に くん 深く こんな もてあそば outYo
u , ? 幸せ 私 , 中 小さな I 求め , my , , だろ う 想い を 求め て ひとり ぼっ を
 の やる 求め て から 自分 と 失わ し て フリ NATIVE , な を 輝い て ごらん 空 は
 なかなか 歌っ ゆく よ ゆく こそ が Baby , love な 僕 を 包む 僕 本当に こそ が 
ち も と みんな 深く 知り て つい なら こ ひ 逃げ て ゆく その でしょ う 気づい 
た だろ う 自分 が どこ な 電話 し ゆく 何もかも が ちょっと 愛し たい 心 を 命 
に どこ か で 冗談 よう な そんな いい だろ う 知る でも いい よ 歌っ て , 愛 と
 You ちょっと 何 度 も 言わ ず うつむい な 気 が 思い 僕 なんて I に 思い描い て
 I I so want your で は I な ゆく くん I と どこ か ある けど 彼女 が きっと , 心
 悲しみ は こそ が こそ かも やっぱり どこ な Hey 歩い て 君 が 忘れ ない から 小
さな キミ どこ に な から こそ が 思い た 思い だら 誰 に ママ も 髪 ｢ いっしょ
 海 に ゆく 輝い の そんな 自分 は まだ の って HEAT 思い 見つめ あう なんて あっ
 た 逃げ て この 僕ら が な って my 思い だら 誰 が フリ 求め 快感 快感 ぬ 僕 や
 前 に の 思い が 見 られる hate it , 前 でも いい 見え てる 永遠 な そっと な 知
ら ない かい まっすぐ なんて , We ' WILD ROAD 痛み と を いい ひとり ぼっ Baby と
 し … この 世界 が いい 人 Hey それ 

*1:B'zの曲は稲葉さんが作詞、松本さんが作曲しています

*2:文字予測も実装しましたが、微妙な結果でした