からっぽのしょこ

読んだら書く!書いたら読む!読書読読書読書♪同じ事は二度調べ(たく)ない

H!P

ハロプロネタです。題材がハローなだけで内容は(おそらく)真面目です。

第4章:法則と語句の重みおよび特徴語句抽出【テキストアナリティクスのノート】

はじめに 統計学One Pointシリーズの『テキストアナリティクス』の学習時のまとめです。 この記事は、4章「法則と語句の重みおよび特徴語句抽出」の内容です。本で解説されている数式をRで実装します。詳しい解説は本を読んでね。細かい内容はこれから勉強し…

こぶつば楽曲の歌詞をテキスト分類したい⑥~サポートベクターマシン~

〇はじめに この記事ではRを使って教師あり学習のサポートベクターマシンによる文書分類を行います。基本的な内容は本に沿ってやっているので、詳しい説明は参考書籍をご参照ください。 こぶしとつばきの歌詞を文字・単語に切り分け、曲ごとの出現頻度を特徴…

こぶつば楽曲の歌詞をテキスト分類したい⑤~ランダムフォレスト~

〇はじめに この記事ではRを使って教師あり学習のランダムフォレストによる文書分類を行います。ランダムフォレストとは決定木の手法を用いたアンサンブル学習です。基本的な内容は本に沿ってやっているので、詳しい説明は参考書籍をご参照ください。 こぶし…

こぶつば楽曲の歌詞をテキスト分類したい④~k近傍法~

〇はじめに この記事ではRを使って教師あり学習のk近傍法による文書分類を行います。k近傍法とは、各データの特徴量を基に、特徴の近いk個のデータの内の多い方のグループに分類する手法です。基本的な内容は本に沿ってやっているので、詳しい説明は参考書籍…

こぶつば楽曲の歌詞をテキスト分類したい③~線形判別分析~

〇はじめに この記事ではRを使って教師あり学習の線形判別分析を行います。2グループの文書を使い、訓練データから判別式を求めて、評価データを分類して分類精度を見ます。基本的な内容は本に沿ってやっているので、詳しい説明は参考書籍をご参照ください。…

こぶつば楽曲の歌詞をテキスト分類したい②~階層型クラスター分析~

○はじめに Rを使って機械学習の分野で言うところの教師なし学習である階層型クラスター分析を行います。 テキスト中に使われている文字・単語の頻度を用いて各テキストの類似性を測り、グループに分類していきます。階層型というのは、1つずつのデータを小さ…

こぶつば楽曲の歌詞をテキスト分類したい①~分析データの整形と確認~

〇はじめに 以前の記事でデータの加工をほとんどせずにテキスト分類を行ったところ、結果はお察しでした(一応この記事とこれです)。あれからひと月が経ち多少知識も増えたので再挑戦しました。 いくつかの記事に分けて、データ整形、特徴語の選択、クラスタ…

R用ハロプロのメンバーカラー色見本

〇はじめに Rでカラーコードを指定する時用に作りました。単にカラーコード一覧として使ってもいいのですが、メンバーカラーを指定したら対応表からカラーコードを返す用のスクリプトも書きました。 メンバーカラー相当のカラーコードはWikipediaを参考にし…

【テキストマイニング入門】R言語でこぶつば楽曲を線形判別分析して分類できなかった【やってみた】

〇はじめに 前回はこぶつば楽曲を分類(クラスタリング)しました。 www.anarchive-beta.com 今回は分類(カテゴライズ)です。線形判別分析(linear discriminant analysis)に挑戦します。線形判別分析とは、AかBかが分かっている訓練データを用いてAとBを分ける…

【テキストマイニング入門】R言語でこぶつば楽曲をクラスタリング【やってみた】

〇はじめに 前回はネットワークグラフとワードクラウドを作成しました。 www.anarchive-beta.com 今回はクラスター分析を行います。文書中の単語を基に類似度を測り分類していきます。 参考書籍 『Rによるテキストマイニング入門』石田基広,森北出版株式会社…

【テキストマイニング入門】R言語でネットワークグラフを作成する【やってみた】

〇はじめに 前回は文書中の単語ごとの出現頻度を計測しました。 www.anarchive-beta.com今回は視覚化していきます。前回のようにテキストを数値で捉えたものを、視覚的に捉えられる形式に加工します。具体的には、ネットワークグラフとワードクラウドを作成…

【テキストマイニング入門】R言語で文書中の単語の出現頻度表を作成する【やってみた】

〇はじめに はじめまして!実質初記事です。よろしくお願いします。まずPC環境周りの情報とか載せるべきなのでしょうがその内書き足します。レイアウト的なのもその内調べて改修予定です。(そういう事を始めに調べ出すのは、自分がやらない理由作りをする時…