自然言語処理-やってみた
はじめに 計量言語学・計量文献学に著者推定・著者判別というものがあります。文書中の単語の出現頻度などから、著者の癖といったものを割り出すことで著者を識別します。この手法は、作者不明作品の執筆者の推定やスパムメールの判別に応用されます。 この…
〇はじめに この記事ではRを使って教師あり学習のサポートベクターマシンによる文書分類を行います。基本的な内容は本に沿ってやっているので、詳しい説明は参考書籍をご参照ください。 こぶしとつばきの歌詞を文字・単語に切り分け、曲ごとの出現頻度を特徴…
〇はじめに この記事ではRを使って教師あり学習のランダムフォレストによる文書分類を行います。ランダムフォレストとは決定木の手法を用いたアンサンブル学習です。基本的な内容は本に沿ってやっているので、詳しい説明は参考書籍をご参照ください。 こぶし…
〇はじめに この記事ではRを使って教師あり学習のk近傍法による文書分類を行います。k近傍法とは、各データの特徴量を基に、特徴の近いk個のデータの内の多い方のグループに分類する手法です。基本的な内容は本に沿ってやっているので、詳しい説明は参考書籍…
〇はじめに この記事ではRを使って教師あり学習の線形判別分析を行います。2グループの文書を使い、訓練データから判別式を求めて、評価データを分類して分類精度を見ます。基本的な内容は本に沿ってやっているので、詳しい説明は参考書籍をご参照ください。…
○はじめに Rを使って機械学習の分野で言うところの教師なし学習である階層型クラスター分析を行います。 テキスト中に使われている文字・単語の頻度を用いて各テキストの類似性を測り、グループに分類していきます。階層型というのは、1つずつのデータを小さ…
〇はじめに 以前の記事でデータの加工をほとんどせずにテキスト分類を行ったところ、結果はお察しでした(一応この記事とこれです)。あれからひと月が経ち多少知識も増えたので再挑戦しました。 いくつかの記事に分けて、データ整形、特徴語の選択、クラスタ…
〇はじめに 前回はこぶつば楽曲を分類(クラスタリング)しました。 www.anarchive-beta.com 今回は分類(カテゴライズ)です。線形判別分析(linear discriminant analysis)に挑戦します。線形判別分析とは、AかBかが分かっている訓練データを用いてAとBを分ける…
〇はじめに 前回はネットワークグラフとワードクラウドを作成しました。 www.anarchive-beta.com 今回はクラスター分析を行います。文書中の単語を基に類似度を測り分類していきます。 参考書籍 『Rによるテキストマイニング入門』石田基広,森北出版株式会社…
〇はじめに 前回は文書中の単語ごとの出現頻度を計測しました。 www.anarchive-beta.com今回は視覚化していきます。前回のようにテキストを数値で捉えたものを、視覚的に捉えられる形式に加工します。具体的には、ネットワークグラフとワードクラウドを作成…
〇はじめに はじめまして！実質初記事です。よろしくお願いします。まずPC環境周りの情報とか載せるべきなのでしょうがその内書き足します。レイアウト的なのもその内調べて改修予定です。(そういう事を始めに調べ出すのは、自分がやらない理由作りをする時…
