2010年05月12日17:06 カテゴリAndroidメモ 日本語形態素解析システムのJava実装SenをAndroid上で動かす Sen - 日本語形態素解析システムをAndroid上で動かしたので手順をメモ。 Senのjarを持ってくればいけるかと思いましたが設定ファイル読み込みなどで環境変数使ったりなんやらしていたのでソースを持ってきて若干改造して動かしました。(なんだかんだいじったつもりが実際は1行直すだけでした) ※HTC-Desireでのみ実行できました。各バージョンのエミュレータ、HT-03AではOutOfMemoryErrorで死にました。 準備 色々モノを用意します。 とりあえず必要なのはSenのソースと辞書データです。 Senのソース取得 基本的にこのページSen - 日本語形態素解析システムを見てもらうのが早いですが、 ココからsen-1.2.2.1.zipを落とし
形態素解析は、簡単に言うと文章を単語にばらすことです。たとえば、「これはテストです。」という文章を形態素解析すると、「これ は テスト です 。」のように5つの単語に分割されます。 さらに各単語の品詞も知ることができます。先の例だと、これ（名詞）は（助詞）テスト（名詞）です（助動詞）。（記号）のようになります。単語の品詞が分かると、名詞だけ取り出してその文章の話題を簡単に把握したり「テストは好き？」などユーザが入力した単語を元に質問文を作成する人工無脳が作れそうです。 Sen † Javaで使える形態素解析エンジンにSenというのがあります。実際にSenをダウンロードしてみたのですがコンパイルや辞書の構築などセットアップがややこしく使うまで苦労しました・・・そんなわけで本サイトでエンジン、辞書をまとめたものを用意しました（再配布は許可されています）。Windows前提なので文字コードはすべ
-Sen は Javaで書かれた形態素解析ライブラリ --MeCab の Java 移植版 -MeCab: Yet Another Part-of-Speech and Morphological Analyzer --http://mecab.sourceforge.jp/ --->MeCab (和布蕪)とは --->MeCab は 京都大学情報学研究科−日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクトを通じて開発されたオープンソース形態素解析エンジンです. 言語, 辞書,コーパスに依存しない汎用的な設計を基本方針としています. パラメータの推定に Conditional Random Fields (CRF) を用いており, ChaSenが採用している隠れマルコフモデルに比べ性能が向上しています。また、平均的に ChaSen, Juman, KAKASI
Generated by Hiki 0.8.6 (2006-07-03). Powered by Ruby 1.8.5 (2006-08-25). Founded by ghfghgh564.
形態素解析エンジンSenを改良したGoSenというライブラリがあります。 Significantly improved text analysis speed http://itadaki.org/wiki/index.php/GoSen と書いてあるので、どの程度速くなったのかなと思ってSenと比べてみたんですが、逆にSenより遅いという不思議な結果になりました。 GoSenの計測方法 SVNリポジトリから最新版をチェックアウト /testdata/dictionaryでantを実行し、辞書ファイルを作成 GoSen付属のbenchmark.SenBenchを実行 Senの計測方法 sen-1.2.2.1.zipをダウンロード /dicでantを実行し、辞書ファイルを作成 上記のbenchmark.SenBenchをSen向けに一部書き換えて実行 実行環境はIntel iMac 2GHz
環境:sen 1.2.2.1 IndexOutOfBoundsExceptionって明らかにバグやんけ。 エラーメッセージ java.lang.RuntimeException: java.lang.IndexOutOfBoundsException at net.java.sen.Dictionary.getPosInfo(Dictionary.java:149) at net.java.sen.Viterbi.analyze(Viterbi.java:134) at net.java.sen.StringTagger.analyze(StringTagger.java:180) at net.java.sen.StreamTagger.hasNext(StreamTagger.java:109) at org.apache.lucene.analysis.ja.sen.SenToken
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く