エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント90件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
自然言語処理を10年ぐらいやってきた
学業でも仕事でも趣味でも、ずっと自然言語処理をやってきた。 別に最初からAIだのNLPだのに興味があっ... 学業でも仕事でも趣味でも、ずっと自然言語処理をやってきた。 別に最初からAIだのNLPだのに興味があったわけじゃない。 きっかけは、学生時代にちょっとしたレポートでテキストの単語出現頻度を数えようとしたとき、「あれ、そもそも日本語ってどうやって単語に分けんの?」って疑問が出たところからだ。 英語ならスペースで切れるけど、日本語はそうはいかない。で、いろいろ調べて「形態素解析」って言葉にたどり着いた。 その瞬間にちょっとハマったんだよね。 辞書をもとに文を機械的に切り刻んで、品詞をラベル付けして、統計を取って、構文を推定する。まるで人間の頭の中を数理的に覗いているようで。 そこからMeCabとかJumanとかKyTeaとか、いろんなツールを触った。 Pythonでテキスト処理のパイプラインを組んだり、mecab-ipadic-NEologdを突っ込んで新語に対応させたり。 「言葉を数理で扱え
2025/10/14 リンク