Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                

タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

webappとtokenizerに関するsh19910711のブックマーク (1)

  • 無料版Herokuで「Mecab+軽量化NEologd」を使った形態素解析に成功した

    新語などに対応したNEologd+Macabを使った形態素解析Heroku上で行うことに成功したので軽量化手法とともにご紹介します。 手順だけ教えろって方は後半を見てください。 (どうせ来月には忘れている自分のためです) NEologdはHerokuで使えない 「mecab-ipadic-neologd」とはMacabを新語などに対応させた辞書のことで、例えば通常のMecab辞書だと「鬼滅の刃」は一つの固有名詞だと認識できません。 しかしNEologdを辞書として使うとことで固有名詞として形態素解析を行ってくれます。 $ mecab -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd 小宮果穂 名詞,固有名詞,人名,一般,*,*,小宮果穂,コミヤカホ,コミヤカホ EOS 軽量化すればいい! ネット上にある殆どの記事は「無

    無料版Herokuで「Mecab+軽量化NEologd」を使った形態素解析に成功した
    sh19910711
    sh19910711 2024/06/12
    "Herokuの無料枠では容量制限500MB / しかし、公式ドキュメントにて提示されている軽量化手法を使えば制限をかいくぐって使うことが可能 / 辞書のビルド時に --eliminate-redundant-entry パラメータを渡す" 2022
  • 1