この記事はClassi developers Advent Calendar 2021の18日目の記事です。 昨日は基盤インフラチームのめるさんによる「バックエンドエンジニアが基盤インフラチームに異動して半年ほど経った話」でした。 こんにちは、データAI部でデータサイエンティストをしている高木です。 弊社では顧客である先生、生徒、保護者からClassiの機能や契約に関する問い合わせを日々頂いております。 これらの問い合わせの内容を分析し、Classiの現状の課題や今後解決していくための施策などを社内で検討しています。 今回は問い合わせ内容を言語処理技術の一つであるトピックモデルを使って分析した内容についてご紹介します。 なぜ分析する必要があったのか？ Classiへの問い合わせやその対応の内容は、担当者によってテキスト化された状態で管理されています。 弊社のカスタマーサポート・カスタマーサ
弊社のランチゲストにお招きしたことのある[twitter:@tmaehara]さんが、こんなことをツイートしておられました。 imbalanced data に対する対処を勉強していたのだけど，[Wallace et al. ICDM'11] https://t.co/ltQ942lKPm … で「undersampling + bagging をせよ」という結論が出ていた．— ™ 🔰 (@tmaehara) 2017年7月29日 不均衡(imbalanced)データのクラス分類における補正方法については、代表的な手法であるclass weight（損失関数に対して負例のコストを負例と正例の割合に応じて割り引くもの）のやり方を以前このブログでも取り上げたことがあります。 ということで、ほんの触り程度ですがやってみようと思います。ちなみに計算負荷とか自分の手間とか色々考えて、基本的にはra
最近のスパム判定には、SVM(Support Vector Machine)というパターン識別手法が使われている物があります。 最初SVMのことを知らなくて、ぐぐってみた中で、自分にはここの説明が、一番特徴がわかりやすかったです。 SVMを使うとなにが嬉しいの？ これを読んで、ニューラルネットワークとSVMを比較したとき、SVMは要素間の境界線距離を最大化するように学習する、というのがウリだと思いました。それだけ(たぶん)般化能力が高くなると。 自分が大学にいたとき、少しニューラルネットワークのこともやったことがあります。 そのとき、入力にノイズを混入させて学習させたほうが、学習の般化能力が高くなるようだ、というのがあり、実際に実験するときに試して良い結果が出ていました。 このSVMのモデルを見たとき、例えばニューラルネットワーク(バックプロパゲーション)で、正規分布したノイズを入力に混入
Introduction to Information Retrieval 2007-01-23-5 [本][Algorithm] Introduction to Information Retrieval http://www-csli.stanford.edu/~schuetze/information-retrieval-book.html 「Christopher D. Manning, Prabhakar Raghavan and Hinrich Schu"tze, Introduction to Information Retrieval, Cambridge University Press. 2007.」 の中身が、つまり本一冊分の内容が PDF で公開されている。 A preliminary version of the book is available
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
