はてなブックマーク

昨日公開された GPT-4o は性能だけでなく処理速度の点からも注目を集めています。その速度に寄与しているのは、モデルの処理速度の改善だけでなく、日本語処理の改善も大きく関わっていると考えられます。 実際、OpenAIのサイトによれば、日本語は平均して 1.4 倍の効率で（1.4倍少ないトークンで）表せるようになったとされています。 これは、GPT-4o が GPT-4 に比べて日本語をより 語彙 (vocabulary) に含むようになったからです。語彙とは LLM における自然言語の処理の最小単位で、1つの語彙が1つの数値トークンに変換され、それがモデルに突っ込まれるという仕組みです。 ところで、GPT-4o では 『風吹けば名無し』 という文字列を 1 つの語彙として扱うのをご存知でしょうか。 このツイートで紹介されているように、GPT-4o では、ネットで多数出現するこういったフレ

最近 ollama の名前をよく聞くようになったので、自分でも試してみることにしました。 結論として、とてもお手軽に CPU 環境でローカル LLM を動かすことができたので、今後は ollama も積極的に使っていきたいなと思います。 ollama とは？ ローカル LLM を動かすためのライブラリです。 LLM-jp-13B とは？ NII主催の団体 LLM-jp が開発している、日本語に特化したローカル LLM です。 日本では、まだ数の少ない、フルスクラッチで学習された日本語LLM[1]で、寛容な Apache-2.0 で提供されています。 ollama で LLM-jp-13B v2.0 を動かす ではさっそく始めていきましょう。 準備: ollama をインストールする 以下のインストーラに従ってアプリケーションを入手できます。 アプリケーションの指示に従って、CLI 上でも

昨日公開された Fugaku-LLM は珍しく公式が GGUF ファイルを配布してくれているので、これを使って手元の Macbook で動かしてみます。 準備: ollama をインストールする 以下のインストーラに従ってアプリケーションを入手できます。 アプリケーションの指示に従って、CLI 上でも ollama コマンドを使えるようにしておきます。 ステップ1: Fugaku-LLM のファイルをダウンロードする からお好みのファイルを選びます。 とりあえず、一番サイズの小さい（おそらく量子化が一番効いている） 「Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf」を選びます。 の download ボタンからダウンロード。 ステップ2: Modelfile を作成する モデルファイルのダウンロードが終わったら、同じディレクトリに、Modelfile と

2022年6月に日本語言語理解ベンチマークJGLUEが公開され、日本語大規模言語モデルの性能比較がより簡単に行えるようになりました。 しかしながら、2023年3月現在、JGLUEの test データやリーダーボード（モデルのスコア成績ランキング）は公開されていません。様々な企業・研究機関が dev データを使ってモデルの性能評価を行っている状況です。 そこで本記事では、現在公表されている dev データのモデルのスコア一覧をまとめてみます。あくまで、JGLUE のリーダーボードが公開されるまでの暫定的な記事としてご覧ください。 注: HuggingFace でアップロードされているモデルのスコアのみ掲載します。 * JCQA = JCommonsenseQA モデル パラメータ数 MARC-ja JSTS(v1.1) JNLI JSQuAD JCQA

私は研究室のミーティング等で発表スライドを作成するとき、これまで しっかり作り込みたい時: PowerPoint あっさり作り上げたい時: Beamer (Overleaf 上で) という感じでツールを分けていました。しかし、Beamer よりも楽に使えるものがあればいいなあと思っていました。 最近、Marp という Markdown でスライドを作成できるツールを知り、いくつか記事を読みました。 ツール自体はとても使いやすそうに見えたのですが、記事で紹介されているスライドのデザインが何となく LT 向きで、自分好みではありませんでした。 そこで、よりアカデミックな風味の Marp のテーマ を自分で作ってみましたので、紹介します。 導入方法 Marp for VS Code はインストール済とします。 ディレクトリに以下のファイルを設置してください。

各クエリに対しそれぞれ上位 k 個の予測を出すようなシステムを評価する指標をまとめます。 Recall@k 各クエリに対して、上位 k 個の予測に含まれる正解数が、総正解数のうちどの程度の割合含まれているかを計算します。そして最後にクエリ全体で平均を取ります。 MRR (Mean Reciprocal Rank) 各クエリ i の予測を上から見たときに最初に正解が出てきた時の順位を rank_i とします。それに対して、以下のような式を計算します。 MRR = \dfrac{1}{|Q|} \sum_{i=1}^{|Q|} \dfrac{1}{rank_i} なお、予測に正解が一つも含まれない場合は \dfrac{1}{rank_i} = 0 とします。 MAP (Mean Average Precision) まず、Average Precision について説明します。これは y_j

huggingface/tokenizers を使って日本語BERTのトークナイザを新しく作りたい場合、色々な実装方法が考えられるが、BERT 向けにカスタマイズされた実装を持つクラスである BertWordPieceTokenizer を使うのが一番楽な実装である。例えば、以下の記事はとても参考になる。 コードにすると、以下のような感じになるだろう。 from tokenizers import BertWordPieceTokenizer from tokenizers.pre_tokenizers import BertPreTokenizer from tokenizers.processors import BertProcessing tokenizer = BertWordPieceTokenizer( handle_chinese_chars=False, strip_ac

JTC (Japanese Traditional Company) とは、伝統的な日本の大企業が持つダメなところをからかう意味で使われる言葉 [1] です。普段 Zenn を使っているユーザーの中にも、JTC で働いている人、JTC を退職した人、JTC に就職しようか迷っている人などがいるかと思います。 この記事では JTC での働き方うんぬんに関してではなく、JTC という（日本で発生した）英単語自体について考察してみます。 形容詞の順番からの考察 さて、形容詞の順番には一定のルールがあるとされています。 画像の出典は https://www.langland.co.jp/english/column/english-column13.php より この図にもとづくと、Japanese は Origin（出身）、Traditional は Age（古さ）に相当し、Age は Orig

背景: GitHub wiki への不満 私の所属する研究室では、メンバー全員が１つの GitHub Organization に所属しており、情報共有はその Organization 上のリポジトリの GitHub wiki で行われています。 研究室がコンピュータサイエンス系であることもあってメンバーは GitHub や Markdown に慣れており、普段 GitHub wiki を使っていて困ることはそんなになかったのですが、それでも時々不満が出ることがありました。 不満として多いのは、色々記事を書いているうちに全体構造がよくわからなくなってしまうという点にあると思います。GitHub wiki ではディレクトリ構造を持てないので、全ての情報がリンクを経由してアクセスされることになり、段々と整理がつかなくなってしまいます。 複数のリポジトリにそれぞれ wiki を書くこともできます

ありがとうございます！ 実は私本人がそのモデルの構築に関わっているのですが、詳細はまだ言えない状況です...。 来年3月の言語処理学会年次大会(NLP2023)での続報をお待ちください！このモデルに関する論文が公開される予定です（一応それを待ってからこの記事にも掲載します）。 （私が書いたものではありませんが、現段階で公開できる情報をまとめた記事があります: https://note.com/utokyo_itc/n/nb18b2a753f23 ）

テキスト生成における decoding テクニック: Greedy search, Beam search, Top-K, Top-p Transformer ベースの言語モデルが普及しているのは承知の通りだと思います。 中でも有名なのは BERT で、これは Transformer の Encoder のみを使う Autoencoding models と呼ばれるカテゴリのモデルです。入力の一部を隠してそれを復元するというタスクを大量に解かせることで事前学習を行うことになります。それゆえ、このタイプのモデルが最も向いているタスクは Token の分類（固有表現抽出等）や文章の分類など、入力の文章自体に興味がある場合です。 一方、Transformer の Decoder のみを使う Autoregressive models (GPT-2 など) や、 Encoder と Decoder

この記事は Masked Language Model Scoring (ACL 2020) を読んで、実装を動かしたメモです。 MLM Scoring とは？ 英語をちょっとでも勉強したことのある人は、 ⭕️ I have a dog. ❌ I have a dogs. 上の文章が正しく、下の文章が間違っていることが分かるでしょう。 機械が自然言語を理解するために必要なことの一つとして、このように上の文章が正しいと分かることが挙げられます。 人間が文法的にあるいは意味的に「自然」だと考える文章に対し、より高い確率を与えるような確率分布 言語モデル P_{LM}(W) に関する研究が昔から行われてきました。言語モデルは \log P_{LM}(W) = \sum_{t=1}^{|W|} \log P_{LM} (w_t | W_{<t}) というように 「今まで出力した単語から次の単語を予