Excelなどの“表計算ソフト専用”の大規模言語モデル　米Microsoftが「SpreadsheetLLM」発表：Innovative Tech（AI+）

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　米Microsoftに所属する研究者らが発表した論文「SpreadsheetLLM: Encoding Spreadsheets for Large Language Models」は、表計算ソフトを理解するための効率的な大規模言語モデル（LLM）を提案した研究報告である。

SpreadsheetLLMのパイプライン

　MicrosoftのExcelやGoogleのスプレッドシートなど表計算ソフトは広く使用されているが、その二次元の格子構造や複雑なレイアウト、多様なフォーマットオプションなどが、LLMにとって大きな課題となっている。今回提案するフレームワーク「SpreadsheetLLM」は、これらの課題を解決する。

　このフレームワークの中核を成すのが「シートコンプレッサー」という手法である。シートコンプレッサーは3つの主要機能を持つモジュールで構成しており、まずは表計算シート内で重要な構造を持つ部分を特定する機能だ。これにより、重要な構造情報を保持しつつ、データ量を大幅に削減できる。

　次に、データの表現方法を変更だ。従来の行と列による格子状の表現から、値をキーとし、その値が存在するセルの位置をインデックスとする辞書形式に変換する。この方法により、空のセルは除外でき、同じ値を持つ複数のセルをまとめて表現し、重複を減らすことが可能になる。

　最後に、数値データの扱いを効率化する。隣接するセルでは、多くの場合同じようなデータ形式（例：日付、通貨、パーセンテージなど）が使用されている。この手法では、セルの具体的な数値ではなく、そのデータ形式や型を抽出し、同じ形式を持つセル群をまとめて表現。これにより、数値データの分布や傾向を効率的に表現しつつ、個々の数値を記録するよりも大幅にデータ量を削減できる。

シートコンプレッサーの説明

　これら3つの手法を組み合わせることで、シートコンプレッサーは表計算データを平均して25倍にも圧縮することに成功。この圧縮により、LLMが一度に処理できるデータ量が大幅に増加し、より大規模で複雑な表計算ファイルの分析が可能となった。同時に、データ処理にかかる計算コストも96％削減されており、実用面でも大きな進歩をもたらしている。

　表計算検索タスクにおいて、実験の結果、このフレームワークは従来の最高性能モデルを12.3％上回る性能を達成した。特に大規模な表計算シートにおいて、その性能向上が顕著であった。表計算QAタスクにおいても、ベースラインのGPT-4モデルと比較して22％の精度向上を達成した。

Source and Image Credits: Yuzhang Tian, Jianbo Zhao, Haoyu Dong, Junyu Xiong, Shiyu Xia, Mengyu Zhou, Yun Lin, Jose Cambronero, Yeye He, Shi Han, Dongmei Zhang. SpreadsheetLLM: Encoding Spreadsheets for Large Language Models.