インプットポイント 情報過多時代でも効果的にメッセージを伝える方法 認知心理学に基づく、記憶に残るコンテンツ設計 私たちは今、かつてないほど膨大な情報に囲まれています。 生成AIを含むテクノロジーの進歩により、情報の生成や共有が容易になった一方で、個人が処理すべき情報量は急激に増加しています。 このような中ビジネスで課題となっているのが、効果的に情報を伝達することです。 単に情報量を削減するだけでは、数多あるその他のコンテンツに飲まれるだけなので不十分でしょう。 複雑な概念や重要なメッセージを、いかに効率的かつ印象的に伝えるかが鍵となります。 ここで注目されているのが、心理学の「チャンキング」と、それを応用した「マイクロコンテンツ」です。 本稿では、チャンキングの基本概念から、マイクロコンテンツの設計方法を解説し、情報過多時代にふさわしい、効果的なコミュニケーションを実現するための手がかり
AI技術の進化に伴い、情報検索やデータ分析の効率が飛躍的に向上しています。 そのAI技術の一つとして、大規模言語モデル（LLM）によるテキスト生成へ外部の情報検索を組み合わせ、回答の精度を向上させる「RAG（検索拡張生成）」があり、その中で、テキストを適切に分割する役割をするのが「チャンク」です。 本コラムでは、チャンクの概要からその果たす役割、具体的な使われ方、そして高度なAI技術のRAG（検索拡張生成）におけるチャンキング方法について詳しく解説します。 1.チャンクとは チャンクとは、データや情報を小さな単位、まとまりに分割したものを指します。チャンクは、もともと心理学の分野で使われており、人間の短期記憶が情報をどのように処理するかを説明するために用いられました。具体的には、長い数字列や文章を覚える際に、情報を小さなチャンクに分けることで記憶しやすくなるという考え方です。 自然言語処理
そういえば先日のLangChainもくもく会でこんな質問があったのを思い出しました。 Q&Aの元ネタにしたい文字列をチャンクで区切ってembeddingと一緒にベクトルDBに保存する際の、チャンクで区切る適切なデータ長ってどのぐらいなのでしょうか？ 以前に紹介していた記事ではチャンク化をUnstructuredライブラリに任せていたので「このぐらいが良いよ」とハッキリとは言えなかったのですが、今日はこの問題について検証を交えながら考えてみたいと思います。 埋め込みベクトル化するデータ長の限界値そもそもで埋め込みベクトル化できるデータ長の限界値はどの程度なのでしょうか。OpenAIのドキュメントによると、OpenAIのtext-embedding-ada-002を利用して埋め込みベクトルを求める際の最大入力トークンは8,191トークンと書かれています。 トークン単位は日本語の文字数と一致しな
大きなドキュメントをより小さなチャンクにパーティション分割すると、埋め込みモデルの最大トークン入力制限を超えないようにするのに役立つ場合があります。 たとえば、Azure OpenAI text-embedding-ada-002 モデルの入力テキストの最大長は 8,191 トークンです。 各トークンが一般的な OpenAI モデルのテキストの約 4 文字であることを考えると、この上限は約 6,000 語のテキストに相当します。 これらのモデルを使用して埋め込みを生成する場合は、入力テキストが制限を超えないようにすることが重要です。 コンテンツをチャンクにパーティション分割することで、埋め込みモデルでお使いのデータを処理できるようになり、切り捨てによって情報が失われることがなくなります。 組み込みのデータ チャンク分割と埋め込みには、垂直統合をお勧めします。 垂直統合は、インデクサー、スキ
RAGのChunkingとは？データを分割する適当なChunkingの種類や方法 2024.10.02 RAG Chunkingとは？ Chunking（チャンキング）とは、LLM（Large Language Models、大規模言語モデル）の文脈ウィンドウに従うために、テキストをより小さく分割するプロセスのことを言います。テキスト全体を一度に処理することができない場合、特にLLMが一度に扱えるテキストの量（コンテキストウィンドウ）に限りがある場合に、テキストを小さなセグメントに「chunking（チャンキング）」し、それぞれの小さなチャンクとして処理する方法です。 このプロセスは、大規模なテキストデータを効率的に扱い、モデルがテキストの全体的な意味を失うことなく、各セグメントの内容を理解しやすくするために重要です。チャンキングによって、LLMは各チャンクの情報を個々に分析し、その後、全
「本書で提供するのは、1つのベストプラクティス集である。コードの作成方法に関する誰かの机上の理論ではなく、実際のコーディング方法に関する実体験に基づいており、首尾一貫し、用途が広く、バランスよくまとめられている。何よりも、これは実際にうまくいくプラクティス集であり、世界中の多くの開発者によってすでに使用されている。Perl自体と同様に、これらのガイドラインの目的は、開発者にわずらわしさを感じさせずに、作業を行うための手助けをすることである。」（本書「はじめに」より） はじめに 1章 ベストプラクティス 1.1 3つの目標 1.1.1 堅牢性 1.1.2 効率性 1.1.3 保守性 1.2 本書について 1.3 新しい習慣 2章 コードのレイアウト 2.1 かっこ 2.2 キーワード 2.3 サブルーチンと変数 2.4 組み込み関数 2.5 キーとインデックス 2.6 演算子 2.7 セミコ
TOP アメリカの新しい心理療法（マインドフルネス心理療法）目次 第７章 行動活性化における行為の発見 第７章は、「行動活性化における行為の発見」である。1970年代に開始されたが、マインドフルネス、アクセプタンスをとりいれて復活した。大うつ病の治療法の一つとして期待されている。 行動活性化の修正・復活 行動活性化の療法は、主として、「大うつ病」に適用される。 「行動活性化(BA; Behavioral activation)という概念は、元々、1970年代前半のPeter Lewinsohn(1975)と彼の共同研究者たちによって、大うつ病性障害のための治療法として考案されたものであるこのアプローチは1980年代にはいったん勢いを失ったが、90年代後半、Jacobsonと彼の共同研究者の研究によりその勢力を取り戻した。」（２１７頁） 「行動活性化」は、うつ病には、認知療法や抗う
うつ病の治療というと、抗うつ剤などの薬物療法を思い浮かべる方は多いでしょう。 しかし、うつ病の治療法には薬物以外の方法もあります。代表的なのは、患者さんにお話してもらう中で心理的側面にアプローチしていく精神療法（カウンセリングなど）ですが、それ以外にも日常生活の中で前向きになるような生活習慣・行動に変えていくといった方法も有効です。 行動活性化療法という治療法があります。これは1970年代にうつ病に対する治療法として提唱された方法なのですが、当時はあまり流行らず最近になって見直されてきた治療法です。 行動活性化療法は、「行動」に焦点を当て、自分にとって精神が安定するような行動を探し、それを増やしていくことでうつ病の改善を目指します。 今日は、薬物以外のうつ病治療として行動活性化療法という治療法を紹介させていただきます。 １．行動活性化療法はどんな治療法なのか 行動活性化療法（BA：Beha
めずらしく釣りっぽいタイトルだけど、ちゃんと主張しておきたいので。 きっかけはこちらの記事。 極論すると、コメントが無いと読めないコードはダメ - かおるんダイアリー ここから色々リンクを辿ってみたけど、ほとんどの人が コメントを書かなくてもいいよう、十分明確なコードを書く 関数やメソッド名として切り出せば、その名称で示すことができるからコメントは要らない 処理からでは読み取れない情報（意図）や、複雑な処理のみ例外的にコメントを書く あたりに結論づけているのにちょっと危機感を覚えました。もちろん「コメントを書かなくても読み取れるようなコードを書く」というのはコーディングする上で大切なことだけど、じゃあ実際にコメントを書かなくてもいいのか、というと別問題でしょう。 私のスタンスは表題のとおり「いいから黙ってコメント書け」というもの。結論としては、 コードコメントに書くべきは「意図」 - プロ
Typical modern software systems allocate memory dynamically from structures known as heaps. Calls are made to heap-management routines to allocate and free memory. Heap management involves some computation time and can be a performance issue. Chunking refers to strategies for improving performance by using special knowledge of a situation to aggregate related memory-allocation requests. For exampl
* 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動で復旧できることに主眼を置いています。 + ファイルシステムを利用する側(アプリ)に、ある程度の想定を求めています。任意の利用ケースに対してそこそこのパフォーマンスを出す(=平均的に良い性能)のではなく、特定の利用ケースで性能を発揮できるように設計しています。 + 性能を発揮できる利用ケースは次のようなケースです。 ++ 主にサイズの大きいファイルを扱う(*注3)。 ++ ファイルへの書き込みは追記(append)が多い(ファイルの一部分を何度
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 行動活性化 (認知行動療法の新しい潮流): ジョナサン・W・カンター (著), アンドリュー・M・ブッシュ (著), ローラ・C・ラッシュ (著), 岡本泰昌 (翻訳), 西川美樹 (翻訳), ウィンディ・ドライデン (編集), 大野裕 (監修): 本
Amazon.co.jp: セラピストのための行動活性化ガイドブック:うつ病を治療する10の中核原則: クリストファー・R・マーテル, ソナ・ディミジアン, ルース・ハーマン-ダン, 坂井誠, 大野裕: 本
Amazon.co.jp: うつを克服するための行動活性化練習帳:認知行動療法の新しい技法: マイケル・E・アディス (著), クリストファー・R・マーテル (著), うつの行動活性化療法研究会 (翻訳), 大野裕 (監訳), 岡本泰昌 (監訳): 本
Amazon.co.jp： Perlベストプラクティス: 本: Damian Conway,クイープ
Amazon.co.jp: うつ病の行動活性化療法: 新世代の認知行動療法によるブレイクスルー: クリストファー・R・マーテル (著), ミッシェル・E・アディス (著), ニール・Ｓ・ジェイコブソン (著), 熊野宏昭 (監修), 鈴木伸一 (監修): 本
