[B! llm][LLM] rawwellのブックマーク

rawwell id:rawwell

llmとLLMに関するrawwellのブックマーク (5)

What if we drop the causal mask in auto-regressive Transformer?
rawwell 2024/08/10
“This property ensures that the model can only attend to previous positions in the sequence, not future positions, in order to generate predictions sequentially.”

LLM

research
リンク
実務におけるRAG 〜学びと現場のノウハウ〜 | ドクセル
スライド概要実務においてRAG（Retrieval-Augumented Generation）をたっぷり経験したhoxo-mの学びと現場のノウハウをまとめた
rawwell 2024/07/24
LLM

RAG
リンク
Pretraining LLMs - DeepLearning.AI
rawwell 2024/07/18
LLM

research
リンク
GitHub - janakiramm/Intel-Xeon-LLM-RAG-Inference-Setup: This repository provides a comprehensive guide to setting up and running a LLM inference server optimized for Intel Xeon machines, with a focus on Retrieval Augmented Generation (RAG). The repository
rawwell 2024/07/13
rag

llm
リンク
LLM Inference Series: 4. KV caching, a deeper look
In the previous post, we introduced KV caching, a common optimization of the inference process of LLMs that make compute requirements of the (self-)attention mechanism to scale linearly rather than quadratically in the total sequence length (prompt + generated completions). More concretely, KV caching consists to spare the recomputation of key and value tensors of past tokens at each generation st
rawwell 2024/07/12
"Another possible optimization not covered by PagedAttention is reusing the key-value cache across requests. This would apply when the prompts share a common prefix, which commonly occurs in multi-round use cases like chat and agents or when using prompt templates (Figure 4)."

llm

kv_cache
リンク
1

お知らせ

もっと読む

公式Twitter

@HatenaBookmark
リリース、障害情報などのサービスのお知らせ
@hatebu
最新の人気エントリーの配信

キーボードショートカット一覧

j次のブックマーク

k前のブックマーク

lあとで読む

eコメント一覧を開く

oページを開く

設定を変更しましたx