はてなブックマーク

PyMuPDF4LLMは、LLMやRAG環境で必要な形式でPDFコンテンツを簡単に抽出することを目的としています。 LlamaIndex文書出力だけでなく、Markdown抽出もサポートしています。 ということで、名前の通りPDF処理ライブラリとして知られるpymupdfにLLMのための出力機能を持たせたライブラリになっています。 使い方は非常にシンプルでAPIドキュメントは、マークダウン変換を行うto_markdown関数とLlamaIndex文書処理のためのLlamaMarkdownReaderクラス(load_dataしかクラス関数がない)しかありません。（なので解説記事を出すまでもない気もしますが日本語ドキュメントはないので……） 従来のPDF処理ライブラリの弱点を完全に克服しているとは言えないものの使いやすさの点で素晴らしいライブラリだと感じました。 依存ライブラリインストール

必要なデバイス Jetson Orin Nano Developer Kit 8GB Ubuntu 20.04 がインストールされているPC NVMe SSD 0. 前準備 https://www.jetson-ai-lab.com/tutorial_text-generation.html を読むと preferably with NVMe SSD とのことなので、SDK Manager を使用して、NVMe SSD に OS をインストールする JetPack 6.x の最新版は JetPack 6.0 Developer Preview で、まだ不安定なので、 JetPack 5.1.3 をインストールするものとする JetPack 5.x をインストールするには Ubuntu 20.04 が必要なので、事前に用意しておくこと ※Ubuntu 22.04 だと JetPack 6.x

はじめに Ubuntu の実機PCが追加で1台欲しかったため、AmazonでミニPCを購入した 3万800円の8000円引きなので、つまり2万2800円 RAM 16GB, SSD 500GB, Intel N100 でこれは破格の値段である 起動してみると、Windows11 Pro がプリインストールされていた (Amazon の製品ページには OS, Linux と記載されていたので、Windows が入っていてびっくりした) 一見、正常にライセンス認証されているように見えるが Linux 使いになりたい人向けの Intel N100 ミニ PC で構築する開発環境（１） - 構築する開発環境について の注意喚起の記載の通りにライセンスを確認してみると、以下のように出力された この VOLUME_MAK_channel ライセンスが市販のPCに入っているのがどういうことかというと あ

はじめに この記事では全文検索・セマンティック検索・ベクトル検索・ハイブリッド検索の違いについて解説しています。 弊社のプロジェクトの中で、GPTを活用した社内文書検索などのナレッジが溜まっています。社内の会話で「全文検索が…」とか「セマンティックだと全文検索より…」などいろんな検索手段の名前が飛び交っていて、正直細かく違いやメリデメがわかっていませんでした。 名前からして検索の流れはざっくり分かるものの、この際しっかり言語化できるようになりたくて執筆しています。 ちなみにどの検索方法もAzure AI Searchでは対応しています。GPTとの親和性が高いので、このあたりの概要を理解していることは重要だと考えます。 それでは、それぞれの検索方法について、比較検討を行いましょう！ 全文検索 全文検索とは、ドキュメントやDB内のすべての文書から検索キーワードが含まれる部分を探す方法です。例え

目的 アプリケーションが通信に失敗した際のテストを行いたい 例. 「通信に失敗した場合に再取得ボタンが表示されること」など 方法1. Chrome DevTools を使う https://developer.chrome.com/docs/devtools/network/reference?hl=ja#throttling 任意の設定を追加して使用することができる メリット PCとモバイルデバイスの両方で使用可能 新規にアプリケーションをインストールする必要が無い デメリット パケロス率などを設定できない Android, iOS のネイティブアプリでは使用できない 方法2. Network Link Conditioner を使用する Network Link Conditioner は Apple が提供しているネットワークユーティリティツール 使用手順等は以下のサイトが分かりやす