どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決できるか試したい 1つの医薬品を指す名称は、複数存在するため医薬品検索は意外と面倒な問題です。 例えば、日本人なら頭痛や生理痛、発熱したときに「ロキソニン」を飲んだことがあるかもしれません。この名称は商品の名称ですが、成分の名称は「ロキソプロフェンナトリウム水和物」です。 さらに、ロキソプロフェンには錠剤以外にもテープやパップといった剤形の違いがあります。 そして最後に、ロキソプロフェンを作っている会社は複数あるので、末尾に「トーワ」や「ファイザー」などの組み合わせが存在します。ロキ
はじめに コーディング時にわからないことを調べるのはプログラマとして日常茶飯事かと思います。 本記事では、個人的にいつも使ってるググり方のコツを3つほどご紹介いたします！ 1. "(ダブルクォーテーション)で囲う(完全一致) ワードを "(ダブルクォーテーション) で囲うことで、囲われたワードを含めた検索結果のみを表示することが出来ます！ 例：「React "JISOU"」で検索 上記の例はReactの検索をしていますが、それに合わせてJISOUというワードを含めた検索結果のみを表示しています。 検索するワードによっては余計な結果が含まれることもあると思うので、欲しい結果のみを表示したい場合に使える手法です。 2. 検索するワードの一部を*(アスタリスク)に変更する（あいまい検索) 検索ワードの一部を *＊(アスタリスク) にすることで、あいまい検索（※）をすることが出来ます！ 例：「Un
はじめに こんにちは、エンジニアの長谷です。 最近社内でPostgreSQL拡張をRustで実装しているのですが、世の中でもRust製のPostgreSQL拡張がいろいろと開発されているようです。 今日はその中の1つParadeDBをご紹介します。 ParadeDBとは ParadeDBとはElasticsearchのような機能を持つPostgreSQL拡張で、Rustで実装されています。 似たような拡張としてはZomboDBがありますが、こちらはあくまでElasticsearchの導入が前提でPostgreSQLとElasticsearchを連携するような機能であるのに対し、ParadeDBはPostgreSQLのみで完結できるという特徴があります。 機能としては主にSearch（pg_search）とAnalytics（pg_lakehouse）を提供しており、さらにSearchに関し
生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘されています。これに対し、Perplexityのアラヴィンド・スリニヴァスCEOが、「robots.txtの指示を無視しているわけではない」「自社のクローラーだけでなく、サードパーティーのクローラーにも依存している」と釈明しました。 Perplexity AI CEO Aravind Srinivas on plagiarism accusations - Fast Company https://www.fastcompany.com/91144894/perplexity-ai-ceo-aravind-sriniv
「納得感のある仮説を立てたい。でも、どんなに頭をひねっても、表面的なアイデアしか浮かんでこない…」 あなたは、そんな苦い経験をしたことはありませんか？ 良いアウトプットは、良い仮説を作るところからだと言われています。しかし、経験や知識が足りない領域では、深みのあるアイデアを生み出すことができず、もどかしい思いをすることも少なくありません。私自身、様々な思考整理術を試してはみたものの、決定打を見つけることができずにいました。 そんな時、私の前に現れたのが、生成AIという「思考のバディ」です。 本記事では、3つの生成AIツールを駆使して、まるで「三人寄れば文殊の知恵」のように仮説思考を爆速化する、私のとっておきの方法をご紹介します！ 1. 生成AIを思考のバディにするコンセプト NotebookLMを「優秀な秘書」、PerplexityAIを「博識な調査員」、そしてChatGPTを「戦略的企画
久しぶりに「これは面倒だな」というGoogle検索の仕様変更に遭遇したので、メモ。DMMという事業とサイトの性格上、正直、コアアップデートより面倒です。 日本のSEO担当者で実務レベルでこの情報を本当に必要とする人が果たしてどれだけいるのか不明ですが（この変更の直撃を受けているサイトは限定されるはず）、その少数の方の参考になれば幸いです。 Google検索設定に「アカウントに基づく情報」が出現 今回の検索仕様変更による影響 原因は「アカウントに基づく情報」 アカウントに基づく情報の挙動 Googleの「子どもから大人まで安心して利用できるインターネット」への取り組み 追記(11/1) 一般サイトも影響を受けている模様 Google検索設定に「アカウントに基づく情報」が出現 2023年10月31日に、Google検索のその他の設定の項目に、コンテンツという見出しとともに「アカウントに基づく情
全国初！株式会社自動処理は国会議事録検索の出来るChatGPTプラグイン( The Diet Search Plugin )をリリースしました！AI技術を活用し、国民の声と国会議論をつなぐ新たな仕組みを提供します 株式会社自動処理は、全国で初めてOpenAIの大規模言語モデルChatGPT上で動作する国会議事録検索プラグインをリリースしました。このプラグインは、ニュース、トレンド、提案、要望、不満などの文章を元に、その意味に近い国会議事録の議論を出典元情報と共に検索できるという特徴を持っています。これにより、誰でも簡単に国会の議論を調査、取りまとめを実施することが可能となり、国会で働く議員さんの活動をもっと詳しく知ることが出来るようになります。 New! 2023.06.24 テレビ朝日様より取材を受けました。 「ChatGPT」国会の議論にも “要約”が作れるサービス登場 https:/
Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性が増し、より多様な動画を簡単に使用できるようになりました。今回はそのシステムについて紹介します。 ワンパンで動画を探せると嬉しい 課題 Turingでは、走行パートナーの方々と共に大量の走行データを収集してきました。車両にカメラ・データ収集キットを載せて、文字通り毎日朝から晩までデータを取
この記事は何 Techカテゴリに含まれてこそいるものの、この記事はあくまで理論の側面でアプローチについて語るメモのようなものです。このアプローチに沿ったプロンプトやプログラムを書いてはいるものの、まだ期待通りの挙動をするとは言い難いです。 なぜ公開したかというと、自分より賢くて素早い誰かが理屈だけを見て代わりにやってくれたりしないか、という期待からです。 ChatGPT Plus(GPT-4 APIではない)とPythonを使います。 今回作ったプロンプト そういう前提を踏まえ、まだ完成していないプロンプトを掲載します。 プロンプト(コードブロック記法の関係で```が``に置換されている) # イントロダクション あなたはCLIを使用中の凄腕エンジニアとして振る舞ってください。 今からゲームをしましょう。 あなたの目の前にとあるtxtファイルがあります。 このtxtファイルに書かれている内
ググり力、それはエンジニアにとっては 必須の能力 になりつつあると思います。 さて、皆さんは自分のググり力で欲しい情報にちゃんとたどり着けると言えますか？ @Yametaro さんからのお題です。 ある日、コードレビュー中ワイ ワイ「さぁ、今日も同僚のコードをレビューしていくでぇ」 ワイ「まずは新卒のT君のコードを読んでいこか」 ワイ「どれどれ…」 ワイ「ん？なんやこの??っていう書き方は…？」 ワイ「ググってみよか…」 ワイ「JavaScript ??と入力して、検索ボタンをポチッとな」 ワイ「…あれ？それらしい検索結果が出てこんな…」 ワイ「ぐぬぬ、記号関係はググりづらいこともあるんやな…」 ワイ「これじゃあ今日はもう、酒飲んで寝るしかないやないか…」 〜飲酒、そして就寝へ…〜 では JavaScript で ?? の検索方法はどうしたらいいのか？ ここに１つの解答を示しておきます！
H(uman-friendly) な grep コマンド hgrep をつくりました． github.com '\w+ で検索した時の出力 ファイルを特定のパターンで検索し，マッチした箇所を構文ハイライトしたコード片で表示します．超ざっくり言うと，ripgrep で検索して bat でマッチ箇所付近を表示するような感じです． grep -C によるコンテキスト表示に似ていますが，マッチ行が近い時は1つのコード片にまとめる，周囲何行を表示するかをヒューリスティックに少し賢く決めているなど，ちょっと出力は工夫しています． 動機 手元のリポジトリでコードを検索する時は 単純に grep で検索してマッチ結果を眺める grep | fzf のように検索結果を fzf で絞り込んだりプレビューする vim $(grep -l ...) のように検索結果をエディタで開く あたりを使い分けているのですが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
