はてなブックマーク

Gemini 1.5 Proが音声ファイルにも対応したということで、Whisper大好きマンとして、どれほどのものなのかを簡単に調査したいと思います。 Gemini 1.5 Pro on #VertexAI also supports processing audio inputs - including music, speech, and even the audio portion of videos. 🎵 This means it can give high-quality transcriptions or be used to search & analyze multimodal content. → https://t.co/CLMN3wNmeP #GoogleCloudNext pic.twitter.com/kEy2vSVpK0 — Google DeepMind

この解説記事を書くにあたって、以下の記事を大変参考にしました。ありがとうございます！ただバージョンの違いがあったのか、これだけでは動かなかったため、補足という形で本記事は情報を補うものとしています。 概要サーバレスで動かすにあたって、今回はRunPod.ioを利用します。こちらでリクエストが来たタイミングでコンテナを立ち上げて、レスポンスを返すAPIを作ろうと思います。 また常時立ち上げているわけではないので、お金もかからなさそう。実際にどれくらいかかるかは後ほど検証しようと思います。今回はAPI化できた喜びを原動力として、立ち上げる方法についてわかりやすく解説します！ デプロイの流れとしてはこんな感じです！ 1.ローカルでStyle-Bert-VITS2の環境を構築する ↓ 2.Docker Hubへデプロイ ↓ 3.RunPod.io上でDocker HubのイメージをプルしてAPIを

最近、推したいプロンプト実験管理方法を見つけたので、そちらの紹介記事になります！これを見つけてから、めちゃ楽になりました！ 前提「ん？実験管理？」と思う方もいるかもなので、軽く背景のところから共有したいのですが、システムに組み込むプロンプト作りは、すごい難易度が高いなーと思ってます。 何が大変かというと、求められる品質が高いからです！ 出力形式が期待通りでないとシステムエラーになってしまう。10回中9回成功しても、それはエラー率10%なので安定とは言えない。 様々な要件がある。出力形式や文字数・レイテンシ・コストなど、ルールベースで判定できるものもあれば「ちゃんと指示に従っているか？」「魅力的なアウトプットか？」など定性的なものもある。これらの要件を満たすプロンプトを作る必要がある ということで、上記の「多様的な要件を満たす出力」と「何回やっても期待する出力が出る安定性」を兼ね備えたプロン

みなさん、Fine-tuning使ってますか！？ 一週間ほど前に、OpenAI社からgpt-3.5-turboがFine-tuning可能になったとのアップデートがありましたね。 ニュースを見て凄そうと思いつつ、少し作業のハードルがあったり、プロンプトエンジニアリングで事足りてるから、そんなに使わないかも？🤔と思ってました。 ただ今回、重い腰を上げて、Fine-tuningを試してみたら、想像以上の結果が得られたので、そのプロセスと学びをまとめます！ システムに組み込む際の Prompt Engineering で苦戦している皆さん、Fine-tuningはかなり希望になると思います…！これからはPromptをゴニョゴニョするよりも、Fine-tuningに力を入れていこうと思いました。 ではまとめていきます！ 前置きとこれまでの課題今回は、音声メモ日記アプリ「シャべマル」の絵文字分類タ

日常生活の中で生まれた「できごと」や「思ったこと」を、楽しく記録できるメモ日記アプリを開発しました！ しゃべったら、あとは丸投げして良い感じにメモを残してくれる「シャべマル」です！（笑） シャべマルの紹介具体的には、、 絵文字で見返せるメモアプリあんまりないですが、良いですよ…！音声入力でメモ内容を作成。かなり高精度な音声認識モデル（Whisper）を用いているので、想像以上にちゃんと文字起こししてくれます！ 「今日あったこと」など、日記として利用するのもオススメです。1日を振り返る機会になって、それが後から振り返りできるので、あの時こんなこと考えていたなー、といった発見につながるはずです！ そして個人的にここが目玉なのですが、文字起こしされたメモには、「タイトル」「絵文字アイコン」「感情アイコン」「カテゴリ」が自動で紐づきます！ これ何が良いかというと、圧倒的に見返しやすくなるんですよね

MicrosoftがguidanceというLangChainのオルタナティブとなるかもしれないOSSを発表しました。 Readmeを参考に、内容を日本語でまとめていきます。 GuidanceとはGuidanceは、従来のプロンプトやCoTよりも、現代の言語モデルを効果的かつ効率的に制御することができます。Guidanceのプログラムを使うと、生成、プロンプト、論理制御を一つの連続した流れに組み込むことができます。 これは、言語モデルが実際にテキストを処理している方法に適合しています。Chain of Thought やその多くのバリエーション（例えば、ART、Auto-CoT など）のようなシンプルな出力構造は、LLM の性能向上に役立つことが示されています。GPT-4 のようなより高性能なLLMの登場により、さらに豊かな構造が可能となり、ガイダンスを使えばその構造をより簡単かつ安価に実現