データ活用のリーディングカンパニー、株式会社ブレインパッドの公式ブログです。ブレインパッドの社風や働き方、多彩なプロフェッショナルたちをより深く知ってもらいたいという想いを元に、さまざまな記事をお届けします。
データ活用のリーディングカンパニー、株式会社ブレインパッドの公式ブログです。ブレインパッドの社風や働き方、多彩なプロフェッショナルたちをより深く知ってもらいたいという想いを元に、さまざまな記事をお届けします。
こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 ChatGPTなど高性能な会話型AIの学習プロセスとして採用されているRLHFとは、一体何者なのかをご紹介します！ こんにちは。アナリティクスサービス部の橋本です。 今回は、ChatGPTなど高性能な会話型AIの学習プロセスとして採用されているRLHF（Reinforcement Learning from Human Feedback、人間からのフィードバックを用いた強化学習）とは一体何者なのかをご紹介させていただきます。 ChatGPTなどの会話型AIが、どんな学
2022年11月に公開されて以来、非常に話題になっている ChatGPT ですが、今回は ChatGPT で使われているモデル『InstructGPT』を解説したいと思います。 もともと OpenAI では 『GPT-3』 という巨大言語モデルを作り、それが一般の人にも API の形で公開されていました。 （2023年3月より ChatGPT の API も公開されています。詳しくはこちらをご参照ください ⇒ 「OpenAI 『ChatGPT』APIの使い方を解説」） GPT-3 では、人間が書いたものと区別がつかないようなニュースの文章を生成したり、いくつかの例示をするだけで人間のようにうまくタスクをこなしたり、アイデアを列挙したりと様々なことができるようになっています。 OpenAI GPT-3 APIの使い方を解説 2021年11月18日にOpenAIが「GPT-3」のウェイティング
Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention) Translations: Chinese (Simplified), French, Japanese, Korean, Persian, Russian, Turkish, Uzbek Watch: MIT’s Deep Learning State of the Art lecture referencing this post May 25th update: New graphics (RNN animation, word embedding graph), color coding, elaborated on the final attention example. Note: The ani
全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ
さて、ChatGPT が非常に盛り上がっていますが、2022年11月にリリースされた ChatGPT は GPT-3.5 というモデルがベースになっています。 そして、2023年3月にはその後継モデルである GPT-4 がリリースされ、ChatGPT Plus で利用できるようになっています。（月額20$） それ以降も画像データを処理できるようになったり、個人の好みを記憶できるようになったりと色々なアップデータがあってこの先どうなるんだろうと楽しみになりますね。 今回は、もともとの GPT-4 についてしっかりと解説したいと思います。 ちょっとした対話であれば GPT-3.5 でも GPT-4 でもそこまで大きな差はないように思えますが、GPT-4 に情報抽出や分類問題などのタスクを解かせようとすると、GPT-4 の方がかなり精度が良くなっていることがわかります。 ですので、より複雑な利用
先日、Google より Google アナリティクス (ユニバーサル アナリティクス) の終了とGoogle アナリティクス 4 (以下 GA4)への準備についてアナウンスがありました。それを受けて、はてなブログでは以下の告知にて、GA4の対応予定を案内いたしました。 本日、はてなブログにGA4の設定を追加いたしました。設定方法について詳しくはこちらをご確認ください。 help.hatenablog.com ユニバーサルアナリティクスとは別に設定のフォームを提供しておりますので、同時に計測することも可能です。GA4とユニバーサルアナリティクスは計測のタイミングに違いがあるなど、数字に差異が発生することが多いです。つきましては、ユニバーサルアナリティクスは設定したままで、GA4の設定も追加することをおすすめいたします。 また、はてなブログの設定からGA4の設定を行っていただくだけで*1、ブ
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
いま世界中で、歴史的名作のデジタル・アーカイブ化の流れが進んでいます。 今回は、世界の名画を無料ダウンロードできる美術館サイトをまとめてご紹介します。 著作権の消滅したパブリックドメインの作品が中心で、クレジット表記なしで無料ダウンロード、二次創作での利用が可能です。 紹介するサイトをすべて合わせると、600万枚を超える貴重な資料や作品を網羅。 このリストは、随時アップデート中です。 世界の名画を無料ダウンロードできる美術館サイト一覧 NDLイメージバンク（国立国会図書館） | 1,900枚 ルーブル美術館 | 500,000枚 メトリポリタン美術館 | 490,000枚 ニューヨーク公共図書館 | 754,000枚 アムステルダム国立美術館 | 747,000枚 ナショナル・ギャラリー・オブ・アート | 130,000枚 ロサンゼルス・カウンティ美術館 | 68,000枚 J・ポール・ゲ
デザインをする中で、アンティークな雰囲気を出したいという場合もあるのではないでしょうか。 そんな時ヴィンテージ感のある画像があれば大変便利ですが、それが歴史ある名画であったりすると、著作権の問題などで自由に使えない画像も数多くあります。 そこで古美術作品から古い書籍の写真、地図や挿絵など色々なヴィンテージ画像を利用することが可能なサイトをまとめてご紹介します。 ※各サイトの素材数、利用に関する情報などは執筆時点である2016年1月14日の内容です。今後変更となる可能性があるのでご注意ください。 マーケ思考のデザイナーは強い！ 提案型デザイナーのススメ リード獲得が重視される「広告・LP・サービスサイト」などに携わるデザイナーの皆様に向けての資料です。成果を出すデザインにするために心がけたいポイントを制作前、制作中、提出と修正、公開後の効果検証まで一連の流れに沿ってまとめています。 歴史的な
2013年創業のフリーマーケットアプリ大手のメルカリが、2018年6月19日に東京証券取引所の新興企業向け市場「マザーズ」に上場した。上場日の時価総額は一時、8000億円を超え、18年の上場企業の中で最大だ。山田会長に創業時の思いや今後の方針を聞いた。 マザーズ時価総額一時8000億超、狙うは世界制覇!? もともと旅行が好きで世界中を回っていました。2010年、私が創業したソーシャルゲームのウノウを米ジンガに売却したあと、会社も辞めて次の方向性を考えていたとき、「会社をつくったら、また旅行ができなくなる」と思って、12年初頭から、アフリカや南米、中東など新興国や途上国を回る旅に出ました。 その旅を終えて年末に帰国したとき、とても驚いたのは日本でスマホが急速に普及していることでした。旅に出たときは、日本はまだガラケーが中心。ところが、1年も経たないうちに、多くの人がスマホでLINEを使って会
2019年5月31日をもちましてサービスを終了しました。 12年の長きにわたりご愛顧いただき誠にありがとうございました。
参加条件： Deep Learning基礎講座修了か、もしくは同等レベルの知識を持つこと 基本的に毎週輪読会に参加できること 発表が割り当てられた場合，発表できること 参加方法： 下記のフォームをご記入下さい。（参加には基本紹介が必要となります。） https://docs.google.com/forms/d/e/1FAIpQLSfosRjTx_kFljDyVLjTKn_XLwCLWPOT6fOYUSwvINdUbuvfJw/viewform 輪読会の進め方： 2020年8月現在，会議は原則オンラインで行っています（コロナの影響）．オフラインイベントの復活時期は未定です． 大枠：45分,小枠20分×2の合計3件です。 時間は質疑込みの時間です。 基本は最初は小枠の発表に割り当てます。その中の一部メンバーに大枠の担当を依頼させていただきます。（大枠で話したいという方、何か話したいテーマがあ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
