はてなブックマーク

はじめに 最近円安の進行で値動きが激しいですね。特に９月に円相場は、24年ぶりの円安水準となる1ドル＝140円台前半まで下落しましたので、この状況で為替損益を常に監視したい方々が多くなるでしょう。今回はUSDJPYの為替レートを継続的にInfluxDBに格納し、Grafanaで為替損益を可視化するシステムの構築方法を紹介したいと思います。 ちなみに、為替レートの変動により生じた利益を為替差益、生じた損失を為替差損といいます。たとえば、米ドルを1ドル＝105円のときに購入した後、為替レートが円安方向に動いて1ドル＝120円となった場合、購入していたドルを円に交換すれば1ドルにつき15円の利益を得ることになり、これが為替差益となります。逆に、為替レートが円高に進んで1ドル＝100円となった場合は1ドルにつき5円の損失をこうむることになり、これが為替差損となります。 1.やりたいこと Docke

こんにちは，S.T.です。今回は，お手軽かつ実際のワークロードに近い形でMySQLの負荷検証をする方法を考えます。お手軽にMySQLに負荷をかけるツールとしてmysqlslapがありますが，mysqlが実行するSQLはアプリケーションから実行するSQLとは性質が異なります。JOINなども絡めてアプリケーションが実行するSQLに近いSQLで負荷をかけられ，しかも簡単に実行できる，というものがあれば便利そうです。 1.mysqlslapとは mysqlslapは，MySQLの負荷をエミュレーションできるクライアントアプリケーションです。MySQLに接続して複数のクエリを実行し，その実行時間を計測することができるツールです。インストールも簡単で，たいていはLinuxディストリビューションのパッケージマネージャ経由でMySQLをインストールすると，一緒に入ってきます。実行も簡単で，いくつかのオプシ

こんにちは。次世代システム研究室のL.W.です。 今回はイーサリアムのL2ソリューションArbitrumを調査し、触ってみましたので、ここで共有します。 1.The Merge後のL2ソリューションについて 日本時間9月15日15:43頃、イーサリアムの大型アップグレードThe Mergeが実施されましたが、ブロックチェーンのコンセンサスアルゴリズムがPoWからPoSへ無事に移行しました。 出典：https://members.delphidigital.io/reports/the-complete-guide-to-rollups マージにより、イーサリアムのエネルギー消費が最大99.95%削減されました。 一方、気になるgas fee（ガス代、手数料）、tps （トランザクションスループット）、transaction finality（トランザクションの最終性、一度承認されたトランザ

こんにちは。グループ研究開発本部の H.U と申します。 以前当ブログにて、Google Apps Scriptをローカル環境で開発するTipsについて紹介させていただいました。 この度、あるプロジェクトでGoogle Apps Script（以下、GAS）を使用する機会がありました。またその際に、GASの関数を外部から実行するという要件も付随しておりました。 本記事ではその際にどのようなことをやったのかをご紹介いたします。 （なお、GASのプログラムについての記載は本記事のスコープ外となりますのでご了承ください。またスクリーンショットなどは記事公開当時のものとなります） 今回やること GASはGoogleの開発するプログラミング言語で、Google Workspaceのさまざまなソリューションを連携させるのに便利な機能を提供してくれています。 今回はこのGASで作成した関数を、外部すなわ

D. M. です。 Nginx の HTTP/3 対応はどんなことが必要なのかを完全に理解しようとしてローカルに構築した際ハマった問題点をご紹介します。 TL;DR ・nginx.confは以下3行が新たに必要 listen 443 http3 reuseport; ssl_protocols TLSv1.3; add_header Alt-Svc 'h3=":443"; ma=86400'; ・SSL証明書はホンモノ必須！（LetsEncryptでもOK） ・ALT-SVC ヘッダーがないとブラウザは判断できない！そこに h3 を書け！ ・WSL 2だと動かないぞ！VirtualBox 復活祭だ！ ・ブラウザキャッシュにハマると全くHTTP/3にならない！サーバの設定を変更したらブラウザキャッシュをクリアせよ！ モチベーション 背景として、2022年6月6日 IETF（Internet

こんにちは，S.T.です。今回はGoogle Spannerを検証します。Spannerは関係データベースのデータ構造を持ちトランザクション処理に対応した分散データベースです。リアルタイムにトランザクション処理を行うようなアプリケーションのデータストアとしての利用も考慮されています。また，PostgreSQLのインタフェースの実装も進められており，アプリケーションから一般的なRDBと同様に使えるようになる日も近そうです。 そこで，今回はSpannerのトランザクションの挙動をMySQLのInnoDBと比較し，挙動の違いによる落とし穴がないかどうかを確かめます。具体的には，トランザクション分離レベルやロックの範囲について検証します。結論から言うと，何も考えずに単にRDB置き換えるだけでは大怪我をしそうだが，特性を理解していればそう大差ない実装でいけると言えそうです。また，Spannerの肝で

イーサリアム1.0の大規模アップデート「London」は、2021年8月5日12時34分（協定世界時：UTC＝日本時間5日21時34分）、ブロック高12965000で無事に実行されました。 今回のアップグレードで実装された中でも特に注目を集めたのは、EIP-1559です。 EIP-1559は、取引手数料を支払うためにイーサリアムのマーケットメカニズムを変更しました。 基本的に、EIP-1559はファーストプライスオークション（first-price auction）を廃止し、固定価格セール（fixed-price sale）に置き換えました。 つまり、「Gas Price」でのオークションの代わりに、予測可能（ブロック毎に固定）の「Base Fee Per Gas 」、チップ機能の「Priority Fee Per Gas」とロックに含めるために出せる最大額の「Max Fee Per Ga

こんにちは。次世代システム研究室のY. O.です。 過去数度にわたって、統計的因果推論やその派生テーマについてブログを書いてきました。 ビジネスで利用する因果推論実践 ~アンチパターンを添えて~ ABテストの際に実務で気をつけている尖った観点だけ集めてみた FirebaseのA/B Testing・Personalizationはビジネスでどれほど活用できるのだろうか そこで改めて、統計的因果推論の全体像を体系立って知りたい、というのが今回のテーマです。 調査を終えて、ちょっと調べただけではその体系を知ることができないな、というのが正直な感想です。まとまりきっていない部分もありますが、前半に体系論、後半に実例を用意していますので、同じ悩みを抱えている方の少しでも助けになればと思います。 因果推論の全体像 そもそもなぜ因果推論なのか “因果と相関は違う”、と統計学の基礎講義を受けた学生だけで

2022.04.08 PEGASUS：AI文書要約ってどこまで要約できるの？　~Swallow had been waiting for this moment for a long time.~ こんにちは！４月になって新人を名乗れなくなりました、次世代システム研究室のY.T.です！今年度もよろしくお願いします！ はじめに BERTが出てからというもの、自然言語処理の活躍はすごいですね。最近の機械翻訳はかなり実用に耐えるレベルですし、XLNetを使ったモデルでセンター試験の英語を解かせたら180点ぐらい取ったみたいな話も聞きました。 機械翻訳は自然言語処理でも早くから世に出ている成果なので、触れたことがある人も多いのではないでしょうか。 しかし、AIによる文書生成はどうでしょう。小説を書くAIみたいなのがSNSで流行ったりして、知っている人はいるかもしれませんが、こういったものが世の中に

こんにちは。F.S.です。 今回は2021年初から市場を賑わしているNFT（Non-Fungible Token）と関連の強い技術であるIPFSのトピックとして、データストアにAmazon S3を使う方法を紹介します。 1.結論 コンテンツデータをAmazon S3にストアするIPFSノードを立てるポイントは下記の通りとなります。 公式のプラグイン go-ds-s3 を使う go-ipfs本体にプラグインを組み込んでビルドするのが確実 コンテンツのブロックデータを格納する領域のみS3を使うように設定する 概ね go-ds-s3 のREADMEにある手順の通り実施することで動作します。 2.IPFSの概要 IPFS（Interplanetary File System）はP2P型のハイパーメディアプロトコルで、非中央集権的な分散ファイルシステムです。 2-1.特徴 IPFSのデータを取り出す

2022.01.07 Python で映画をオススメしてみる 〜ユーザー評価に基づくレコメンド・システムの基礎とデータに潜むバイアス〜 導入 こんにちは次世代システム研究室の T. I. です。 さて、今回の Blog では、前回の Blog に引き続き「施策デザインのための機械学習入門」を参考に日常のデータサイエンスの業務で生じうるバイアスとその対処方法について紹介します。 今回の課題はレコメンド・システムです。我々がインターネットを利用していると、日常の様々な場面で商品・作品をお勧めされていると思います。これらは各種Webサービスが日夜集めたアイテムや顧客のデータを元になされています。アイテムの推奨には２種類考えられます。 (1) ユーザーが興味を持って何度も閲覧・視聴しているものを推奨して再度コンヴァージョン(購入・試聴)してもらう。 (2) ユーザーが興味を持ってもらえるであろう新

こんにちは、Y.C.です。Ethereumスマートコントラクトには一般的なwebアプリケーションとは異なる脆弱性があるのをご存知ですか？特にリエントランシーはEthereumの実行の仕組みに起因していて特異性が高く、その被害規模の大きさと合わせて最も悪名高い脆弱性となっています。今回はリエントランシーの原理をブロックチェーン上でどのようにコントラクトが実行されるかという観点で解き明かし、さらに検査ツールについても紹介したいと思います。 TL;DR Ethereumではトランザクションにより送金やコントラクトの実行・生成を行う リエントランシーはトランザクションの仕組みを利用した凶悪な脆弱性 検査ツールを使って脆弱性がないか事前にチェックしよう はじめに スマートコントラクトのリスク 情報セキュリティの世界ではリスク = 被害の大きさ × 発生確率として表しますが、スマートコントラクトはこの

2022.01.12 何度も挑戦し挫折してきたE2Eテスト、ついにSaaSのAI自動テストが福音となるか？！の巻 D.M.です。E2E テストのツール mabl について書きます。 TL;DR ・mabl はお手軽で素晴らしい。初期設定が簡単ですぐに開始できる。テスト作成とスケジュール設定が非常に簡単。修正もすぐにできる。 ・さすがに Google reCAPTCHA は突破できない（できたらそれはそれでヤバい）。Webアプリ側で仕様上の特殊な処理を設けるしかなさげ。 ・テストメール生成機能もあり非常に便利。（今回はうまく使えず。。） ・壊れたら自動でいい感じにしてくれる Auto Healing がすごい。逆に Auto Healing されたら困る、 NG にしたいケースでは Auto Healing をOFFにしたり、 Assert で正しい値が出ているかチェックするという逃げ道もあ

はじめに あけましておめでとうございます、新卒のY.Cです。この肩書きで投稿するのは最後になりそうです。Google Cloud Functions を使おうとすると大体セットで出てくる Pub/Sub ちゃん、君は誰やねんこっちは定期実行したいだけなんじゃ、とずっと思っていたのですが最近和解できたのでpubsubちゃんの魅力とこわさについて書いてみようと思います。pubsubを知っている人はこわいアーキテクチャまで飛ばしてください。 TL;DR Cloud Pub/Sub はメッセージ送受信を実現するキュー push型は処理の分割点、pull型は集約点という見方もできる メッセージ先を間違えると無限ループするのでこわい Cloud Pub/Sub 概説 pubsubは一言で言うとただのキューです。では、なぜ定期的にcloud functionsを発火させたいだけなのにキューを経由しなけれ

こんにちは。次世代システム研究室のM.Mです。 前回のブログでは、はじめてのGoogle App Engineということで、Google App EngineでWEBアプリを作った場合、ログはどのように確認するのか、redisやMySQLとはどのように連携するのかについて紹介しました。 また、WEBアプリは前回実施したKVSやRDBMSとの連携以外にも、他サービスが提供するAPIとの連携も多く行われるので、Google App Engineで作られたWEBアプリからGoogle Cloud Platformにて提供されているサービスを利用して非同期で他のAPIを実行する方法について確認しました。 （以下Google App EngineをGAE、Google Cloud PlatformをGCPと記載します） 1. Cloud TasksとCloud Pub/Sub GCPにて提供されてい

D. M. です。今回は新人研修で扱う DB のパフォーマンスチューニングについてのお話です。 この記事を書こうと思ったキッカケ 私はここ数年新人やインターンの学生のメンターをよく担当しているのですが、学生と会社員エンジニアの間にはデータベース（ RDB ）の知見に大きな溝があると感じています。 研修で「とりあえずサービスを作ってみよう！」という課題を出すと、最近の新卒の方は平均的なレベルが高く、いいアイディアでさらっと Web サイトを立ち上げることができます。 ただそのサイトが毎日 100 万人が使うことを想定して充分なチューニングができる人は新人段階ではほんのわずかです。毎回同じようなことを指摘するのですが、特に多いのが DB 関連です。多くの方が DB の経験がほとんどなくあまり扱えないのです。コンピュータサイエンス専攻出身の方はプログラミングスキルをはじめとした技術的な知見を持っ

はじめに こんにちは、次世代システム研究室のT.I.です。 みなさま、本日もお仕事お疲れ様です。今回は楽して儲けたい(?)というテーマで株式や為替などの自動取引について紹介したいと思います。過去にも同様のテーマでのブログはありますが、いったん初心にかえって１から入門編として始めたいと思います。AIで自動取引というと小難しい数学を駆使して応用すると思われるかもしれませんが、実は簡単な計算の組み合わせだけで出来るので実際に手を動かして感覚を掴んでいただければと思います。 Pythonでゼロ(?)から始める自動取引 データ収集 まず、最初にデータを準備する必要があります。為替レートや株価などは様々なsiteで公開されていますが、一旦 download したり、少々手間ですよね。python library の１つである、pandas_datareader を利用すると、簡単に様々なデータソースか

D.M.です。今回は RPA にて PDF を OCR で読み取る検証をしたお話です。 TL;DR ・実用性は AI OCR しか勝たん。 ・AI OCR は Google vs Microsoft の構図。 両者精度高。 ・Google も Microsoft も API に無料枠があり Python などのプログラムで連携できる。 ・Microsoft は有料の RPA 連携機能が超絶楽勝なのでコードを書かない前提ならこっちも選択肢。非エンジニアでも楽々自動化できる。 ※関連記事 AI OCR でクレカ読み取りをやっています。 スマホNativeアプリでクレジットカード番号の読み取り機能の技術検証結果まとめ https://recruit.gmo.jp/engineer/jisedai/blog/technical_review_ocr_solutions_on_auto_detect

こんにちは。次世代システム研究室のL.W.です。 NFT（Non Fungible Token）は、非均質化されたトークンであります（非代替性トークンも呼ばれます）。均質化（Fungible Token）された形の暗号資産（仮想通貨）と同じく、ブロックチェーン上で発行および取引されます。 ブロックチェーン技術を活用することで、唯一無二な資産的価値を付与し、新たな売買市場を生み出す技術として注目を浴びています。中にはとてつもない価格が付くデジタルアートの作品も次々と登場していました。

こんにちは，次世代システム研究室のS.T.です。普段はHadoopネタを書いていますが，今回はテーマをがらっと変えて，FPGAネタです。 「FPGAに機械学習の推論部分を実装し高速に処理を行う」という技術は耳にしたことがありましたが，漠然としたイメージがあるだけで実際にどのように実装していくのかということは知りませんでした。調べてみると，高位合成を用いた手法(1)や，学術研究として開発されたアクセラレータとしてのアーキテクチャ(2)は存在するようですが，シンプルなサンプルコードの形で存在するものはないようです。 もちろん「ソフトウェアエンジニアやデータサイエンティストが作成したモデルを高位合成でFPGAに落とし込みアクセラレータとして使用する」というユースケースを考えれば納得がいきますし，応用できる範囲もHDLで直接実装するより広くなると思います。 しかし，「低コスト小規模なローエンドFP

こんにちは、次世代システム研究室のA.Zです。 現在、関わっている機械学習プロジェクトは開発開始から４年ぐらいに経ちました。当時サービスを立ち上がったときに、機械学習のツールやフレームワークが今のような充実していませんでした。最初に機械学習サービスを立ち上げたときに、ほとんどSparkとBigqueryをメインで、機械学習ワークフローを作成されました。サービスが規模が大きくなり、かつ様々な機能が追加されたため、全体的なシステムが複雑になり、運用やトラブルシューティングが大変になってきました。 この数年間で、機械学習は研究だけではなく、たくさんの企業が実際のサービスに応用しています。その結果、実サービスに大規模な機械学習システムの運用のベストプラクティスやライブラリも増えています。 特に大手企業のGoogleが自分のサービスでも利用されているend-to-end機械学習ライブラリー(Tens

JAMstackは、Webをより速く、より安全に、そしてより簡単に拡張できるように設計されたアーキテクチャです。 これは、開発者が愛し、最大の生産性をもたらす多くのツールとワークフローに基づいて構築されています。 具体的にJAMstackが提供する主なメリットは次のとおりです。より高速なパフォーマンス CDNを介して構築済みのマークアップとアセットを提供します。 より安全に サーバーやデータベースの脆弱性について心配する必要はありません。 より安価な 静的ファイルのホスティングは安価または無料です。 開発者エクスペリエンスの向上 フロントエンド開発者は、複雑なアーキテクチャに縛られることなく、フロントエンドに集中できます。 これは通常、より迅速で開発できます。 スケーラビリティ 製品が突然口コミで広まり、多くのアクティブユーザーがいる場合、CDNはシームレス（問題なく）に補正します。 歴史

こんにちは。次世代システム研究室のT.M です。 はじめに React Native やFlutter はクロスプラットフォームのアプリケーションフレームワークとして有名です。クロスプラットフォームのフレームワークとしてどちらが良いかを判断するために、前回の記事では、React Native とFlutter のandroid アプリにおけるパフォーマンス比較を行いました。そもそも、クロスプラットフォームは、android とiOS だけでなく、Web やWindows / MacOS を指す言葉です。そこで、本稿ではWeb アプリケーションの開発について比較を行います。 React Native では、標準ではandroid / iOS アプリの開発しか行うことができません。同一ソースコードでのWeb アプリを開発するためには、React Native for Web を利用する必要があ