Guest blog post written by Adir Mashiach In this post I’ll talk about the problem of Hive tables with a lot of small partitions and files and describe my solution in details. A little background In my organization, we keep a lot of our data in HDFS. Most of it is the raw data but a significant amount is the final product of many data enrichment processes. In order to manage all the data pipelines
過去に Terraform Best Practices in 2017 という記事を書きました。 そのあと、2019年2月のJAWS Days Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理するを話しました。 その中で、Dev環境を手で作業して、その内容をExportして、Stg, Prodに展開出来たら良いのになー。という話をしていたのですが、それの兆しが見えるツールが登場したので紹介します。 2019年5月頭にひっそりと terraformer という何かと間違えるようなツールが出ていました。 少し驚いたのが、提供元がGoogleCloudPlatformでした。 CLI tool to generate tf and tfstate files from existing infrastructure (reverse Terrafor
各大学のコンパイラの講義資料を集めました また、コンパイラ関連の書籍も載せておきます #講義資料 ・京都大学 http://www.fos.kuis.kyoto-u.ac.jp/~umatani/le4/mainSlides.pdf ・東北大学 http://www.pllab.riec.tohoku.ac.jp/education/lectures/compiler/compiler.html ・近畿大学 http://www.info.kindai.ac.jp/compiler/ ・筑波大学 http://www.hpcs.cs.tsukuba.ac.jp/~msato/lecture-note/comp-lecture/comp-lecture-note-v1-1.pdf ・慶応大学 http://www.sakurai.comp.ae.keio.ac.jp/classes/2012
Android 開発環境の最新化 Android Studio を最新化します。 あんまり普段使わないので、立ち上げるたびに更新してる印象。 Android SDK の最新化 Android SDK 系もアップデートとかあるやつは最新にしました。 あんまり普段使わないので（略 Flutter のダウンロードと展開 基本的に以下のサイトに従ってやりました。 Windows install - Flutter ダウンロードした zip を解凍してできた flutter フォルダーを c:\SDKs\flutter に移動させて C:\SDKs\flutter\bin にパスを通しました。 そして flutter doctor を実行しました。結果は…？ Doctor summary (to see all details, run flutter doctor -v): [√] Flutter
[速報！] オンプレミスからプライベートネットワークでのアクセスが可能に！PrivateLink に Amazon S3 が追加されました アップデートによって、Private Link for S3がインターフェイス型をサポートされたことによって、この記事のアーキテクチャは陳腐化しました。大変喜ばしいです!! S3にアクセスする際は極力S3のAPIを使い、追加でAWS Transfer for SFTPのコストを払ってでもSFTPしか使えない場合はAWS Transfer for SFTPを使いましょう。 はじめに おはようございます､加藤です｡AWS S3を利用したいが､セキュリティポリシーや送信元のハードウェア・ソフトウェアの都合でパブリックネットワークを使用できない・使用すると脆弱な場合にはプライベートネットワーク経由でS3にアクセスする必要があります｡ 今回は､この要件を実現する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
