You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Running Awk in parallel to process 256M records May 24, 2020 TL;DR Awk crunches massive data; a High Performance Computing (HPC) script calls hundreds of Awk concurrently. Fast and scalable in-memory solution on a fat machine. Introduction Presenting the solution I worked on in 2018, to a Data Challenge organized at work. I solve the Scientific Publications Mining challenge (no.4) that consists of
最近 Kubernetes 全然触ってねーなって思ってたところに、『6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない?となった話 – データエンジニアの酩酊日記』を見つけて、自分と異なる立場によるコンテナシステムへの感想を興味深く読ませていただきました。 Kubernetes を推す人がいる一方で、ここには昨夏『Kubernetes、はじめました』と言っておきながら今年に入って全然触らず、ECSを使ったシステムばっか手掛け、Kubernetes いらなくね?って思う人もいるわけで。これはいったいどういうことでしょう、と雑感タイムです。 どうしてコンテナシステムで迷うのか 最初に断っておきたいのは、以下 Kubernetes を否定したり腐すような意図は全くなく、なんでやろ?って自身に問いかけた私見です。やめました、と言ってもウチで今も使っ
今もありますが。 大学で図書館情報学を学んで、その傍らでブログを書いたりしていた頃が、私にもありました。 大学の授業ではOPACを組んだり、日本十進分類法で索引ができるようになったり、という図書館ぽい授業がありまして。 たくさん学ばせていただきました。 今すごく思っているのは、私が今やっているこの仕事、この世の何よりも図書館情報学っぽい仕事だなっていうことです。 誰も知らないんだけど。 私の職場は、私以外はみんな薬学部や理学系の出身です。 元々附属図書館で採用されて、そのあと特例的に異動になったので、本来であれば文系卒がつく職種ではない。 ・・・のですが、やっている仕事は本当に図書館情報学。 日本語も英語も関わらず朝から晩まで論文を読んで、索引して、データベース化する。 いわば日本のPubMedのようなもの。*1 キーワードのつけ方だったり、抄録の書き方だったり、何から何まで図書館情報学を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く