SaaS Product Team(以下Product Team)のあやぴーです。 Product Teamの開発しているプロダクトでは「企業に関する大量データ」というものを扱う機会があります。特に様々な形式でデータパートナーから受領するため、一筋縄でいかないことが多々あります。今回はその中でも巨大なZIPファイルの中に大量のCSV(ライクな)ファイルをClojureでいい感じに処理するために苦戦した話を書いていこうと思います。 前提 最初のアプローチ OutOfMemoryErrorとの闘い 実行時間との闘い CSVの読み込み リフレクションの抑制 まとめ 前提 まずはZIPファイルについて説明します。 毎月新しいファイルが100程度配信されている ZIPファイルは大きいもので2GB、小さいもので1MB程度 ZIPファイルの中には大量のCSV形式(区切り文字は|)のテキストファイルが含ま
It seems like there's a strong aversion to using frameworks in the Clojure community. Other languages might need frameworks, but not ours! Libraries all the way, baby! While at Reify, I drafted an outline of a program called The Buddy System. The idea was to provide a framework for devs to support each other. I'm sharing it here in case others find it useful.
There are two types of programmers in the world: the practical, sensible, shell-resigned people who need to google the correct argument order for ln -s; and those twisted, Stockholmed souls who will gleefully run their company’s entire infrastructure on 57 commands stitched together into a single-line bash script. This guide is for the former. For the latter: sorry, but I can’t help you. Babashka
LSP (language server protocol) server での定義 jump は便利ですね。IDE は便利です。でも部分的にしか program を理解できなかったり、そもそも LSP は壊れたりします、おま環 (死語) ではありますが…。 結局 grep だとか ag が便利です。結局 print debug が便利なのに似てゐるかもしれません。 普段 Scala と TypeScript を書いてゐるので、その識別子の定義を探す ag wrapper です。 github.com #!/usr/bin/env bb ;; -*- mode: clojure; -*- (require '[babashka.process :refer [process]]) ;; ag -G '\.scala$' "(class|def|object|trait|type|val|v
開発本部の飯塚です。 この記事は Clojure Advent Calendar 2022 5日目の穴埋めに向けた記事です。 今回は clj-kondo を Babashka pods として利用する方法を簡単に解説したいと思います。 用語の説明 clj-kondo Babashka Babashka pods Babashka pods としての clj-kondo 準備 プロジェクトの解析 public な var の抽出 結果の出力 最後に 用語の説明 clj-kondo clj-kondo とは何か、どう使うのかについては以下の記事でまとめているので もし知らなければ先にこちらを参照することをおすすめします。 tech.toyokumo.co.jp Babashka Babashka は Clojure のインタプリタです。 GraalVM を使ってネイティブイメージとして動くため
こんにちはこんにちは!!あやぴーです。 最近の仕事ではF#を使ったり、Clojureを使ったりすることが多いのですが、今日は久しぶりにClojureの話を書きます。 Clojureでテスト書くときに一緒に使うライブラリ何使ってますか？ テスト対象が依存する関数をモックしたい - mockfn 複雑なデータ構造のdiffを簡単に知りたい(あるいはデータ構造の比較を簡単にやりたい) - matcher-combinators モックした関数が取る引数をスマートに制限したい - mockfn & matcher-combinators まとめ Clojureでテスト書くときに一緒に使うライブラリ何使ってますか？ アプリケーションでユニットテストレベルのテストを書くとき、どういうライブラリを一緒に使っていますか？Kaocha？Midje？test.check？shrubbery？Flare？ 今回
もともとの動機は、LSTMなどのRNN周辺分野のアルゴリズムをしっかりと理解したいことでした。 その一方で、ニューラルネット関連については、仕組みはなんとなく理解していたのですが、隠れ層の振る舞いや学習のアルゴリズム等をしっかり理解しきれているかどうかの自信がなかったので、0から作ってみることにしました。 ちなみに、0から作るというのは、既存の機械学習ライブラリを使わない、という程度の意味です。 勉強目的でもなければ、既存のOSSの機械学習ライブラリを使ったほうが圧倒的に楽ですし、学習も早いでしょうし、バグに悩まされる可能性は低いと思いますし、そこだけ注意してください。。 将来的にはRNN、LSTMの順に構築していきたいのですが、この記事ではフィードフォーワードモデルを構築し、隠れ層の挙動を確認するところまでにしておきたいと思います。 また、既にPythonを用いたサンプルコードがたくさん
[連載]Clojureで作るAPIの5記事目です。 前回の記事はこちらです。 tech.toyokumo.co.jp この記事では開発用のコードと実際のコードとを分離し、開発用の関数が評価された状態でREPLが起動されるようにすることで、今後の生産性を上げるようにします。 aliasを追加 user.clj おわりに aliasを追加 今のところdeps.ednで :paths ["src"] と指定しているので、ライブラリ以外でクラスパスに含まれるファイルはsrc以下のものです。 しかしsrc以下に開発のためのコードを含めてしまうと、それらもビルドの対象になってしまうので避けたいです。 そこで、開発時にだけクラスパスに含まれるディレクトリを設定することでこの問題を回避します。 deps.ednに :aliases を追加します。 ;; ./.deps.edn {:paths ["src"
弊社で書いたClojure関連記事をまとめます。 リンクになっていないものは今後執筆予定です。 開発環境 エディター フォーマッター リンター プロジェクト Clojure基礎知識 Clojureを使ったWebアプリケーション開発のための基礎知識 [連載]Clojureで作るAPI ライブラリ活用 その他 まとめ 開発環境 エディター Spacemacsで始めるClojure開発 Cursive(Intellij)で始めるClojure開発 VSCodeで始めるClojure開発 Vimで始めるClojure開発 フォーマッター Clojureのフォーマッターcljstyleの使い方 リンター Clojureのリンターclj-kondoの使い方 プロジェクト モノレポなClojureプロジェクトをClojureLSPで開発するための設定方法 Clojure基礎知識 Clojure基礎文法最
qiita.com 2021年1月から Clojure を使って仕事をしている。長年主にRubyを使った受託開発をしてきたのだが、今年はかなりClojureメインで仕事をすることができた。 Ruby から Clojure へ Ruby にあまり不満はなく（Railsには多々あるが）今でも十分に好きな言語なのだが、数年前から趣味で触り始めた Clojure が存外によくてもっとこの言語を触っていたいという気持ちが自分の中で高まっていた。 Clojure は Lisp とか JVM 上で動くとか色々特徴のある言語だが、僕としてはそういうのは Clojure を構成する要素の一つでしかなくて、もっと重要なことは Clojure の世界観とか Rich Hickey の設計に対する考え方とかで、僕としてはそういう部分に魅力を感じている。 この辺の話は t_yano さんのブログにわかりやすくまとま
北川です。 Clojure 始めました。 Clojure のお勉強をするにあたり何か良い題材はないかと探していたところ greglook/cljstyle というツールが目につきました。 以前からフォーマッターや linter の実装に興味があったということもあり、ちょうど良いのでこれを題材にお勉強を始めていきます。 コンテキスト不明なものをいきなり読んでも眠くなってしまいそうなので greglook/cljstyle のソースコードをそのまま抜粋するなどはしません。 しかし、この記事を読み終える頃には自分好みのコードフォーマッターを再実装できそうな気持ちになれます。*1 実際にcljstyleを使ってフォーマットをかけていく方法については、こちらの記事をご覧ください。 tech.toyokumo.co.jp フォーマット処理の流れ 例えば cljstyle check コマンドは以下の通
こんにちは。開発本部の江口(@egs33)です。 弊社ではClojure製の製品を開発していますが、ClojureのフォーマッターとしてOSSのcljstyleを利用しています。 利用するにあたって機能の追加やバグの修正などのコントリビュートも行いました。 tech.toyokumo.co.jp 上の記事はフォーマッターの内部実装についての説明ですが、 この記事ではcljstyleの使い方を説明したいと思います。 また、この記事はバージョン0.12.0の情報をもとに書いています。 この記事はバージョン0.15.0の情報をもとに書いています。(2022年6月更新) Clojureのフォーマッターの現状 cljstyleとは 実行方法 cljstyleの設定 .cljstyle ファイルの場所 各設定の内容 :files / :extensions :files / :pattern :fil
Clojure開発環境でのフォーマッターcljstyle設定まとめ: Spacemacs, IntelliJ IDEA (Cursive), VS Code (Calva), Vim (vim-iced)VimClojureIntelliJSpacemacsVSCode お好みのエディタ/IDEにClojure開発環境を用意したら、ぜひファイル保存時に自動実行できるフォーマッターも設定しましょう。 他言語におけるPrettierなどと同様に、ファイルを保存するたびにフォーマットできると非常に快適です。 Clojureのフォーマッターcljstyleの使い方 - TOYOKUMO Tech Blogという記事でも紹介されている、従来のcljfmtよりも高速に動作し高機能なcljstyleを利用します。 本記事でもClojure開発環境での基本操作まとめ: Spacemacs, Intelli
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
