ビッグデータ処理のオープンソースソフトウエア（OSS）である「Apache Spark」のディープラーニング（深層学習）対応が進んでいる。Sparkの主要開発企業である米Databricksや米Intel、米Microsoft、米Verizon傘下の米Oath（旧Yahoo!）などが、Sparkの深層学習対応に熱心だ。 分散処理ソフトのSparkは、2014年ごろには機械学習の大規模化に欠かせない存在だと認識されていた。しかしその後の深層学習の台頭によって存在感が薄れていた。深層学習の高速化にはGPU（Graphics Processing Unit）が向いていることが分かり、米Googleが公開した「TensorFlow」などGPUに対応した深層学習フレームワークが人気を集めるようになったためだ。 ところがここに来て、Sparkを深層学習に対応させる動きが活発化している（表）。2017年
はじめに この記事はApache Spark Advent Calendar 2015の7日目の記事です。 Spark 1.5から系列パターンマイニングアルゴリズムの１つ PrefixSpanがmllibに実装されました。 我々は文書や検索クエリー内のキーワードの並びから有益な情報を抽出する目的でPrefixSpanアルゴリズムに以前より興味を持っていました。 OSSで公開されているPrefixSpan実装はオンメモリー上でデータを処理するため、大規模データを処理することが難しかったのですが、Sparkを使った分散PrefixSpan実装が登場したことで、大規模データに対して系列パターン抽出が可能になりました。 今回は、このSpark mllibの分散PrefixSpan実装が、どのくらいのサイズのデータを、どのくらいの処理時間で処理できるのかを確認するために、日本語ngramコーパス [
2024-11-13 RAGはどのように進化しているのか？RAGのパラダイムと改善手法を体系的にご紹介！
Apache Spark の Advent Calendar です． 初学者向けからディープな話まで Spark に関係する話はどんなものでも歓迎です．
D2Cグループは、認知拡大から販売促進、ロイヤルユーザー化まで、幅広い領域を対象としたソリューションを提供するデータマーケティングカンパニーです。あらゆる手段を駆使して「人を動かす、新しい瞬間」をプロデュースすることで、企業の課題を解決に導きます。
Webアプリケーションの開発・実行環境として多くの開発者が支持するのがLAMP（Linux、Apache、MySQL、PHP/Perl/Python）です。この連載では、LAMP環境をソースコードから構築する方法を丁寧に解説していきます。（編集部） Webアプリ開発に不可欠のLAMP Webアプリケーション開発に欠かせないLAMP環境。皆さんはどのように用意していますか？ サーバの選定からはじまって、LAMPのインストールと設定、テストや運用などなど、やるべき事はたくさんありますね。悩みやトラブルは尽きないと思います。 そこで本連載では、LAMP環境の構築という観点からLAMPを攻略していきます。とりわけ環境の基礎を作る作業である、インストールから設定を中心に取り上げます。環境構築というと一般にはインフラエンジニアの範疇になると思いますが、開発環境を構築したいWebアプリケーション開発者や
Apacheの設定で Order deny,allowとか Satisfy anyとか、なんだか意味わからん人のために。僕はずっとわかってなかった。 基本 Apacheのアクセス制御には、 ホストによる制御 (Order,Allow,Deny) ユーザ認証による制御 (Auth*, Require) の2通りがある。 Satisfyは、2通りあるアクセス制御の両方を満たす必要があるかどうかを決定する。デフォルトはSatisfy all。Satisfy anyなら、どちらか片方満たせばよい。 Order http://httpd.apache.org/docs/2.2/mod/mod_authz_host.html#order Order deny,allowは、全てのホストからのアクセスを許可する。 Order allow,denyは、全てのホストからのアクセスを拒否する。 Order d
このコーナーでは、Mac OS X と Apache を使ってCGI を試験するための Web サーバを構築することを目的に説明していきます。Windows と違い、Mac OS X には、Web サーバとなる Apache や、CGI を動作させるための Perl が既に実装されております。従って、新たにインストールするものは特にありません。ここでは、環境構築の手順を説明していきます。 本章の説明は、UNIX の知識がほとんどない方を対象にしております。 本章を執筆するに当たり使った環境は、iBook M6497 で、ソフトウェアアップデートを使って Mac OS X を 10.1.4 までバージョンアップしています。 10.2 に関しての説明がございますが、ソフトウェアアップデートを使って 10.1.5 までアップグレードした後、パッケージ版の 10.2 にてバージョンアップしています
Apacheのバージョン2.2.12以降では、SNI（Server Name Indication）という、SSLプロトコルに対する拡張機能がサポートされているため、名前ベースのHTTPサイトを設定する場合と同じように名前ベースのHTTPSサイトを設定することが可能になっている。本記事では、Apacheのこの機能について紹介する。 Apache Webサーバがバージョンアップし、成熟していくに伴い、新機能の追加やバグの修正が行われてきている。そして、バージョン2.2.12で追加された機能のうち、最も重要なものはおそらく、単一IPアドレス上で複数のSSLサイトを運用できるようにするという、長らく持ち望まれていた機能だろう。 これまでは、特定のIPアドレスに対してSSL対応のWebサイトを割り当てた場合、そのサイト1つしかSSL対応のWebサイトを運用することができなかった。つまり、IPアドレ
Apache/PHP/MySQL/SQLite/SQLiteManage/PhpMyAdmin/Zend OptimizerをWindowsにまとめてオールインワンでインストールすることができるようになっているのがオープンソースで開発されているこの「VertrigoServ」。 これらの各ソフトについて簡単に設定を変更できるコントロールパネルっぽいものがタスクトレイから一発で呼び出せるようになっており、非常に設定が簡単です。また、インストーラは日本語化されているので安心です。 実際のインストール方法などは以下から。 VertrigoServ http://vertrigo.sourceforge.net/ ダウンロードしたら実行します 「OK」をクリック 「次へ」をクリック 「同意する」をクリック 「次へ」をクリック さらに「次へ」をクリック 「インストール」をクリック インストール中……
またまた間が空いてしまいました。本日は Apache で構築された Web サーバーで Ruby on Rails アプリケーションを稼動させる方法をご紹介しようと思います。個人的な用途なら WEBrick でもじゅうぶんに使えるのですが、処理効率やセキュリティーが重要になる場面では Apache （もしくはその他の Web サーバー）を使用するほうが適切でしょう。 Ruby on Rails でインターネットに公開するアプリケーションを作ろうという方は、ぜひ読んでみてください！（＾＾） これまでは手抜きで "~/blognavi" をプロジェクトディレクトリとしてきましたが、このままでは Apache からアクセスするのにいろいろと問題がありますし、管理も面倒です。そろそろプロジェクトディレクトリを適切な場所に移動しましょう。ただし、プロジェクトディレクトリの配置方法は千差万別、条件によ
サーバが重いってどういうこと? 著者：ウノウ 尾藤 正人 2007/10/4 2007年10月の連載ランキング1位（一覧を見る） サーバ管理者だけではなく誰でも一度は経験したことがある「サーバが重い」という現象。一言で「重い」というのは簡単ですが、重いというのは具体的にどういうことなのでしょうか。 ここでいう重い・軽いは単一のベクトルで判断できるような簡単な代物ではなく、様々な要素によって発生する現象です。処理が重いからといって闇雲にハードウェアを増強するのは賢いやり方とはいえません。例えば、メモリ不足が高負荷の原因なのに、CPUを高速なものに変えても効果はほとんどないでしょう。 このような無駄な投資を避けるためにも、負荷の原因を特定して素早く対応策を講じるのはサーバ管理者にとって重要なスキルになります。本記事ではサーバ負荷の特定の仕方と対策の仕方について、簡単な概要を説明します。
via del.icio.us/popular Apacheのフォルダローカルな設定ファイル.htaccess で使いそうな設定をかたっぱしから書き込んだファイル。 メイン、スクリプト関連、ヘッダ(キャッシュや最速化)、URL書き換え、認証、SSL、開発中サイト、というようなジャンルごとに、よく使われそうなディレクティブがずらずらと並んでいる。PHPの設定、cool URLの設定、エラーページ、認証の掛けかた、などなど。 書き換えるべきところは英単語で何を書くのかわかるようになっているので、コメントとあわせて思い出しながらコメントを外していくとそれなりに使えそうな .htaccess が作れるかもしれない。僕なんかは細かい設定方法すぐ忘れてしまって検索することが多いので、これで楽になりそう。 # 本当に不要なものはコメントにせずファイルから消すべきだし、安定運用に入ったら.htaccess
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
