概要 本記事はWikipediaのダウンロード可能なデータについてまとめたものです。 Wikipediaではクロール行為は禁止されています（ここを見る限りでは）が、代わりに全記事の情報を圧縮したファイルが公開されています。 日本のWikipedia情報ダウンロードページ http://download.wikimedia.org/jawiki/latest/ 本記事は2009年の10月下旬に取得した情報を元に書いています。時間が経つと結果が変わる可能性があるのでご注意ください。 事前情報 2009/10/25に確認した時点では、日本語Wikipediaのダウンロードページには55個のファイルが置いてありました（うち半分は更新を通知する為のRSS）。 ファイルの形式は「XML」、「MySQLのダンプ」、「テキスト」などがあります。 詳しいデータのインポート方法は、こちらのリンク集が参考になる
wikipediaに関するendorのブックマーク (21)
-
endor 2015/10/12
-
さくらVPSでWikipediaのクローンサイトを作成 - ヌキのやる気のないエンジニアブログ
ちょっと研究用にそれなりに大きいサービスを利用したいなって思い、ただ自分で作成するのがめんどくさかったので チューニンガソンで利用していたWikipediaのクローンサイトを自分で作ることにしました。 とりあえず、めんどくさかった・・・ 私はXml2sqlを利用してやりました。 まず始めにmediawikiのインストールを行います。 こちらは本家にもインストール方法が書いてあるのでそちらを参考にしてください。 xml2sqlのインストールについて Xml2sqlを適当なところ(私は/usr/local/src)にダウンロードして解凍します。 パッチを当てます。 xml2sql.cの741行目に下記と同じように追記します。 putcolumnf(&rev_tbl, "%d", revision.minor); /* rev_deleted */ putcolumn(&rev_tbl, "0"
-
ウィキペディアに関するアンケート調査の日本語版が開始 | スラド IT
先日より、ウィキペディアに関するグローバル・アンケートが実施されています。これは、ウィキペディアの利用者、執筆者の動向を世界レベルで調査するもので、UNU-MERITの協力を得て行われています。質問は多岐に渡りますが、ウィキペディアの編集経験がなく、単に読んでいるだけの人でも回答する内容のあるものになっています。ただ、回答内容によって多くの質問に答えなければならず、最大で30分ほどかかることを想定しているようですが、ブラウザのクッキーに情報を蓄積することも出来るので、一度中断してまた改めて回答することも可能になっています。というわけで、少しでもご興味ある方は、ぜひとも。
-
-
Wikipediaのキーワードリンクを使って関連語データを作ってみた
Wikipediaのキーワードリンクを使って関連語データを作ってみた 2007-06-09-3 [NLP][Programming][Algorithm] Wikipedia のキーワードリンクを使って関連語データ（関連キーワード集） を作ってみた。 Wikipedia のデータはダウンロードページからbz2形式のを取ってきた。 日本のウィキペディアのXMLデータね。 (see Wikipedia:データベースダウンロード) で、Perlスクリプトで以下の関連語データ作成処理を行った。 （スクリプトはこの記事の末尾に載せておく） (1) 各キーワードページに含まれているキーワード（リンク）を取り出す。 例えばキーワードAのページにB,C,Dが含まれていたら、A => B,C,D というデータを蓄積。 またキーワードAが他のキーワードのページ（例えばX）に含まれていたら、それも蓄積。その場合
-
「有限会社ウィキペディア」という社名の会社 | スラド Slashdotに聞け
たまたま検索をしていて知ったのだが、2005年から神奈川県に「 株式 有限会社ウィキペディア」という名前の会社があるようだ。最初はあの「ウィキペディア」を名乗っているぐらいだから何らかの関連があるのだろうとも思っていたのだが、どうもソフトウェアの開発・設計が主でなんの関係もないらしい。こうした名前を付けるのは、この会社の将来のためにもならないと思うのだが、どうだろうか？
-
Wikipediaの将来は「包摂」or「削除」にしかないのだろうか？
＞人類の持てる知識すべてを網羅し、かつ信頼性ある情報源であることはできないのだろうか？ 信頼性とは何ですか？ 「Wikipediaに～記載されている」ことは「～の～という論文に～と記載されている」 あるいは「～という本に～と記載されている」と同等に信頼性のある事実です。 何となれば、あなたはそれを見ているのだから。 知識とは、体験と伝聞であり、伝聞の信頼性の判断は実はきわめて主観的なものです。 「～さんの言うことだから本当だろう」とか「テレビで言っていたから本当だろう」という訳です。 だけども、後者が必ずしも正しくないことは、これを読む多くの方が知っていると思います。 だから私が思うに、何かの情報が「本当かどうか」ということを考えるのは無意味で、 「その情報に基づき、～という行動をとるか」の組み合わせこそが重要だと思います。 胡散臭い情報でも、友人との雑談で披露するのに問題はないですし、
-
Wikipedia丸写しで、3部約9000万円の報告書 | スラド
昨今の学生の間では、レポートの作成にWikipediaを丸写しして提出し、教授にばれて落とされたりする学生が増えていると聞くが、なんと公益法人も同じようなことをして、1億円近くの報酬を得ていたことが発覚した。 毎日.jpの記事によると、国土交通省所管の公益法人「国際建設技術協会」が07年、道路特定財源約9200万円で作成した海外の道路事情の調査報告書が、わずか3部しか作られず、インターネット上の百科事典「ウィキペディア」の表を引用するなど杜撰な内容だったことが、21日の衆院予算委員会で分かった。 同報告書は、所管省庁である国土交通省が同団体に随意契約で発注。報告書の中の資料などに、Wikipediaをはじめとするインターネット上の情報をそのまま掲載されていたようだ。3部で9200万円とされる報酬は、今話題の「道路特定財源」から拠出されている。 マッサージチェアやカラオケ機器など、使途が明確
-
「Wikipedia」と「Ubuntu」の創設者ら、オープンエデュケーションの支援構想を発表
「Wikipedia」のJimmy Wales氏と「Ubuntu」のMark Shuttleworth氏は、公的に資金を提供された教材をインターネット上で自由に利用できるようにする構想を支援していく。 現地時間1月22日に発表された「ケープタウンオープンエデュケーション宣言」の支持者たちは、このイニシアティブはオープンソースがプロプライエタリソフトウェアの世界に対して破壊的な効果をもたらしたことを踏まえて、教材の開発と流通をオープン化することを目的としたものであると述べている。 この構想は30人のオープンエデュケーションの指導者たちがケープタウンで会合を開いた結果、誕生した。この会合を組織したのは、Open Society InstituteとShuttleworth Foundation（Ubuntuの創設者Mark Shuttleworth氏が設立した慈善団体）である。 「われわれは過
-
ウィキメディア財団、「ウィキペディア」の投稿者に関する調査を計画
これから数カ月間、「Wikipedia」に記事を執筆している人たち、すなわちウィキペディアンは、ある世界的調査の対象にされる。これは、非常に人気の高いこのオンライン百科事典における、人々の投稿習慣を把握するための調査だ。 Wikipediaを運営するWikimedia Foundationは米国時間1月24日、オランダを本拠とするUNU-MERITと共同でこの調査を実施することを発表した。調査の狙いは、ウィキペディアンがどういう人たちなのかを知ることはもちろん、ウィキペディアンがWikipediaにどの程度貢献しているかを把握することにある。また、人々がWikipediaを訪れる理由を明らかにし、単なる閲覧者から投稿者になるような人たちのタイプを突き止めることもこの調査の目的だ。 しかし、ユーザーを突き止めるというのは、単に閲覧習慣を調査するのとはわけが違う。この調査の企画者が目指している
-
ウィキスキャナーが生み出すもの:佐々木俊尚 ジャーナリストの視点
意図と内容の堂々めぐり 前回、ウィキペディアの課題は、編集という行為の「意図」と「内容」を切り分けられるかどうかである、と書いた。しかしながら「内容」は常に客観としてウィキペディアというメディアに表出しているのに対し、「意図」はプライベートな主観であって、第三者には把握できない。そうなると、ウィキペディアである人物によって編集された項目が、正当なものであるのかどうかという判断は、「内容」に即して考えるしかない。 では、その「内容」が、ある情報源（ソース）に基づいて、きちんとした論理（ロジック）によって書かれているのであれば、まったく問題はないのだろうか？ 編集した人間が、どう見てもその項目と利害関係のある人物であると判断された場合、彼の隠された「意図」を考慮に入れる必要はないのだろうか？ このあたりの判断は、前回の最後にも書いたように微妙で難しい。「意図」と「内容」の関係性に絞って議論を続
-
ウィキスキャナーで暴露された「情報操作」を考える:佐々木俊尚 ジャーナリストの視点
ウィキペディアへの情報操作は何が問題なのか ウィキペディアでの「情報操作」ととられかねない編集行為がウィキスキャナーによって暴露され、問題になっている。朝日新聞や産経新聞などに取り上げられ、特に注目を集めているのは政府官公庁内部から編集が行われていた問題だが、しかし大企業やマスメディアが自社に関係するテーマについて項目を書き換えていたケースも多数報告されており、まとめサイトも登場してきている。 省庁職員が情報操作まがいの編集行為を行っていたことに対する批判は、次の三つのポイントに大別される。 (1)ウィキペディアの編集に当事者である官僚が参加すると、ウィキペディアの公平性が損ねられるのではないか。 (2)官僚が自分の属する省庁に有利なことを書くことは倫理的に許されない。 (3)官僚が自分の職務時間にウィキペディアの編集に参加しているのは職務怠慢ではないか。 第一の公平性の問題。ウィキペディ
-
ウィキメディア財団、本拠地を移転へ--フロリダ州からサンフランシスコに
Wikibooks、Wiktionary、Wikispecies、Wikiquote、Wikisource、Wikimedia Commons、そしていわずと知れたWikipediaなど、ウィキベースのサイトを世に送り出してきた非営利団体のWikimedia Foundationが移転の準備を進めている。 同財団は米国時間10月9日、2008年1月末に長らく本拠地としていたフロリダ州セントピーターズバーグからサンフランシスコのテクノロジハブに移転すると発表した。本拠地の移転先を選定する際には、主要なメディア、研究大学、繁栄しているテクノロジの本場に近い6つの都市が候補にあがっていた。「（サンフランシスコは）特にアジアに近いので、財団がアジアのボランティアや潜在的なパートナーと強固な関係を結ぶことが期待される」とWikimedia Foundationのリリースでは説明している。「これは、当
-
Creative Commonsイベント開催、Wikipedia創始者らがオープン事業を語る
クリエイティブ・コモンズ・ジャパンが、「21世紀型オープン・エンタープライズに向けて」をテーマに第6回CCJPセミナーを9月27日に開催する。 セミナーでは、Wikipediaおよび Wikia創始者のジミー・ウェールズ氏がフリーカルチャーの最前線をプレゼンするほか、Mozilla Japan理事長の瀧田佐登子氏、CCライセンスで刊行された書籍「CONTENT'S FUTURE ポスト YouTube時代のクリエイティビティ」の著者である小寺信良氏と津田大介氏らが、それぞれの視点からオープンな事業の取り組みについて語る予定だ。 後半のパネル・ディスカッションでは、慶應義塾大学DMC機構の金正勲准教授が司会を務め、上記講演者と議論を交わす。 日時は9月27日の13時から16時。場所は六本木アカデミーヒルズ（49F タワーホール会場）。参加費は無料で、定員は300名となっている。申し込みはこち
-
日本語版『Wikiscanner』を使ってみよう | WIRED VISION
日本語版『Wikiscanner』を使ってみよう 2007年8月28日 社会メディア コメント： トラックバック (3) Kevin Poulsen 2007年08月28日 『Wikipedia』上で行なわれた編集作業の実態を明らかにするツール『Wikiscanner』[正式名称はWikipedia Scanner]が、各方面で物議を醸している。 生みの親であるVirgil Griffith氏は、『Wikipedia』のドイツ語版と日本語版も、ネットユーザーたちが厳しくチェックできるようにと願い、このツールのドイツ語ページと日本語ページを立ち上げた。 [訳注：日本語ページでは、「Virgilのお勧め」というコーナーで、NHKや三菱重工、ソニー、読売新聞などの検索の例を見ることができる。] Griffith氏はワイアード・ニュースと提携して、Wikipediaで興味深い編集作業を発見したら読
-
読者投票「最も恥ずかしいWikipedia情報操作」(3) | WIRED VISION
読者投票「最も恥ずかしいWikipedia情報操作」(3) 2007年8月23日 メディア コメント： トラックバック (0) Kevin Poulsen 2007年08月23日 (2)から続く [日本語版編集部](1)(2)に続き、『Wikipedia Scanner』で見つかったWikipedia内の情報操作の例から、読者の評価が高いものを抜粋。 AstraZeneca社が、精神安定剤の危険性について編集 投稿者：匿名 AstraZeneca社は、精神安定剤『Seroquel』について、ふさぎ込んだり苛立ったりするティーンエージャーの親に向けて、マーケティング活動をたっぷりと行なっている(たとえば、雑誌の『Parade』や『TV Guide』に広告を出すなど)。米食品医薬品局(FDA)が、18歳未満は利用しないように忠告しているにもかかわらず、だ。 Seroquel(クエチアピン)は非
-
読者投票「最も恥ずかしいWikipedia情報操作」(2) | WIRED VISION
読者投票「最も恥ずかしいWikipedia情報操作」(2) 2007年8月22日 社会メディア コメント： トラックバック (0) Kevin Poulsen 2007年08月22日 (1から続く) [日本語版編集部](1)に続き、『Wikipedia Scanner』で見つかったWikipedia内の情報操作の例から、読者の評価が高いものを抜粋。タイトルの中の、「……が」というのは、「その組織に属するIPアドレスから」という意味で使っている。 Dow社が、化学工場事故、枯れ葉剤、乳房インプラントへの言及を削除 投稿者：Kenneth Rainey 米Dow Chemical社が、「環境と人権にかかわる論争」と名付けられたセクションを丸ごと消去している。このセクションには、数十万人に被害を与え世界最悪の化学工場事故といわれるボパール工場事故、エージェント・オレンジ(枯れ葉剤)、および乳房イ
-
「Wikipediaの書き換え」を追跡するツール(2) | WIRED VISION
「Wikipediaの書き換え」を追跡するツール(2) 2007年8月20日 IT コメント： トラックバック (0) John Borland 2007年08月20日 (1)から続く 米Wal-Mart社の場合は、同社についての項目の中で、批判的な内容はそのままにしていることが多い。しかし、たとえば「同社の賃金は他の小売企業よりも20％ほど少ない」といった記述を、「同社の平均賃金は最低賃金の2倍近い」に変えるなど、テキストの一部を修正して企業イメージの向上を図っている。 また、店舗が、周辺のコミュニティーに与えた影響に関する社会運動家からの批判はそのまま残しつつ、コミュニティーにおける全雇用数がWal-Mart社の進出によって増加したことを示す「明確な」調査を追加している。 一方、すでに述べたように、政治家の事務所もWikipediaの編集を盛んにやっている。 例を挙げると、モンタナ州選
-
読者投票「最も恥ずかしいWikipedia情報操作」(1) | WIRED VISION
読者投票「最も恥ずかしいWikipedia情報操作」(1) 2007年8月21日 社会メディア コメント： トラックバック (1) Kevin Poulsen 2007年08月21日 カリフォルニア工科大学の大学院生Virgil Griffith氏は先ごろ、非公式のWikipedia検索ツール『Wikipedia Scanner』を公開した。 これは、Wikipedia上で行なわれた独断的な編集や、匿名性を利用した宣伝活動を暴く威力を持ったツールだ。企業や団体、政府機関の名称を入力すると、それらに割り当てられているIPアドレスのリストが入手できる。さらに1度か2度クリックするだけで、それらのIPアドレスからWikipediaのページに無記名でなされたすべての編集が確認できる。 Griffith氏が開発したこのツールは、公開されている情報をちょっと整理し直すだけで、大きな発見ができることを示
-
「Wikipediaの書き換え」を追跡するツール(1) | WIRED VISION
「Wikipediaの書き換え」を追跡するツール(1) 2007年8月18日 IT コメント： トラックバック (2) John Borland 2007年08月18日 カリフォルニア工科大学の大学院生Virgil Griffith氏は、Wikipediaの項目を編集した人のIPアドレスを追跡する検索ツールを開発した。 Photo:Virgil Griffith 2005年11月17日(米国時間)、ある無記名のWikipediaユーザーが、電子投票機メーカー米Diebold社に関する項目から15段落を削除した。 同社の電子投票機に関する批判的な記述をそっくり消してしまったのだ。このような内容変更を行なうと、無記名とはいえ、編集作業をしたコンピュータの場所など、当人についての手がかりとなる電子的な指紋が残るのが一般的だ。 この場合は、Diebold社のオフィスに属するIPアドレスから編集が
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Copyright © 2005-2025 Hatena. All Rights Reserved.
設定を変更しました