ダウンロード http://download.wikimedia.org/の、Database XML and SQL dumpsのリンクから, XML形式, およびSQL形式での取得が可能。また, ダウンロードページにて「Dump in progress」となっているものは処理中のものなので「Dump complete」となっている箇所を探す。英語版Wikipediaのデータは enwiki, 日本語版Wikipediaのデータは jawikiのリンクが設定されている箇所から, 個別のダウンロードページに移動し取得する。 ダウンロード(裏口) 上記したページからでは, 「dump aborted」や「Dump in progress」へのリンクしかなく, 目的の言語版へのリンクが見付からない場合がまれにある。そのような場合, 以下のURLから直接接続する。 日本語版 英語版 中国語版
タグ
- すべて
- jQuery (1)
- *WEB構築 (1)
- *javascript (3)
- *linux (1)
- *webサービス (3)
- *webデザイン (10)
- *web制作 (9)
- *あとで (1)
- *あとで読む (1)
- *読み物 (1)
- .htaccess (6)
- 2ch (2)
- AMD (1)
- API (17)
- Amazon (5)
- AviUtl (3)
- B-CAS (1)
- BIND (2)
- BOM (1)
- Bookmark (2)
- CMS (5)
- CPAN (13)
- CPU (1)
- CSS (5)
- DB (1)
- DIY (4)
- Debian (13)
- FAXサーバ (1)
- GIGAZINE (3)
- GMO (2)
- GeoIP (1)
- Gmail (2)
- Google (4)
- Google Apps (2)
- Google Sites (2)
- HDD (1)
- HTTP (2)
- IPhone開発 (1)
- IPv6 (1)
- ISP (2)
- MP4 (1)
- MTA (2)
- MeCab (22)
- NTP (1)
- OTAKU (1)
- PC (4)
- PCI (1)
- PC自作 (2)
- PHP (1)
- PR (1)
- PT2 (2)
- QRコード (2)
- RAID (2)
- RAMディスク (2)
- RFC (1)
- Return-Path (1)
- SNS (1)
- SSD (3)
- SSL (9)
- SSL証明書 (4)
- SheevaPlug (1)
- TF-IDF (1)
- TvRock (2)
- Twitter (4)
- UI (2)
- Ubuntu (4)
- Unix (2)
- VGA (1)
- VPS (12)
- WYSIWYG (2)
- WebAPI (1)
- Web製作 (1)
- Web開発 (3)
- WinSCP (1)
- Windows 7 (1)
- Windows7 (4)
- XML (6)
- Xen (8)
- ajax (2)
- apache (11)
- app (1)
- aws (2)
- bluetooth (1)
- captcha (1)
- cgi (6)
- codec (2)
- cpanm (1)
- csv (1)
- dlna (1)
- dns (5)
- email (3)
- encode (7)
- encoding (1)
- excel (1)
- ext3 (1)
- ext4 (1)
- fax (1)
- firefox (1)
- flock (2)
- form (1)
- google street view (1)
- h.264 (2)
- html (7)
- iPhone (4)
- iPhoneアプリ (1)
- internet (1)
- japanese (1)
- javascript (11)
- librahack (1)
- linux (22)
- mail (4)
- memcached (1)
- memo (1)
- mikumikudance (1)
- mod_perl (2)
- mod_perl2 (1)
- mod_rewrite (4)
- network (1)
- nslookup (2)
- ocr (1)
- package (2)
- paypal (1)
- perl (101)
- post (1)
- postfix (7)
- proxy (1)
- pt3 (1)
- security (2)
- sendmail (1)
- session (2)
- smtp (8)
- speedyCGI (3)
- ssh (2)
- suEXEC (2)
- thinkpad (1)
- unicode (11)
- utf (1)
- utf-8 (9)
- utf8 (9)
- vista (1)
- web (4)
- webサービス (14)
- webデザイン (23)
- webマンガ (1)
- web制作 (7)
- web漫画 (3)
- wii (1)
- wikipedia (3)
- win32 (1)
- windows (12)
- wine (1)
- wkhtmltoimage (2)
- wordpress (2)
- x40 (2)
- xubuntu (2)
- youtube (1)
- あとで (1)
- あとでみる (1)
- あとでもう１回読む (1)
- あとでチェック (1)
- あとで聞く (1)
- あとで試す (1)
- あとで読む (29)
- お前が言うな (1)
- お気に入り (1)
- お金 (1)
- ことば (1)
- これはいい (2)
- これはこわい (1)
- これはすごい (10)
- これはひどい (34)
- これはべんり (1)
- これはギャグなのか？ (2)
- これは便利 (4)
- さくら (6)
- さくらVPS (1)
- さくらインターネット (3)
- はてな (4)
- はてな記法 (1)
- はまちちゃん (2)
- ふるさと納税 (1)
- また竹原か (6)
- まとめ (1)
- まどか☆マギカ (2)
- やる夫 (2)
- ゆるゆり (1)
- らき☆すた (1)
- アイコン (16)
- アイデア (1)
- アクセシビリティ (2)
- アクティベート (1)
- アスペクト比 (1)
- アップローダ (1)
- アドセンス (1)
- アニメ (6)
- アフィリエイト (3)
- アフィリエイトASP (1)
- アプリ (1)
- アメリカ (1)
- アンチウイルス (1)
- イラスト (2)
- インストール (4)
- インターネット (4)
- インナーサッシ (1)
- ウイルス対策 (1)
- ウェブサービス (2)
- エディタ (1)
- エラー (1)
- エンコード (6)
- オブジェクト指向 (2)
- オンラインストレージ (2)
- オーストラリア (2)
- オープンソース (8)
- カレー (1)
- ガジェット (1)
- キャッシュ (2)
- キャプチャ (1)
- ギター (1)
- クロスブラウザ (1)
- グラデーション (1)
- ケーシング (1)
- ケース (2)
- ケータイ (2)
- ゲーム (4)
- コミケ (1)
- コーパス (1)
- サイト運営 (1)
- サブカル (2)
- サポート (1)
- サーバ (15)
- サーバー管理 (1)
- サーバ管理 (3)
- システム管理 (1)
- シャットダウン (1)
- シー・シェパード (1)
- ジェネレータ (2)
- スクリーンショット (5)
- ストリートビュー (1)
- ストレージ (1)
- セキュリティ (11)
- セットアップ (1)
- セルフブクマ (2)
- タブレット (1)
- チェス (1)
- チューニング (2)
- ツール (2)
- テレビ (2)
- テロ (4)
- テンプレート (3)
- ディスプレイ (2)
- デザイン (11)
- デムパ (1)
- トンデモ (2)
- ドメイン (2)
- ニコニコ動画 (4)
- ニヤニヤ (1)
- ネタ (23)
- ネタバレ (1)
- ネタ？ (1)
- ネットワーク (3)
- ハウジング (2)
- ハムスター (1)
- ハードウェア (1)
- ハードディスク (2)
- バイク便 (1)
- バックアップ (5)
- パッケージ管理 (1)
- パフォーマンス (3)
- ビジネス (3)
- ファイルサーバ (1)
- ファイル転送 (1)
- フォント (14)
- フォーム (2)
- フリー (10)
- フリーオ (1)
- フリーソフト (11)
- フリーミアム (1)
- フリー素材 (37)
- プライバシー (2)
- プレスリリース (1)
- プログラミング (14)
- プログラム (5)
- ホームセンター (1)
- ボタン (1)
- マスゴミ (3)
- マナー (2)
- マネジメント (1)
- マネタイズ (1)
- マルチメディア (2)
- マンガ (1)
- マーケティング (1)
- メディアセンター (2)
- メモ (1)
- メルマガ (1)
- メンタルヘルス (1)
- メーリングリスト (1)
- メール (8)
- メールサーバ (3)
- メール配信 (1)
- モジュール (6)
- モバイル (5)
- モンスターペアレント (1)
- モンスター首長 (3)
- ユニコード (1)
- ユーザビリティ (3)
- リサイクル (1)
- リスク管理 (1)
- リテラシー (1)
- リファレンス (1)
- リフォーム (3)
- リモートデスクトップ (2)
- リリカルなのは (1)
- レシピ (3)
- レンタルが問題なら補 (1)
- レンタルサーバ (4)
- ロゴ (1)
- 不動産投資 (1)
- 不要品の処分 (1)
- 中国 (2)
- 仕事 (3)
- 仮想化 (3)
- 会社設立 (1)
- 会計 (1)
- 個人情報ダミーデータ (1)
- 健康 (1)
- 備品 (1)
- 内部向け (1)
- 再インストール (3)
- 写真 (2)
- 写真素材 (1)
- 出版 (3)
- 劇的ビフォーアフター (1)
- 労働 (9)
- 動画 (7)
- 動画編集 (2)
- 医療 (1)
- 名言 (1)
- 商用可 (1)
- 図書館 (1)
- 固定ip (2)
- 地デジ (2)
- 地域 (1)
- 堀江由衣 (1)
- 増田 (1)
- 増設 (1)
- 壁紙 (2)
- 声優 (2)
- 変更 (1)
- 外交 (1)
- 奈々様 (2)
- 家計簿 (1)
- 専用サーバ (1)
- 差別 (3)
- 広告 (3)
- 形態素解析 (10)
- 捕鯨 (1)
- 携帯 (3)
- 携帯サイト (7)
- 携帯電話 (3)
- 支援ブクマ (2)
- 教育 (2)
- 文化 (1)
- 文字コード (7)
- 日本語入力 (1)
- 日本語化 (3)
- 本棚 (1)
- 格安 (1)
- 楽天 (1)
- 楽天API (1)
- 正規表現 (2)
- 殿堂入り (1)
- 比較 (1)
- 水冷 (1)
- 水栓 (1)
- 水樹奈々 (1)
- 水道 (1)
- 決済 (1)
- 法人税 (1)
- 海外の反応 (1)
- 無料 (5)
- 物欲 (1)
- 犬 (1)
- 犯罪 (2)
- 玄箱 (3)
- 生活 (1)
- 画像処理 (1)
- 短縮url (1)
- 社会 (3)
- 禁書法 (1)
- 科学 (2)
- 竹原王国 (1)
- 紋章 (2)
- 素材 (19)
- 経営 (4)
- 羊腸 (1)
- 自作 (1)
- 色 (2)
- 花粉症 (1)
- 著作権 (3)
- 著作権ゴロ (1)
- 虚構新聞 (8)
- 蝉丸P (1)
- 行政 (1)
- 表現の自由 (2)
- 表現規制 (2)
- 解析 (2)
- 訃報 (1)
- 認証 (4)
- 読み物 (7)
- 警察 (1)
- 軍事 (1)
- 辞書 (2)
- 通販 (1)
- 連載 (2)
- 鍵 (1)
- 鍵屋 (1)
- 開けたら閉める (1)
- 開発環境 (1)
- 防災 (2)
- 防音 (3)
- 阿久根市 (10)
- 電子マネー (1)
- 電子メール (1)
- 霞が関 (1)
- 静音化 (1)
- 食 (2)
- perl (101)
- フリー素材 (37)
- これはひどい (34)
- あとで読む (29)
- webデザイン (23)
- ネタ (23)
- MeCab (22)
- linux (22)
- 素材 (19)
- API (17)
wikipediaに関するkiryuuのブックマーク (3)
-
kiryuu 2009/02/04
wikipediaデータのDL方法- wikipedia
- XML
リンク -
Index of /jawiki/
../ 20241001/ 20-Nov-2024 09:28 - 20241020/ 01-Dec-2024 09:26 - 20241101/ 20-Dec-2024 09:29 - 20241120/ 01-Jan-2025 09:27 - 20241201/ 20-Jan-2025 09:29 - 20241220/ 23-Dec-2024 13:47 - 20250101/ 05-Jan-2025 16:47 - 20250120/ 23-Jan-2025 20:42 - latest/ 23-Jan-2025 20:42 -
-
MeCabで、キーワード抽出 - プログラマでありたい
形態素解析器として圧倒的な性能を誇るMeCabですが、出来る事は形態素解析にとどまりません。公式ページにも載っているように、辞書さえカスタマイズすればひらがな⇔カタカナ変換やAutoLinkの作成といったことまで出来ます。 WikipediaのデータとMeCabを使えば、高速なキーワード抽出が出来ないかなと思い試してみました。辞書の定義にコストを書けば、長いキーワードを優先して抽出する最長一致法が出来そうです。それが出来れば、辞書にキーワードを登録すればおっけいかなと思い実験です。 準備 ・Mecabのインストール 省略 ・Wikipediaのダウンロード wikipediaからコーパスの作成を参照 ・辞書生成用のCSV作成 xml2sqlで作ったpage.txtを変換します。 この際、(曖昧さ回避)は除いておきます。 併せて、カンマが入っている見出し文は、別のものに置き換えておくこと c
-
1
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
処理を実行中です
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
設定を変更しましたx