タグ
- すべて
- *Webデザイン (6)
- *アフィリエイト参考 (1)
- *デザイン参考 (33)
- *ブログ参考 (5)
- *受注参考 (1)
- *楽天参考 (4)
- *見出し参考 (2)
- AMP (3)
- Acrobat (1)
- AdSense (1)
- Adobe (3)
- Ajax (9)
- Amazonストア参考 (1)
- Apache (2)
- AppScript (1)
- Audacity (3)
- Aviutl (1)
- Bing (2)
- Bootstrap (16)
- CMYK (1)
- CSS3 (113)
- CSSスプライト (1)
- CSSフレームワーク (1)
- CSV (5)
- Canva (2)
- Chromebook (2)
- CircleCl (1)
- Cocoon (2)
- Color (1)
- Cutestrap (1)
- EC (5)
- ECサイト (1)
- FTP (5)
- FX (3)
- Facebook (7)
- Flexbox (17)
- FontAwesome (6)
- Foundation6 (4)
- GA4 (1)
- GAS (18)
- GIF (4)
- GIFアニメ (6)
- GIFアニメーション (3)
- GOLD (3)
- GOOGLEチャット (2)
- GPS (1)
- Gatsby JS (3)
- GatsbyJS (1)
- Git (7)
- Github (5)
- Google (1)
- Google Chrome (1)
- GoogleAnalytics (4)
- Googleアドセンス (5)
- Googleカレンダー (1)
- Googleスプレッドシート (3)
- Googleフォーム (10)
- HDD交換 (2)
- HTML (30)
- HTML5 (8)
- HTMLメール (2)
- IE (6)
- IE対応 (5)
- Illustrator (27)
- InDesign (3)
- Instagram (2)
- LINE (10)
- LINEスタンプ (6)
- LION MEDIA (2)
- Libre office (1)
- Lightsail (3)
- Linux (3)
- MW WP Form (1)
- Media Queries (1)
- Mixhost (2)
- Node.js (1)
- Nuxt (1)
- OGP (1)
- PDF軽量化 (5)
- PEAR (2)
- PageSpeed Insights (1)
- Photoshop (34)
- Proxy (2)
- QRコード (6)
- RSS (2)
- React (2)
- Retina (2)
- Robots.txt (3)
- SCSS (6)
- SDK (1)
- SEO (6)
- SNS (5)
- SSL (1)
- SVGスプライト (2)
- Safari (2)
- Shopify (1)
- SiteGuard (1)
- Slack (3)
- Trello (1)
- Twitter (11)
- UI (13)
- Visual Studio (2)
- VisualStudioCode (10)
- Webデザイン (30)
- Windows高速化 (1)
- WordPress (64)
- Yahoo (10)
- Yahoo!ショッピング (1)
- animation (15)
- api (54)
- atom (1)
- aviutil (1)
- background (10)
- background-image (1)
- bem (1)
- border (3)
- box-shadow (4)
- button (1)
- calc (2)
- canvas (5)
- cdn (3)
- chocolatey (1)
- clone (2)
- cookie (2)
- cross domain (1)
- css (211)
- css tool (1)
- css3アニメーション (17)
- data (3)
- display (1)
- docomo (1)
- dump (1)
- ebay (1)
- ejs (9)
- emmet (2)
- favicon (1)
- filter (1)
- firefox (2)
- font (15)
- form (10)
- foundation (21)
- fundation6 (1)
- generator (2)
- gist (1)
- grid (1)
- gulp (70)
- height (1)
- hover (3)
- hr (2)
- htaccess (2)
- https (2)
- iOS (12)
- icon (2)
- iframe (20)
- image (1)
- include (5)
- input (2)
- iphone (6)
- jQuery (220)
- javascript (189)
- jpg (1)
- js (2)
- json (13)
- jsonp (6)
- lazy (1)
- lightbox (2)
- marquee (3)
- mixin (3)
- moment.js (3)
- nocode (1)
- node (1)
- nodist (1)
- npm (5)
- package-lock.json (2)
- pdf (3)
- php (49)
- phpMyAdmin (7)
- plugin (1)
- png (2)
- pug (1)
- radio (1)
- rakuten (1)
- replace (3)
- reset (1)
- responsive (1)
- rms (30)
- ruby (1)
- ruby gem (1)
- sass (18)
- sitemap (1)
- slick (4)
- sourcetree (1)
- sticky (5)
- svg (45)
- table (2)
- toggle (2)
- typography (2)
- ux (2)
- vanilla (3)
- video (3)
- viewport (1)
- vscode (3)
- webfont (3)
- webサイト (1)
- webサービス (18)
- webデザイン参考 (4)
- windows (1)
- wordpressテーマ (6)
- xml (9)
- youtube (1)
- あとで読む (106)
- うなぎ (1)
- お歳暮 (3)
- はんこ (2)
- ぼかし (1)
- まとめ (15)
- アイコン (28)
- アイデア (1)
- アウトライン (1)
- アクション (1)
- アクセシビリティ (1)
- アクセス解析 (4)
- アコーディオン (6)
- アスペクト比 (1)
- アドセンス (2)
- アナリティクス (3)
- アニメ (2)
- アニメーション (103)
- アニメーションGIF (5)
- アフィリエイト (27)
- アプリ (5)
- アマゾンストア参考 (2)
- アンケート (7)
- イベントリスナー (1)
- イラスト (11)
- イラストレーション (1)
- イラストレーター (1)
- イラスト素材 (2)
- イラスレーター (1)
- イラレ (1)
- インポート (1)
- イージング (2)
- ウェブマスター (1)
- ウェブ解析 (1)
- エディタ (2)
- エラー (5)
- エンドレス (1)
- カウントダウン (1)
- カウントダウンタイマ (3)
- カエレバ (2)
- カットアウト (1)
- カルーセル (7)
- カレンダー (6)
- カート (3)
- キャッシュ (2)
- キャラクター (4)
- クラウドソーシング (2)
- クレジットカード (1)
- クロスドメイン (6)
- クロスフェード (7)
- クーポン (1)
- グラデーション (5)
- グラフ (3)
- グリッド (2)
- グリッドレイアウト (1)
- コピーライト (2)
- コマンド (5)
- コマンドプロンプト (1)
- コマンドライン (1)
- コマースクリエイター (4)
- コンバータ (1)
- サイズ (7)
- サイトM&A (4)
- サイトマップ (4)
- サムネイル (2)
- サンプル (5)
- シェアボタン (2)
- シャッフル (1)
- ショップ (1)
- ショートカット (4)
- シームレス (1)
- ジェネレータ (6)
- ジェネレーター (1)
- スクリプト (2)
- スクロール (35)
- スクロールバー (1)
- スタンプ (6)
- スニペット (1)
- スプライト (2)
- スプレッドシート (6)
- スマホ (13)
- スマホサイト転送 (1)
- スマートフォンサイト (1)
- スライダー (39)
- スライドショー (2)
- セキュリティ (1)
- セレクタ (3)
- ソニック (1)
- ソフトウェア (1)
- ソート (13)
- タイマー (1)
- タグ (1)
- タグクラウド (1)
- タブ (3)
- ダミー画像 (1)
- ダミー画像生成 (1)
- チェックボックス (2)
- チュートリアル (15)
- チートシート (1)
- ツイートボタン (1)
- ツール (8)
- ツールチップ (3)
- テキスト (3)
- テクスチャ (4)
- テクニック (4)
- テンプレート (1)
- テーブル (2)
- テーマ (6)
- ディレクトリ (2)
- デザイン (26)
- デザイン参考 (6)
- デジタル化 (1)
- デプロイ (1)
- データベース (1)
- トップページ (3)
- トリミング (1)
- トレンド (4)
- トレース (1)
- トレード (1)
- ドメイン (2)
- ドロップダウン (3)
- ドロワー (3)
- ナビ (3)
- ナビゲーション (28)
- ネットショップ (3)
- ノウハウ (4)
- ハック (1)
- ハレパネ (4)
- バグ (7)
- バックアップ (1)
- バナー (13)
- パターン (15)
- パラメータ (1)
- パララックス (6)
- パララックスデザイン (4)
- パーマリンク (1)
- ビジネス (1)
- フィルタ (3)
- フィルター (1)
- フォント (25)
- フォントサイズ (1)
- フォント管理 (3)
- フォーム (29)
- フッターデザイン (1)
- フリック (2)
- フリー (2)
- フリーソフト (2)
- フリーランス (6)
- フリー素材 (2)
- フルスクリーン (1)
- フレーム (1)
- フレームワーク (2)
- ブラウザチェック (1)
- ブラシ (4)
- ブログ (14)
- ブログの書き方 (1)
- ブログ参考 (5)
- プッシュ通知 (3)
- プライス (1)
- プライバシーポリシー (6)
- プラグイン (27)
- ヘッドレスコマース (1)
- ベクター (2)
- ベクター素材 (4)
- ペライチ (1)
- ページ表示スピード (1)
- ボタン (12)
- ボロ戸建て (1)
- マウスオーバー (1)
- マテリアルデザイン (8)
- マーケティング (1)
- メガメニュー (2)
- メニュー (9)
- メルマガ (8)
- メールフォーム (1)
- メールマガジン (1)
- モバイルサイト (1)
- モーダル (2)
- ヤフー (1)
- ユーザーエクスペリエ (1)
- ライブラリ (3)
- ランダム (4)
- ランディングページ (22)
- リサイズ (1)
- リセット (2)
- リセットCSS (2)
- リダイレクト (9)
- リファラー (1)
- リボン (2)
- リンク (5)
- ループ (2)
- ルーレット (4)
- レイアウト (10)
- レイヤースタイル (1)
- レスポンシブ (15)
- レッドカーテン (1)
- レビューの書き方 (1)
- レンジスライダー (2)
- レンダリング (1)
- ログイン (1)
- ロゴ (4)
- ロスレス圧縮 (2)
- ローカルサーバー (1)
- ローディング (5)
- ワイヤーフレーム (6)
- 三角 (1)
- 不動産投資 (7)
- 丑の日 (1)
- 並び替え (2)
- 並べ替え (1)
- 中国 (2)
- 中央配置 (1)
- 仕事依頼 (12)
- 似顔絵 (3)
- 便利ツール (1)
- 個人開発 (1)
- 写真 (1)
- 写真素材 (8)
- 切り抜き (2)
- 動画 (3)
- 動画編集 (1)
- 半透明 (1)
- 参考 (96)
- 参考サイト (5)
- 双極性障害 (2)
- 吹き出し (7)
- 周年 (3)
- 和 (3)
- 和のデザイン (4)
- 和風 (13)
- 商品を作る (4)
- 圧縮 (3)
- 境界線 (2)
- 変数 (3)
- 広告掲載 (3)
- 影 (9)
- 手書き (2)
- 敬老の日 (6)
- 文字 (7)
- 日付 (8)
- 日本語 (2)
- 最適化 (3)
- 桜吹雪 (2)
- 検索 (4)
- 検索フォーム (4)
- 楽天 (96)
- 楽天API (12)
- 楽天GOLD (2)
- 母の日 (8)
- 比較 (2)
- 湯気 (9)
- 父の日 (5)
- 特集ページ (92)
- 画像 (23)
- 矢印 (5)
- 確認 (2)
- 筆文字 (4)
- 紙吹雪 (4)
- 素材 (50)
- 背景 (13)
- 背景画像 (4)
- 色 (5)
- 花火 (2)
- 英語 (3)
- 英語メニュー (3)
- 著作権 (2)
- 裏技 (2)
- 見出し (9)
- 解像度 (2)
- 軽量化 (2)
- 配色 (15)
- 金盾 (2)
- 開発 (3)
- 非同期 (3)
- 高速化 (3)
- jQuery (220)
- css (211)
- javascript (189)
- CSS3 (113)
- あとで読む (106)
- アニメーション (103)
- 参考 (96)
- 楽天 (96)
- 特集ページ (92)
- gulp (70)
Robots.txtに関するh1rokey0401のブックマーク (3)
-
h1rokey0401 2016/03/01
- Robots.txt
リンク -
初心者にも分かる！robots.txtの作り方
robots.txtとは？robots.txtとは、GoogleやYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい？robots.txtの設置方法は簡単です。よほど特殊な事情がない限り、「ここにアクセスしないでね」という記述方法だけを覚えておけば十分です。細かく書いたからといって、SEO上、有利、不利になるようなことはないので安心して下さい。強いて言うなら、細かく書き過ぎて間違った制御をした場合に不利になります。
-
robots.txtの記述方法 | Search Times
robots.txtとは？ robots.txtとは検索エンジンのクローラーの巡回を制御するファイルです。クローラーが不必要なコンテンツへアクセスできないようにrobots.txtで制限する事で、サーバーの負荷を軽減し、巡回の効率化を図る事ができます。検索結果に表示されないようにするには、robots.txtではなくnoindexを使用します。 2023年の12月の時点でのGoogleの発言では、Google は Robots.txt について毎日 40 億のホスト名をチェックしているようです。 世界中のウェブサイトを巡回する検索エンジンのクローラーをrobots.txtで制御する robots.txtは1994年にMartijn Koster氏によって考案されました。特定のクローラをブロックする事の他、検索エンジン向けにxmlサイトマップファイルの位置を指定する事もできます。 サイトマッ
-
1
公式Twitter
- @HatenaBookmark
リリース、障害情報などのサービスのお知らせ
- @hatebu
最新の人気エントリーの配信
処理を実行中です
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
設定を変更しましたx