その他いろいろ

「オンラインブックマークはご遠慮ください」は誤解です

「非公開でも(主にYahooの)オンラインブックマークをされると検索よけが無駄になる」は単なる誤解です。Yahooに問い合わせましたが否定されましたし、オンラインブクマにかかわらず、Yahooは外部からのリンクが多いページを半端にインデックスしがちです。
何よりオンラインブックマークに気を取られていても、検索よけの効果が上がることありませんので、ロボット検索エンジンが気になる場合は.htaccessの導入を検討してみる方が現実的です。

ちなみに、パスワードを打つ腕もキーボードも無いロボットは、パスワードのかかったページに入る事ができません。なのでパスワードで守られた非公開ブックマークより、普通のサイトのリンク元の方が、ロボットに見られる可能性が高いです。

最初にFC2ブックマークが騒がれたのは「(リンク元の検索よけまで気を使って隠れて来たのに、公開型に登録されると)検索よけが無駄になる」からです。「非公開でも検索よけタグを無駄にする(?)」からではありません。

それでもオンラインブクマは嫌!

危険の有無にかかわらず、非公開でもやっぱりオンラインブクマが気分的にイヤなら「ご遠慮ください」でも良いのですが、「非公開でも検索よけが無駄になる」からではなく、「自分がそのサービスを好きじゃないから」と言う理由で閲覧者に「お願い」するのが妥当かと思います。
「非公開でも検索よけが無駄になる」は納豆ダイエットと同じニセ科学です。

この「お願い」はあくまで強制力の無い、管理人のわがままに過ぎない事を忘れないでください。

わがままと自覚してお願いしているなら良いのですが、それを当然のルールと勘違いして、従わない閲覧者を悪者扱いするのは無駄なトラブルの元です。おなじく「マナー」「常識」などと語らない方が良いでしょう。

また、「(非公開の)オンラインブックマークをされたから移転・閉鎖する」と感情的に騒ぐのは検索避けに何の効果も無いばかりか、人を不快にするだけの空騒ぎです。
どうしても嫌で移転する場合は、.htaccessの使える(なるべく有料の)サーバへ引っ越し、リンク元を制限するなどの対応をしなければ、何も解決しません。

この「お願い」はきちんと検索よけしてからお願いする事をおすすめします。こっそり運営する事を目的に「ご遠慮ください」とお願いする場合は、下記のような体裁を整えた方が良いでしょう。

  • METAタグ程度の検索避けでは拾われるので、.htaccessまで使って避ける
  • リンク元の検索よけまで確認する。
  • 検索よけされていないサーチや同盟に参加しない。
  • リンクする時は、リンク先がアクセス解析を公開していないか確かめる。
  • レンタルCGI(掲示板やブログ、拍手など)は一切使わない。
    (特にレンタルブログの検索避けは難しいです。使わないようにしてください)
  • 他サイトのレンタル掲示板などに自分のサイトのURLを書かない。

このように徹底した隠れサイト運営を実践して、初めて(より完璧を目指すための駄目押しとして)「ご遠慮ください」と言えるようになります。

検索避けの甘い(出来てもMETA・robots.txtまで。あるいは出来ない)無料サーバやレンタルブログでお願いしても説得力は無く、METAタグすら入れずにお願いすれば支離滅裂なだけです。「(よく分からないけど)みんなが書いてるから」といった程度の、軽い気持ちで注意書きに加えるのは止めておいた方が良いです。

ページに無い語句で検索にヒットするんだけど?

例えば「○○○」であなたのサイトへリンクしているページが多ければ、リンクされているページに「○○○」が含まれなくとも、○○○の検索結果に表示される事があります。
Yahooの公式ヘルプでは見つかりませんでしたが、Googleは公式で「そう言う仕様です」と断言しています。

Googleヘルプセンター:検索結果の一部のページに検索用語が含まれていないのはなぜですか。

Googleツールバーを入れた人が来るとインデックスされちゃうの?

Googleツールバーを入れている人にページを見られると、インデックスされちゃうの…?とウワサされる事があります。このウワサをGoogleは否定しています。

「GoogleツールバーでURL情報を集めていません」 Google Matt Cutts氏

エラーページのステータスコード

一部のレンタルサーバでは、403(アクセス拒否)404(見つかりません)のエラーがあった時、独自のエラーページへ飛ばしています。その場合、人間用に「見つかりません」などとメッセージは表示しているものの、本当に伝えるべきHTTPステータス(エラー信号みたいなもの)をロボットに伝えていない場合があるようです。
そうなると、ロボットはそのページが「存在する」と誤解してしまい、いつまでも削除したページが残ってしまう事になります。

そのような状態になっている場合は、.htaccessで自作エラーページを作る事で解決できます。
(エラーページはhttp〜で指定ではなく、/から始まるパスで指定するようにしてください)

特に、ミケネコのhtaccess リファレンス リダイレクトページの下の方にある「リダイレクトの危険性」はかならず目を通すようにしてください。
ページのステータスコードはFireFoxの機能拡張であるLive HTTP Headersで確認可能です。

応用

応用として、ロボットをアクセス禁止にして普通に403を返すより、更にエラー画面をいじって404を返す方が検索結果から消えやすいかも知れません(ロボットに対して「そんなサイト存在しません」と嘘つく方法ですね)。それを目指して、本当は403のところを404に偽装したい場合は、下記サイトなどが参考になります。
この方法を使う場合は、.htaccessに<Files robots.txt>〜などと入れてrobots.txtを読ませないように注意してください。

上記サイトを参考に404エラーを返す(だけの)PHPとPerlを作ったので置いておきます。私は正式にプログラム勉強した人間ではないので、作動は保証できません。利用は自己責任でお願いします。
さくらインターネットとロリポップで確認しています。
(実際のところ、404返すためだけにプログラム使うのも馬鹿らしい気がします。なので.htaccess使ってるのに消えない場合の、苦肉の策くらいに考えてください。403を返しても普通は消えると思います)
検索結果から消えるにはしばらくかかるので慌てずに様子を見てください。

404.PHP
設置後、403エラーでこのページが表示されるように.htaccessで設定してください。
404.cgi
設置後、403エラーでこのページが表示されるように.htaccessで設定してください。

index.htmlをサイト入り口にしない

たとえば、http://example.comと言うアドレスのサーバを借りたとします。そのとき、http://example.com/.htaccessでロボットよけをしていても、検索結果に表示されるかどうかはともかく、ロボットは「http://example.com」と言う(サブ)ドメインが存在する事を知る事になります。
なので「http://example.com」でアクセスした時に表示される「http://example.com/index.html」をサイトの入り口にしない方がより安全かも知れません。

白紙(または404)のindex.htmlを置いて入り口を「enter.html」などのファイルにする(サイトURLはhttp://example.com/enter.htmlなど)、またはフォルダを作ってその中にサイトを作成する(サイトURLはhttp://example.com/site/など)といった方法です。

そうすれば、たとえ「http://example.com」が拾われても、サイトの中身であるファイルやフォルダ名が拾われない限り安全です。(ファイル名やフォルダ名が拾われる場合、.htaccessを見直してみてください)

http://example.com(サブ)ドメイン
http://example.com/.htaccess(検索避け.htaccess)
http://example.com/robots.txt
http://example.com/index.html(白紙)
http://example.com/enter.html(サイトのトップ・入り口)
http://example.com/site/(この中にサイトを作成)

inserted by FC2 system