検索よけの前に
完璧な検索よけは存在しません
検索除けには大きく分けて３つの方法があります。
- METAタグ：各HTMLファイルに「検索しないで」と言わせる方法。
- robots.txt：WEBサイトの入り口に「検索しないで」と張り紙をする方法。
- .htaccess：サイトにバリアを張り、ロボットを強制排除する方法。
検索よけの方法で一番知られているのが「検索よけのMETAタグを入れる」と言うものでしょうか。
METAタグは「こっそりやる」には十分な効力を持ちますが、まったく検索エンジンにヒットしなくなるものではありません。
「METAを入れてるのに検索にひっかかるなんておかしい」のではなく、もともとその程度の効果です。 robots.txtも同等の効果であるようです。
それに対し、.htaccessは非常に強力です。しかし残念ながらこれも完璧に防げる訳ではありません。
検索よけしていても拾われるパターン
2007年7月の時点で、YahooはMETAタグ、robots.txtでよけていても、外部からのリンクが多いページが半端に拾われてしまいがちです。サイト名とURLのみでスニペット（検索結果につく説明文）無しといった状態で検索結果に表示されます。
- サイト名
www.example.ne.jp - キャッシュ - www.example.ne.jp
www.example.ne.jp - キャッシュ
<title>〜</title>に何も入れていない場合は、サイトタイトルの変わりにURLが入ります。
スニペットは表示されないものの、ページにあるテキストも検索対象になります。
検索よけしてるページをGoogleが拾うとこんな感じです。（割とGoogleは行儀良いので、拾われる事は少ないようです）
www.example.ne.jp
関連ページ
外部からのリンクが多いページがヒットしても、METAの入ったサイト内の別のページが拾われる事は無いようです。現在、なにかとYahooがやり玉に挙げられていますが、ロボット検索は多かれ少なかれ、 このような事あると諦めていた方が良いです。
どのくらい検索よけするか考えてみる
少しくらいひっかかっても許す。サイトの一部だけ検索よけしたい。
METAタグとrobots.txtでＯＫです。
CGIをレンタルするかどうかは、書きたい内容によって判断してください。
個人的にはよほど「厳しいジャンル」でも無い限り、METAタグで十分だと思います。
ただ上に書いた通り、METAとrobots.txtだけでは多少ヒットする事が多いです。
もっともサイト名やURLでひっかかったとしても、
二次創作ページが直接ヒットしていなければ、ロボット検索が原因でトラブルになるとは思えません。
サイト名で検索をかける人は、あなたのサイトを探している人でしょう。ですから内容やジャンルによってトップページは検索よけをせず二次創作のみ検索よけ、 という状態でも大丈夫だと（少なくとも私は）思います。
少しでもひっかかるのは嫌だ
METAタグ、robots.txtの他に、
.htaccessまで導入する事をおすすめします。
CGIは自分で設置するようにしてください。
.htaccessが多くの無料サーバでは使えない事と、 CGIを自分で設置する必要がある事などから、 有料サーバを借りるのが基本になります。.htaccess自体もとっつきにくいので導入までの敷居が高いです。 その.htaccessにしても完璧とはいきませんから、 高い精度を目指すなら日頃からサーバのログをチェックするなどの手入れが必要になってきます。
関係ない人に見られては困る
METAタグ、robots.txtの、
.htaccessを導入した上に、.htaccessを使ったパスワード制限（Basic認証）をかける事をおすすめします。Basic認証をかけた中にロボットは決してはいる事はできませんので、検索よけにも最強です。
日記や掲示板などのログが残るCGIは、Basic認証をかけた内側に設置した方が無難です。
あとはパスワードをどんな風に渡すか（入り口クイズ制・メールで請求制など）によって、 サイトの敷居を調整してください。
最終的にはどんなサイトにしたいのか
検索よけはロボット検索からうっかり迷い込む人を減らすのには効果的です。しかし公式関係者から完全に隠れるのは無理ではないでしょうか。（ジャンルサーチや同ジャンルサイトのリンクで、芋づる式に見つかります）
それ以前に、ネットにアップした以上は検索避けしようがしまいが、パスワード制にでもしない限りその情報はオープンです。想定外の人に見られる事を忘れないでください。
「同人は不快感をもたれるから隠れなきゃ」と考えるあまり、それを通すための身勝手なルールを強制して、逆に人を不快にする事が無いよう配慮する事をおすすめします。検索避けにこだわり過ぎて、かえってトラブルを招くようでは本末転倒です。
個人的な考えになりますが、公開している意識が無く色々書いてしまうのは（同人サイト・著作権云々の前に）危ないですので、検索される自覚を持つ事と、アクセスをコントロールする方法として、検索避けテクニックを知っている事に賛成です。
しかし実際に検索避けするべきかどうかは、ジャンルやサイトの内容によってまるで違います。闇雲に「検索避け＝すべての同人サイトのマナー」と思いこんで、人に検索避けを強制するのは止めた方が良でしょう。
定番意見ですが、最も「安全」な方法はＷＥＢにアップしない事です。
検索避けに神経質になる前に、色々な人に見られて困るものは、
本来ならＷＥＢにアップしてはいけないのだと言う原則も思い出してください。
「分かってるけど、それでもやりたいからせめて隠れるんだ」って言われそうですね。でも「二次創作は危険！」などと過剰に騒ぐとこうツッコまれる事になります。
結局のところ、検索よけの程度、あるいは検索よけする・しないの選択は、サイトの内容によって変わってきます。まずはどんな風に運営したいのかじっくり考えてみてください。
その際、人の意見やマナーサイトなどを参考にするのも良いのですが、
このサイトも含め、他人の書いた文章は所詮は自分の意見ではありません。
簡単に鵜呑みにせずに、自分自身で考えてみることが大事だと私は思っています。