robots.txt
これはサイトの入り口に「検索しないでください」と張り紙をする方法です。
私の感覚ではMETAと同等の効力に感じられます。
設置するとロボットはrobots.txtだけにアクセスし、HTMLを読まずに帰ってくれます（少なくともそういった素振りをする事が多くなります）。
実際の書き方は以下の通りで設置も簡単なので、なるべく設置しましょう。
User-Agent: *
Disallow: /
（Disallow: /の後は改行して下さい）
上記のように書いたテキストファイルを「robots.txt」のと言う名前で保存。
それをルートディレクトリ（一番上のフォルダ）にアップロードすれば終わりです。
面倒くさければこのファイルをダウンロードして使ってください。
設置したらRobots.txt Checker（robots.txtの書式検査）で問題が無いかどうか確認すると良いでしょう。
robots.txtの欠点
この方法の問題は、ＵＲＬによって使えない場合がある事です。
【ＯＫ】 http://www.example.ne.jp
【ＮＧ】 http://www.example.ne.jp/user/
つまりアップしたrobots.txtのアドレスが下記のような状態になるかどうかが問題です。
【ＯＫ】 http://www.example.ne.jp/robots.txt
【ＮＧ】 http://www.example.ne.jp/user/robots.txt
プロバイダのサーバは「http://www.sample.ne.jp/user/」となる事が多いので使えない事が多いです。
忍者やFC2は無料サーバなので効果のほどは分かりませんが、理屈上使える事になります。下記のように設置して下さい。
【忍 者】 http://example.syuriken.jp/robots.txt
【ＦＣ２】 http://example.web.fc2.com/robots.txt
【ロリポ】 http://example.lolipop.jp/robots.txt
【さくら】 http://example.sakura.ne.jp/robots.txt
robots.txtが使えないURLでも、中にはルートディレクトリで無いrobots.txtも読んでくれるロボットも居るかもしれません。なるべく設置しておく事をおすすめします。
効果があまり期待できなくても、robots.txtを作ってアップする作業時間なんてほんの数分ですから、やっておいて損はない筈です。
ロボットの中には、robots.txtを無視してMETAタグのみで判断するものもあるようです。なのでかならずMETAタグと併用してください。robots.txtも所詮「お願い」ですから、検索エンジンから完全に隠れる事は無理だと思った方が良いです。
ちなみに「robots.txt」には従わないけれど「robot.txt」なら読むクローラーも存在するらしいです（未確認）。心配なら両方アップしておくと良いのではないでしょうか。