毎日新聞問題の情報集積wiki - 毎日新聞（MDN）が、ついにロボット型検索エンジンのクロールを拒絶！
59日前 (www8.atwiki.jp) Tags: media web これはひどい なんだかなぁ
770 名前：名無しさん＠全板トナメ参戦中[] 投稿日：2008/06/26(木) 01:05:14 ID:GGa+C9Y90 ちょっとおもしろいもの発見したよ Mainichi Daily Newsのサイトがクローラーをどういうふうに制御しているのかと思って robots.txtを見てみたｗ まず、このURLにアクセス ↓ http://mdn.mainichi.jp/robots.txt そうすると、こういう文字列が出る ↓ User-agent: ia_archiver Disallow: /culture ia_archiverというのはInternet Archiveのク... 続きを読む
 13 コメント   このエントリーを含むはてなブックマーク このエントリーのブックマーク数

コメント 評価したユーザ 関連ブログ

コメント

Profile_s written by t-murachi 56日前

事の経緯。

Profile_s written by zu2 58日前

SEOなんだよ http://www.nurs.or.jp/~ogochan/essay/archives/1209

Profile_s written by pmakino 59日前

これはすごい逆SEO…。クローラを一切合切蹴るとはなんという自殺行為

Profile_s written by umiusi45 59日前

ふ～ん

Profile_s written by optical_frog 59日前

Profile_s written by complex_cat 59日前

「毎日母さん」だけは読みたいな。私にとっては，スタートレックで地球に価値があると知らしめたザトウクジラみたいなもの。

Profile_s written by mayu-h 59日前

「毎日新聞（MDN）が、ついにロボット型検索エンジンのクロールを完全に拒絶！」これはひどい

Profile_s written by anhelo 59日前

毎日デイリーニューズ、J-CAST等が取上げる前からWaiwaiのあった部分だけクローラ拒否してたのが、6/27～全ての記事に対して拒否

Profile_s written by naga_sawa 59日前

毎日(MDN)のrobots.txtの変遷まとめ

Profile_s written by ch1248 59日前

この対応は無いなあ・・・。/毎日.jpが拒否しているわけではないらしい。http://d.hatena.ne.jp/TERRAZI/20080709/p1

Profile_s written by ajtptwtptja 59日前

知らなかった。恥ずかしい＞javascript:alert(document.lastModified)

Profile_s written by guldeen 59日前

マスコミのサイトが、情報隠蔽に走っているという面白い（じゃ済まないんだが）現象。

Profile_s written by riocampos 59日前

完全にロボットのクロールを拒否している…。自殺行為に走って良いのか毎日.jp。

[PR]ブログのペットがお留守番