前回の対策である程度ロボットの挙動は変わったが、問題はまだあった。
重複コンテンツを避けるには、まだまだ不足なのだ。
アーカイブページやカテゴリーページだけでなく、ページネイションで辿られるページもnoindexにしないとだめなのだ。
それが証拠に、しばらくするとそんなページばかり拾うようになってしまった。これではいかん。
ロボットでクローラされるページは、パーマリンクのみにしないとだめなのだ。
そこでまたいろいろと調べてみると、私の木を見て森を見ずというか、森を見て木を見ずというか、漠然と全体的なものだけ見て、詳細に物を見ることができない悪い性格が出てしまった。
答えはここにあった。
このページは、いろんなブログが言及している大元のページで、私は肝心な大元を見てなかったのだ。ここに答えはあった。
ここに、重複コンテンツを避けるようなrobots.txtの記述が載っているのだ。
早速全ブログに導入、またしばらく様子を見ないといけないが、これでちゃんとなってくれると思う。
ワードプレスでブログをやっているみなさん、ぜひここは一度目を通しておくことをオススメする。