WM6DeAmedasというページを作ったが、いつになっても Google の検索エンジンに載らない。？？と思ったら ずいぶん前に、Google Sitemaps 用XML自動生成ツール http://www.google-sitemaps.jp/ で、sitemap.xmlを作成してあったけれど、そのまま更新していなかったので、Google Crawlerは何も更新していないと判断したようだ。一応、トップページから、rss.xmlを表示し、rss.xmlで新しいコンテンツへのURLが引っ掛かるだろうと想定していた。しかし、shallow crawler のようです。よくよく考えれば、そのためのsitemap.xml なので、あたりまえか・・・
ということで、sitemap.xml を対応する場合は、こまめに更新しないといけません。
sitemap.xml を作成するには、
- http://www.google-sitemaps.jp/ から、Google Sitemaps 用XML自動生成ツール をダウンロード
- PyJUG http://www.python.jp/Zope/download/pythoncore から最新のPython をダウンロード＆インストール
- 設定ファイルを更新し、実行
だけれど、かなりめんどくさい。それに、効果が不明。従来、Sitemapがない時では1週間程度でクロールされていたのに、逆にSitemapがないものは全くクロールされない。つまり更新のたんびにSitemap を更新しなければならず、自動化されていない以上、めんどくさい。1週間程度の遅れであれば、全く問題ないので、Sitemapはやめることにしました。