はじめに
こんにちは、KUDs です。
今回の記事では、Google Search Console（GSC）で、サイトマップの取得エラーに直面した人向けに原因と対策について解説します。
また、自分のサイトマップの状況を診断する方法についても紹介します。
早速ですが、エラーの内容から確認していきましょう。
Google Search Console におけるサイトマップエラー「取得できませんでした」
この記事を訪れた方は、Google Search Console から「新しいサイトマップの追加」を実施されたかと思います。
そして、以下のような画面が表示されたのではないでしょうか。
「 ステータス: 取得できませんでした 」というメッセージが確認できます。
クリックして詳細を確認してみましょう。
詳細画面では、「 サイトマップを読み込めませんでした 」というメッセージが確認できます。
なぜこんなエラーが発生するのでしょうか。
結論、以下の可能性があります。
- 一般的な原因に当てはまってしまっている ( → あなたのサイトを修正することで改善可能)
- Google はまだあなたのサイトマップを確認していない ( → あなたにはどうしようもない)
以降の章では、これらの原因を診断し、効果的に対処する方法について説明します。
よくある原因: Google Search Console サポートによる原因と対策
まずは公式情報を参照しましょう。
Google Search Console が提供するガイドラインとサポートページの情報が非常に有益です。
サイトマップの管理やエラーに関する記述は以下のページにあります。
Google サポートによれば、サイトマップの取得エラーは主に以下の原因によって引き起こされます。
ここでは、それぞれの原因と、Google が推奨する対策を具体的に解説します。
robots.txt によるブロック
- 原因:
- サイトマップが robots.txt ファイルによってブロックされている場合、Googlebot はサイトマップにアクセスできません。
- 対策:
- robots.txt ファイルを確認し、サイトマップの URL へのアクセスをブロックする指示がないかをチェックします。
- もしブロックする指示がある場合は、その指示を削除または修正して、Googlebot がサイトマップにアクセスできるようにします。
手動による対策
- 原因:
- ウェブサイトに対する手動による対策（ペナルティ）が存在する場合、それがサイトマップの読み込みを妨げる可能性があります。
- 対策:
- Google Search Console 内の「手動による対策レポート」を確認します。
- もし手動による対策が見つかった場合は、指定された問題を修正し、レビューをリクエストします。
サイトマップの URL エラー
- 原因:
- サイトマップの URL が正しくないか、サイトマップファイルが存在しない場合、Google はサイトマップを取得できません。
- 対策:
- サイトマップの URL が正しいことを確認します。
- URL が正しい場合は、サイトマップファイルが指定された場所に存在し、アクセス可能であることを確認します。
一般的なエラー
- 原因:
- サーバーの利用不可、過負荷、またはその他の一般的なエラーにより、Google がサイトマップを取得できない場合があります。
- 対策:
- サーバーの状態を確認し、問題があれば解決します。
- 問題が一時的なものである可能性があるため、時間を置いてからもう一度試すことも有効です。
Google サポートによるこれらのガイドラインは、サイトマップの取得エラーのトラブルシューティングにおいて非常に役立ちます。
ただ、上記の原因のいずれにも該当していない人もいらっしゃるかと思います。
そのような方は、是非次の章をご覧ください。
次の章では、技術コミュニティで言及されている原因と対策について詳しく解説します。
よくある原因に該当しない場合: Google コミュニティでの知見
Google Search Console でのサイトマップの取得エラーに関しては、技術コミュニティからも貴重な知見が提供されています。
特に、ダイヤモンドプロダクトエキスパートである Barry Hunter は、この問題について深い理解を示し、見解を共有しています。
この章では、Barry Hunter の投稿から要点をまとめます。
一番まとまっているのは以下の投稿かと思います。
「一時的な問題かもしれないよ」
Are you seeing [couldn’t fetch] reported for your Sitemap?
This doesn’t necessarily mean there is an issue with the sitemap itself. Google process sitemaps on a ‘best effort’ basis, and as such have a huge backlog so submitted sitemaps still to be processed.Until your sitemap is processed it can display [Couldn’t fetch] or the longer [Sitemap could not be read] – in reality it just means it hasn’t fetched it yet. Alas that message is slightly misleading.
In all probability there may be nothing wrong with the sitemap, Google just hasn’t got round to processing it yet. If/when fetching/processing occurs, and there IS an issue, will typically get more specific message. Documentation for the most common messages
https://support.google.com/webmasters/thread/184533703/are-you-seeing-couldn-t-fetch-reported-for-your-sitemap
Barry Hunter によると、サイトマップの「取得できませんでした」というエラーは、必ずしもサイトマップ自体に問題があるわけではないと指摘されています。
大前提、Google はサイトマップを「ベストエフォート」の基準で処理します。
Google には日々大量のリクエストが送られるため、大量のバックログがあります。
そのため、多くの場合、処理されるまでに時間がかかります。
そして、処理がまだ行われていないバックログに対して表示されるメッセージが、「取得できませんでした」や「サイトマップを読み込めませんでした」なのです。(わかりづらいメッセージですね)
つまり、このエラーはサイトマップがまだ処理されていないことを意味する可能性があり、一時的なものである場合が多いということです。
そしてこの場合、サイトマップには問題がないので力になれないとのことです。
すぐにバックログが処理される場合もあれば、数か月かかることもあるらしいです。
「リッチリザルトテスターを活用してみて」
Barry Hunter は、リッチリザルトテスターを「 abuse 」して、サイトマップの「 fetchability 」をテストする方法を提案しています。
この方法では、Google がサイトマップファイルにアクセスできるか確認できます。
※但し、サイトマップの内容自体はテストしません
以下から簡単にテストできますので一度試してみてください。
リンクを開いたら、サイトマップの完全な URL を入力し、テストを実行します。
次に、テスト結果で XML ソースが表示されるかどうかを確認します。
ここで、「インデックス登録を許可？」セクションにて「いいえ、’X-Robots-Tag’ http ヘッダーで ‘noindex’ が検出されました」と表示されています。
結論、これは無視して大丈夫です。
noindex が検出されても、単にインデックス登録されないだけです。
サイトマップとしての機能を失うわけではありません。
if it reports blocked by ‘noindex’ – that is actually ok, its normal to block sitemaps from indexing. The noindex/X-robots-tag HTTP header does NOT prevent sitemaps being processed. Regardless of anything else the tool says, looking for the ‘page fetch: successful’ prompt. Fact that says ‘crawl failed’ is irrelevant.
https://support.google.com/webmasters/thread/184533703/are-you-seeing-couldn-t-fetch-reported-for-your-sitemap
Barry Hunter も同じようなことを言ってます。
「サイトマップについて勘違いしてないかい？」
また、Barry Hunter は以下のように一般的な誤解にも触れてます。
要約すると”サイトマップがインデックス作成に絶対に必要”ではないよねという話。
Will leave you with this quote from fellow Product Expert JWP (John)
https://support.google.com/webmasters/thread/184533703/are-you-seeing-couldn-t-fetch-reported-for-your-sitemap
- There is also a common misconception, that sitemaps are really important [to indexing]. That’s not actually the case (certainly for smaller sites with good internal structures). The Google bot is a very capable spider and once it’s gained entry to your site and assuming that the pages are inter-linked in a sensible way, it is perfectly capable of indexing the entire site, without a sitemap even existing.
まず、大前提 Googlebot は超優秀なクローラーです。
サイトマップがなくてもサイト全体をクローリングしてインデックス化できます。
そのため、サイト内のページを適切に相互リンクすればよいという理論です。
まとめ
ここまでの内容をまとめると、概ね以下の対応方針となりそうです。
- サイトの内部リンクをきちんと整理し、後は Googlebot に任せる
- Google Search Console の URL 検査で都度インデックス登録する
- サイトマップが Google に処理されることを座して待つ
さいごに
さいごに、今回の内容まとめです。
- サイトマップエラー「取得できませんでした」の一般的な原因:
- robots.txt によるブロック
- 手動による対策
- サイトマップの URL エラー
- その他一般的なエラー(サーバ利用不可等)
- 一般的な原因に該当しない場合の方針:
- サイトの内部リンクをきちんと整理し、後は Googlebot に任せる
- Google Search Console の URL 検査で都度インデックス登録する
- サイトマップが Google に処理されることを座して待つ
困ったらコミュニティへ投稿しよう
ちなみに、実際に私が運用しているサイトでも、サイトマップを提出して即日成功したサイトもあれば、数か月経っても「取得できませんでした」エラーが発生しているサイトもあります。
エラーを吐き続ける状況は正直気持ち悪いものですよね。
でも、実際はエラーじゃないとのことです。
「取得できませんでした」ではなく「取得処理の開始待ちです」だと思いましょう。
そうすれば、「まぁ、いっか」という気持ちになります。
また、サイトの運営に問題があるかというと正直そんなこともないです。
Barry Hunter の言う通り、Googlebot がクローリングしてくれます。
そのため、サイトマップが必ず必要という事も無いかと思います。
もしも、あなたのサイトマップに異常があるはずだと思われる方は、本記事にコメントいただければ私レベルで良ければ見ます！
とはいえ、ベストな方法は技術コミュニティに投稿しエキスパートのサポートを受けることです！
以下のリンクから簡単に投稿できるので、迷ったら投稿しちゃいましょう！
以上です。
コメント