BingとGoogle経由の検索流入激減の原因はCloudflareの設定だった

毎日200UUぐらいアクセスがあったサイトのアクセスが急激に減少しました。

Bingのweb mastertoolを見るとBing経由のアクセスが全く無くなっていました。

サイトは特に変更していないし、Bingのアップデートで急激に減ったのだろうか？と思っていたら、しばらくしてGoogle経由のアクセスも急激に減ってしまいました。

このまま行くとこのサイトはお亡くなりになってしまうので、どうにかしたいと思い色々調べていてこれが原因ではないか？という部分がありましたのでメモしておきます。

Cloudflare CDNを使ったサイトで急激に検索流入が減少

Bingのweb master toolの動きがおかしい

Bingはサイトにアクセスできなくなっている？

Cloudflareの『AI ボットをブロック』が有効になっていた

検索流入が激減したサイトはCloudflare CDNを使っているサイトでした。

他にも同じようにCloudflareを使っているサイトはあったので、気が付かなかったのですが、恐らく原因はCloudflareの設定だと考えています。

問題が起きたサイトでは、Cloudflareのセキュリティ⇒ボットの設定にある『AI ボットをブロック』が有効になっていました。

この設定は初期状態で無効ですが、何らかのタイミングで有効に変更していたようです。

https://developers.cloudflare.com/bots/concepts/bot/#ai-bots

Cloudflareの『AI ボットをブロック』が有効だと何が問題？

名目上はAIボットだけをブロックするように見えます。

しかし、『AI ボットをブロック』が有効だと区別なく検索エンジンのボットがブロックされてしまうようです。

その影響で、インデックスされていてもサイトが検索結果に表示されなくなったようです。

まとめ：Cloudflareの『AI ボットをブロック』は無効にすべし

Cloudflareは常に新しい機能が追加されています。

『AI ボットをブロック』の機能も最近追加されたものです。

私のサイトは検索ボットのアクセスが異常に多く、AI関連のボットだけでもブロックしたら検索ボットのクロール負荷を下げれるのではないか？と考えて有効化したのです。

しかし、通常の検索エンジンのボットをブロックしてしまうようで、結果的に検索結果に表示されなくなってしまうという最悪の結果になりました。

Cloudflareのセキュリティで検索エンジンのボットをブロックすると、サーチコンソールやBing Webmaster toolなどでインデックス状況は変わらなくても、検索結果に全く表示されなくなります。