WEBクローラー

Googleの社内ソフトウェアの多くと同様、Googlebotは謎です。この強力なWebクローラーとその詐欺師をもう少し理解するために、クラウドベースのセキュリティサービスプロバイダであるIncapsulaが、Googlebotの行動パターンに関する調査を実施しました。この調査の目的で、Incapsulaの製品担当者であるIgal Ziefman氏によると、インターネット検索エンジンの訪問者数は4万人を超え、サイト数は10,000サイトに達し、30日間に21.9億ページ以上のページがクロールされています。この調査はZiefmanの2つのポストにまとめられています.1つはGooglebotの活動を議論し、もう1つはGooglebotの詐称者の行動を取り上げています。当然のことながら、この調査ではGooglebotが非常にアクティブであることがわかりました。

web crawler, indexer web spider, internet bot, or scutter, walking on binary code or internet info seeking out new information. the code as well as his feet are glowing with bluish lighted energy.

Googleの検索ボットは、他のすべてのボットによる共同研究よりも積極的で、総ページ訪問数の60.5％を占めています。Bing Botは24.5％で2位となりました。驚くべきことは、インターネットサイトの認知度とGooglebotの訪問回数との相関関係です。Incapsulaは、一般的なGooglebotがトラフィックの少ないウェブサイトよりも人気のあるウェブサイトを訪問しているという証拠は見当たりませんでした。代わりに、クローラは、頻繁に更新されるWebサイトを、大規模なフォーラムやニュースサイトなどの多数のコンテンツでターゲット設定します。この調査は、IncapsulaのDDoS脅威レポートの情報とともに、詐称者もかなり活動的であることが判明しました。この調査では、ボットの4％がGooglebotとして偽造されていることが判明し、Incapsulaの以前のDDoSレポートによると、Googlebotの詐欺師はDDoSボットの3番目に一般的なタイプであることが判明しました。すばらしいニュースは、偽のGooglebotがすべて悪意のあるわけではありませんが、まだまだ多数です。観察された5,000万人の偽のGooglebotのうち、約34.3％が悪意のある活動に関与していました。最も有名なものはDDoS攻撃のボットです。

Like much of Google’s in house software, Googlebot is a mystery. In order to understand this strong web crawler and its impostors a bit more, Incapsula, the cloud based security service provider, carried out a study on Googlebot’s behavioural patterns. For purposes of this study, we observed over 400 million internet search engine visits to 10, 000 sites, leading to over 2.19 billion page crawl over a 30 day period, according to Igal Ziefman, product evangelist at Incapsula. The study was summarized in two posts by Ziefman, one discussing Googlebot’s activity and the other covering Googlebot impostor behavior. Unsurprisingly, the study found Googlebot to be very active.

Google’s search bot is more active than all other bot combined research, with a whopping 60.5 percent of total page visits. The Bing Bot came in second at 24.5 percent. What’s surprising is the correlation between the recognition of an internet site and the number of visits from Googlebot. Incapsula found no evidence suggesting popular Googlebot visits popular web sites more than those with little traffic. Instead, the crawler targets frequently updated web sites with a lot of content, like large forums and news sites. The study, along with info from Incapsula’s DDoS threat report, found imposters to be quite active as well. The study found four percent of all bots identifying as Googlebot to be fake, and Incapsula’s previous DDoS report found the Googlebot imposter to be the 3rd most common type of DDoS bot. The great news is that not all Fake Googlebots are malicious, although a large number still. Approximately 34.3 percent of the 50 million Fake Googlebots observed were involved with malicious activity, the most famous being DDoS Attack bots.