Googlebot | |
---|---|
Typ | Vyhledávací robot |
Autor | |
Vývojář | |
webová stránka | google.com/support/webma... |
Googlebot je webový prohledávač společnosti Google používaný k procházení celosvětové sítě a naplňování indexu vyhledávání Google . Robot začne procházet každý jednotlivý web tím, že získá seznam adres URL webových stránek vygenerovaných z předchozích relací a doplní jej daty ze souborů Sitemap; při procházení stránek robot hledá odkazy (SRC a HREF) a přidává je do seznamu stránek k procházení.
Webmasteři mohou robota ovládat pomocí příkazu v souboru robots.txt nebo pomocí metaznačky <meta name="Googlebot" content="nofollow" />; Google v seznamu jejich nástrojů pro webmastery umožňuje kontrolovat „vizi“ webu robotem. IP adresy botů se čas od času mění.
Při procházení Googlebot určí uživatelského agenta: