WebGodBot – robot služby WebGod

Co je WebGodBot

WebGodBot je automatický robot služby WebGod (analýza a audit webů pro české a slovenské firmy). Stahuje pouze veřejně dostupné stránky a nikdy se nepřihlašuje, neodesílá formuláře ani se nepokouší obejít zabezpečení webu.

Proč váš web navštěvuje

• Audit na žádost majitele webu – uživatel WebGod zadá adresu svého webu a robot zkontroluje rychlost, SEO, zabezpečení, nefunkční odkazy, dostupnost pro vyhledávače a AI a další technické parametry.
• Srovnání s konkurencí – uživatel může porovnat svůj web s veřejnými stránkami konkurentů (titulky, struktura, technické parametry, změny veřejného obsahu).

Robot nesbírá obsah pro trénování AI modelů, neprodává data třetím stranám a nevytváří vlastní vyhledávací index.

Jak se robot představuje

Hlavička User-Agent HTTP klienta:

Mozilla/5.0 (compatible; WebGodBot/1.0; +https://webgod.app/robot)

Při auditech, které vyžadují vykreslení stránky v prohlížeči (např. kontrola cookies nebo přístupnosti), používáme headless Chromium. Jeho User-Agent je běžný prohlížečový řetězec s připojeným identifikátorem robota na konci:

… Chrome/125.0.0.0 Safari/537.36 WebGodBot/1.0 (+https://webgod.app/robot)

Ve všech případech obsahuje User-Agent token WebGodBot.

Zdrojové IP adresy

Veškerý provoz WebGodBot vychází z těchto IP adres:

• 87.106.230.249

Požadavek s tokenem WebGodBot z jiné IP adresy není náš robot.

Frekvence a zátěž

• Jeden audit je spuštěn výhradně na žádost uživatele a obvykle znamená řádově desítky až nízké stovky požadavků během několika minut.
• Souběžně držíme nejvýše 8–10 spojení na jeden audit, požadavky mají krátký časový limit a velikost stahované odpovědi je omezená.
• Pravidelné kontroly (monitoring změn, dostupnost) probíhají nejvýše jednou denně na adresu a jen u webů, které si uživatel sám přidal.
• Odkazy, na které cizí web vede, ověřujeme jen jednoduchým dotazem na stavový kód (HEAD/GET).

robots.txt a jak robota zablokovat

WebGodBot respektuje soubor robots.txt (RFC 9309). Platí skupina pro WebGodBot; pokud neexistuje, platí skupina *. Platí to pro všechna automatická stažení, včetně adresy, kterou zadá zákazník. Zakázané adresy robot nestahuje a v auditu je uvede jako „neověřeno, zakázáno v robots.txt“. Soubory robots.txt, sitemap.xml, llms.txt a favicon.ico načítáme vždy.

Úplné zablokování robota:

User-agent: WebGodBot
Disallow: /

Pokud chcete robota naopak povolit i přes firewall či ochranu proti robotům (Cloudflare, Wordfence a další), použijte náš návod.

Kontakt

Dotazy, stížnosti a žádosti o úpravu chování robota posílejte na info@webgod.app. Reagujeme zpravidla do jednoho pracovního dne.

WebGodBot – information for website operators (English)

WebGodBot is the crawler of WebGod (webgod.app), a web audit and analysis service for Czech and Slovak businesses. It fetches only publicly accessible pages, on behalf of the site owner who requested an audit (performance, SEO, security headers, broken links, AI/search readiness) or for comparing publicly available pages of competitors. It does not log in, submit forms, solve CAPTCHAs or attempt to bypass any protection, and it does not collect content for AI model training.

User-Agent:

Mozilla/5.0 (compatible; WebGodBot/1.0; +https://webgod.app/robot)

Headless-browser audits use a regular Chromium User-Agent with the suffix WebGodBot/1.0 (+https://webgod.app/robot).

Source IP address(es): 87.106.230.249

Crawl rate: audits are user-initiated, typically tens to low hundreds of requests per audit, at most 8–10 concurrent connections, short timeouts and capped response sizes. Scheduled monitors run at most once per day per URL.

robots.txt: WebGodBot honours robots.txt (RFC 9309), using the WebGodBot group or, if absent, the * group. To block it completely:

User-agent: WebGodBot
Disallow: /

Contact: info@webgod.app