Robot

Robot (někdy též pavouk či anglicky crawler, spider) je speciální webová aplikace nebo počítačový program, který přes jednotlivé odkazy prochází internetové stránky a vykonává na nich určenou činnost. Touto činností může být indexace nového obsahu (roboti vyhledávačů), sběr emailových adres (roboti vytvářející databáze pro rozesílání spamu), vkládání komentářového spamu či třeba kontrola funkčnosti odkazů (roboti sloužící k ladění webů).

Z hlediska tvorby webů jsou důležité především roboti vyhledávačů. Existuje celá řada doporučení, jejichž dodržování dokáže roboty přilákat, vede k častějším návštěvám robotů na stránkách a k větší ochotě robota procházet hlubší části struktury webu. Základem je alespoň jeden zpětný odkaz (nejlépe z důležitější a u vyhledávacích robotů tedy oblíbenější stránky) mířící na naši prezentaci – díky němu se robot o webu dozví. Pro rychlost indexace a ochotu robota se po webu pohybovat je podstatný především PageRank webu.

Někdy se vyplatí vyhledávacím robotům vstup zakázat (bohužel tento zákaz nerespektují všichni roboti, pouze ti slušní). Takovým případem je třeba stav, kdy stránky musí obsahovat duplicitní obsah (stejný obsah je dostupný na více URL), často se to objevuje například u internetových obchodů. Zakázat přístup robotům je možné pomocí meta tagu robots umístěného v hlavičce stránky nebo pomocí textového souboru robots.txt, který se nalézá v hlavním adresáři webu.

Někteří roboti také nenásledují odkazy označené atributem rel s hodnotou nofollow. Dalším způsobem, jak zabránit robotům v přístupu na odkazované stránky, může být využití JavaScriptu (ten roboti většinou příliš nezvládají) nebo formuláře. To se hodí třeba v případě ankety, na níž by jinak roboti radostně hlasovali.

Odkazy související s pojmem Robot

Zaujal vás pojem Robot?

Přemýšlíte, jak nové informace využít v praxi? Kontaktujte nás s poptávkou:

Chci nezávaznou kalkulaci


Newsletter

více informací

Facebook: sledujte nás