Co je indexovací robot?

Kaštan

Kvalitní indexace je nedílnou součástí SEO. Indexovací robot je někdy nazývaný crawler, dále také bot či spider. Jedná se o program internetového vyhledávače, který prochází internet, načítá si jednotlivé webové stránky a jejich obsah (především textový) ukládá do databáze.

Jak dostat robota na stránky?

Robot může přijít jen na stránky, o kterých se nějakým způsobem dozví. Většinou si nové stránky robot všimne díky tomu, že na ni vede z jiné stránky odkaz. Dalším způsobem, jak dát vědět robotovi například o nové stránce, je použít přidávací formulář přímo na stránkách vyhledávače. K přidání nedojde ihned, ale až po určité prodlevě, která bývá v řádu několika dnů až týdnů.

Robot poté prochází web přes odkazy, které vedou na podstránky. Web může obsahovat stránky, na které nevedou žádné odkazy, a proto je dobré vytvořit takzvaný sitemap, ten obsahuje mapu celého webu s dalšími parametry. Vyhledávače umí tento soubor načíst a tím získat informace o tom, kde je která stránka.

Co umí robot zaindexovat

Robot umí zaindexovat jak obsah webových stránek (nadpisy a texty), tak některé typy dokumentů, na které je z webu odkazováno. Roboti fulltextových vyhledávačů umějí zaindexovat například dokumenty ve formátu PDF nebo DOC.

Roboti také indexují textový obsah webu, který není viditelný. Jedná se o takzvané metatagy, které mu napovídají co je na stránce.

Co neumí robot zaindexovat

Stále platí, že vyhledávače nerozumí například obrázkům. Nevědí, že je na fotce například vyfocena paní Nováková v Řecku. Proto je dobré napovědět robotovi něco o tom, co je na obrázku tím, že to napíšeme do alternativního popisu, který robot umí přečíst a chápe jeho obsah.

Jak ulehčit práci robotovi?

Je třeba robota na stránky pustit a nabídnout mu dostatek cest, po kterých se může pohybovat.

Robot prohází webem tak jako normální uživatel, tedy přes odkazy. Z toho vyplývá, že se nedostane na stránku, na kterou nevede žádný odkaz. Řešením může být mapa webu neboli Sitemap, ve kterém lze určit i to, jak často má robot procházet každou z podstránek webu.

Povolte robotovi indexování webu nebo jednotlivých podstránek

Je třeba dát také pozor, aby nebyla robotovi indexace webu nebo jeho části zakázána v robots.txt nebo v metatagu.