Vsebina
Internetni iskalci, kot so Google, Yahoo in Bing, najdejo informacije z uporabo povezav in kazalnikov za druge spletne strani. Ti iskalniki lahko najdejo nekatere najbolj nejasne informacije in jih vključijo v vaš indeks in ta vrsta iskalne tehnologije ima prednosti in slabosti za uporabnike.
Strani notranjega omrežja
Strani notranjega omrežja so strani na spletnih mestih, ki potrebujejo veliko klikov, ki jih vidi uporabnik. Te strani so lahko izdelki, vsebina ali iskalna zbirka podatkov, ki jih iskalniki običajno ne morejo slediti. Prednost te vrste tehnologije, ki preprečuje pajkanje iskalnikov, je, da lahko lastniki spletnih mest vsebujejo izdelke, nakupe, informacije in druge pomembne povezave, vključene v indeks iskalnika. To lastniku spletne strani omogoča večjo prepoznavnost na internetu.
Osebni podatki
Eden od pomanjkljivosti iskalnika, ki išče po vsebinah, je indeksiranje osebnih podatkov ne glede na zasebnost. Informacije, kot so varnostne številke, finančni podatki ali geografske lokacije, se lahko indeksirajo, tudi če so bile objavljene na osebni spletni strani. Iskalci so uporabnikom omogočili, da blokirajo nekatere informacije o indeksu z datoteko z imenom »robots.txt«. Iskalniki, kot je Google, na primer omogočajo uporabnikom, da odstranijo URL-je, potem ko je lastnik mesta odstranil žaljive informacije, ki so izbrisane iz indeksa.
Avtomatizacija
Lastniki spletnih mest lahko indeksirajo svoje strani tako, da pustijo nekatere povezave na drugi spletni strani ali celo na svoji spletni strani. Ta praksa se imenuje "backlinking". Spletno mesto, ki uporablja to funkcijo, samodejno sledijo iskalniki, ki lahko nato spletno mesto preslikajo in indeksirajo. To olajša položaj lastnikov spletnih strani, saj jim ni treba predložiti domenskega imena iskalnikom. Avtomatizacija indeksa omogoča bralcem interneta lažje iskanje.
