Direkt från Google:
Metataggar är ett utmärkt sätt för webbansvariga att förse sökmotorer med information om sina webbplatser. Metataggar kan användas för att ge information till alla typer av klienter, och varje system bearbetar endast de metataggar de förstår och ignorerar resten.
Om du vill blockera alla sökmotorer helt:
Varför?
Kanske är det en något privat URL på din webbplats, men inte skyddad på ett sådant sätt att en sökbot inte kunde se den. Som om en sida kräver inloggning för att se den, är den ändå blockerad från en sökbot. Men om det bara är en fördunklad URL, vem vet hur sökrobotar kommer runt så att du kanske vill förhindra indexering.
Sökresultat är en annan vanlig. Konstigt att ha ett sökresultat kanske sökresultat. WordPress-teman brukar inkludera detta:
Jag kan ändra det lite och säga till bots, hej, du kan följa länkar här för att fortsätta indexera webbplatsen, men indexera inte den här sidan specifikt.
Andra
Sökmotorer brukar använda beskrivningstaggen för textinnehåll bredvid :
Se Google-sidan för andra Google-specifika som förmågan att stoppa Google-specifika gränssnittssaker som deras "sökruta för webbplatslänkar".
