Wéi eng aktualiséiert oder nei Robots.txt Datei ofginn

Roboter txt

Eis Agence handelt organesch Sichberodung fir verschidde SaaS Verkeefer an der Industrie. E Client mat deem mir viru kuerzem ugefaang hunn ze schaffen huet eng zimlech Standard Praxis gemaach, hir Uwendung op e Subdomain plazéiert an hir Broschür Site op d'Kärdomän geplënnert. Dëst ass eng Standard Praxis, well et béid Är Produktiouns Team an Äre Marketing Team erlaabt Updates ze maachen wéi néideg ouni Ofhängegkeet vum aneren.

Als éischte Schrëtt fir hir organesch Sichgesondheet ze analyséieren, hu mir souwuel d'Brochure wéi och d'Applikatiounsdomäner bei Webmastere registréiert. Dat ass wa mir en direkten Thema identifizéiert hunn. All d'Applikatiounssäiten goufen blockéiert fir vun de Sichmaschinnen indexéiert ze ginn. Mir sinn op hir Robots.txt Eintritt bei Webmasteren navigéiert an hunn d'Fro direkt identifizéiert.

Wärend si sech op d'Migratioun virbereeden, wollt hiren Entwécklungséquipe net datt d'Applikatiounssubdomain duerch Sich indexéiert gëtt, sou datt se den Zougang zu Sichmaschinne net erlaabt hunn. D'Robots.txt Datei ass eng Datei déi an der Wuerzel vun Ärem Site fonnt gëtt - yourdomain.com/robots.txt - dat léisst d'Sichmaschinn wëssen ob se de Site solle crawlen oder net. Dir kënnt Reegele schreiwen fir Indexéierung op de ganze Site oder spezifesche Weeër z'erméiglechen oder net z'erlaaben. Dir kënnt och eng Zeil derbäisetze fir Är Sitemap Datei ze spezifizéieren.

d' robots.txt Datei hat folgend Eintrëtt wat verhënnert huet datt de Site duerchsicht an an de Sichresultater Rankings indexéiert gouf:

User-Agent: * Net erlaabt: /

Et sollt esou geschriwwe sinn:

User-Agent: * Erlaabt: /

Déi lescht erlaabt Erlaabnes fir all Sichmaschinn déi de Site crawlt datt se Zougang zu engem Verzeechnes oder Datei op der Säit kréien.

Super ... also elo wou den robots.txt Datei ass perfekt awer wéi weess Google a wéini kontrolléieren se de Site nach eng Kéier? Gutt, Dir kënnt absolut ufroen datt Google Äre Robots.txt kontrolléiert, awer et ass net ze intuitiv.

Navigéiere fir de Google Sich Konsol Sich Konsol bei den Crawl> robots.txt Tester. Dir gesitt den Inhalt vun der kierzlech gekrabler robots.txt Datei am Tester. Wann Dir Är Robots.txt Datei nach eng Kéier wëllt ofginn, klickt op Submit an e Popup kënnt mat e puer Optiounen.

Robots.txt nei ofginn

Déi lescht Optioun ass Frot Google fir ze aktualiséieren. Klickt op de bloe Submit Knäppchen niewent där Optioun a navigéiert dann zréck op de Crawl> robots.txt Tester Menuoptioun fir d'Säit nei ze lueden. Dir sollt elo d'aktualiséiert Robots.txt Datei zesumme mat engem Datumstempel gesinn, dee weist datt et erëm gekraaft gouf.

Wann Dir keng aktualiséiert Versioun gesitt, kënnt Dir klickt op ofginn a wielt View eropgelueden Versioun fir op Är aktuell Robots.txt Datei ze navigéieren. Vill Systeme cache dës Datei. Tatsächlech generéiert IIS dës Datei dynamesch op Basis vu Regelen déi duerch hir User Interface aginn. Dir musst héchstwahrscheinlech d'Regelen aktualiséieren an de Cache erfrëschen fir eng nei robots.txt Datei ze publizéieren.

Roboter-txt-Tester

Wat denks du?

Dëse Site benotzt Akismet fir Spam ze reduzéieren. Léiert wéi Är Kommentarfaten veraarbecht ginn.