Päivitetyn tai uuden Robots.txt-tiedoston lähettäminen uudelleen

robotit txt

Toimistomme hoitaa orgaanisen haun konsultointi useille alan SaaS-toimittajille. Asiakas, jonka kanssa aloimme äskettäin työskennellä, oli suorittanut melko tavallisen käytännön, sijoittanut sovelluksensa aliverkkotunnukseen ja siirtänyt esitesivustonsa ydinverkkoon. Tämä on vakiokäytäntö, koska se antaa sekä tuotantotiimillesi että markkinointitiimillesi mahdollisuuden tehdä päivityksiä tarpeen mukaan ilman riippuvuutta toisesta.

Ensimmäisenä vaiheena heidän orgaanisen haun terveydentilansa analysoimiseksi rekisteröimme sekä esitteen että sovellustunnukset Verkkovastaaviin. Silloin havaitsimme välittömän ongelman. Hakukoneet estivät kaikkien sovellussivujen indeksoinnin. Navigoimme heidän robots.txt-merkintäänsä Webmasterissa ja tunnistimme ongelman heti.

Valmistellessaan siirtymistä heidän kehitystiiminsä ei halunnut hakemuksen indeksoivan sovelluksen aliverkkotunnusta, joten he estivät pääsyn hakukoneisiin. Robots.txt-tiedosto on tiedosto, joka löytyy sivustosi juuresta - oma verkkotunnus.com/robots.txt - jonka avulla hakukone tietää, pitäisikö heidän indeksoida sivusto vai ei. Voit kirjoittaa sääntöjä, jotka sallivat tai estävät indeksoinnin koko sivustolla tai tietyillä poluilla. Voit myös lisätä rivin sivustokarttatiedoston määrittämiseksi.

- robots.txt tiedostossa oli seuraava merkintä, joka esti sivustoa indeksoimasta hakutulossijoituksissa:

Käyttäjäagentti: * Estä: /

Se olisi pitänyt kirjoittaa seuraavasti:

User-agent: * Salli: /

Viimeksi mainittu antaa luvan kaikille hakukoneille, jotka indeksoivat sivuston, että he voivat käyttää mitä tahansa sivuston hakemistoa tai tiedostoa.

Hienoa ... joten nyt robots.txt tiedosto on täydellinen, mutta mistä Google tietää ja milloin he tarkistavat sivuston uudelleen? No, voit ehdottomasti pyytää Googlea tarkistamaan robots.txt-tiedostosi, mutta se ei ole liian intuitiivinen.

Siirry Google Search Consolen Search Console että Indeksoi> robots.txt-testaaja. Testerissä näkyy viimeisimmän indeksoidun robots.txt-tiedoston sisältö. Jos haluat lähettää robots.txt-tiedostosi uudelleen, napsauta Lähetä-painiketta, ja ponnahdusikkunassa on muutama vaihtoehto.

lähetä robots.txt uudelleen

Viimeinen vaihtoehto on Pyydä Googlea päivittämään. Napsauta sinistä Lähetä-painiketta kyseisen vaihtoehdon vieressä ja siirry sitten takaisin Indeksoi> robots.txt-testaaja valikkovaihtoehto sivun lataamiseksi uudelleen. Sinun pitäisi nyt nähdä päivitetty robots.txt-tiedosto sekä päivämääräleima, joka osoittaa, että se indeksoitiin uudelleen.

Jos et näe päivitettyä versiota, voit napsauttaa Lähetä ja valita Näytä ladattu versio siirtyäksesi todelliseen robots.txt-tiedostoon. Monet järjestelmät tallentavat tämän tiedoston välimuistiin. Itse asiassa IIS luo tämän tiedoston dynaamisesti niiden käyttöliittymän kautta syötettyjen sääntöjen perusteella. Sinun on todennäköisesti päivitettävä säännöt ja päivitettävä välimuisti uuden robots.txt-tiedoston julkaisemiseksi.

robots-txt-testeri

Mitä mieltä olet?

Tämä sivusto käyttää Akismetiä roskapostin vähentämiseksi. Lue, miten kommenttitietosi käsitellään.