Google kan ikke crawle CSS og JS – Search Console

Tag advarslen seriøst: Google kan ikke crawle din CSS og JS (Search Console)

Google kan ikke crawle CSS og JS – Search ConsoleGoogle masseudsender lige nu advarsler til webmastere tilmeldt Google Search Console (tidligere Webmaster Central).

Problemet er ikke dårlige links eller en langsom side – men at Google slet ikke har mulighed for at crawle javascript- og CSS-filer.

Noget, den amerikanske Google penalty specialist Marie Heynes på Twitter kalder kan have en ”væsentligt skadesvirkning” for et domænes ranking i de organiske søgeresultater, hvis det ikke udbedres.

Har du også fået advarslen – eller ved du det ikke endnu? Se her, hvad du kan gøre.

Du kan se et billede af advarslen her:

Google advarsel - Google kan ikke crawle CSS og JS – Search Console

Tilmeld Search Console

For overhovedet at få advarslen skal dit domæne være tilmeldt Google Search Console.

Det gør du her: Link til tilmelding.

Du bekræfter din side nemmest ved at uploade en statisk HTML-fil til serveren, Google så kan crawle.

Herefter får du adgang til notifikationer for dit domæne. Er din side ikke tilmeldt nu får du stadig notifikation om manglende crawl-adgang udsendt før, når du senere tilmelder dig.

Inde i Search Console kan du under Meddelelser ser, hvad Google skriver til dig.

Det kan fx være beskeder om manglende crawling. Beskeder om advarsler i forbindelse med linkbuilding findes ofte i Search Console. Du bør af samme årsag melde alle dine sider til Search Console, da det er Googles eneste måde at kommunikere med dig som websiteejer på.

Check din robots.txt

Manglende indeksering af dine CSS- og javascript-filer er ofte et resultat af uhensigtsmæssig blokering i robots.txt-filen. Denne fil i roden af serveren kan du benytte til at forhindre indeksering af præcise URL’er eller områder på dit domæne, der fx intet unikt indhold har.

Du kan dog også ved et uheld forhindre indeksering af CSS- og javascript-filer.

Især hvis du benytter WordPress kan det nemt ske. Hvis du blokerer indeksering af /wp-admin og wp-includes – som du enten manuelt kan gøre eller som kan ske automatisk med et af flere populære SEO-plugins – blokerer du også dine CSS- og javascriptfiler.

Det forklarer Marie Heynes på Twitter her. Undlader du at rette op på dette kan betydningen for dine placeringer i de organiske søgeresultater være ”significant” (væsentligt på dansk).

I de forskellige SEO-faglige fora blev der af Google Webmaster Trends Analyst, John Mueller bemærket, at der har hersket en del forvirring om, hvordan en kompleks robots.txt-fil skal håndteres. Ifølge John Müller har Google – ikke overraskende – fantastisk dokumentation på området, men han benyttede alligevel lejligheden til at nogle af de konkrete elementer, Google almindeligvis bliver spurgt om:

– At forbyde crawling blokerer ikke indeksering af webadresser. Dette er temmelig almindeligt kendt, men værd at gentage.

– Mere-specifikke bruger-agent sektioner erstatter de mindre specifikke dem. Hvis du har en sektion med “user-agent: *” og en med “user-agent: googlebot”, da Googlebot vil kun følge Googlebot-specifikke afsnit.

– Mere-specifikke sektioner overtrumfer de mindre specifikke sektioner. Vi ser på længden af ​​den “sti-del”. For eksempel, “allow: /javascript.js” vil overtrumfe “disallow: /java”, mens “allow: *.js” ikke vil.

– Stierne / URL’er i robots.txt-filen er case-sensitive.

For ikke-trivielle filer, kan tweaking være lidt tricky. Googles John Müller anbefaler kraftigt at bruge robots.txt testsiden i Google Search Console – det vil lokalisere den linje i robots.txt, der blokerer en specifik URL, og du kan teste ændringerne direkte.
Det er den hurtigste måde at informere Google om en ændret robots.txt-fil på dit websted.
Læs mere om værktøjet på https://support.google.com/webmasters/answer/6062598

John Mueller slutter af med at henvise til den fulde dokumentation omkring søgemaskinernes crawling af robots.txt: https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Stort tab af organiske placeringer

Får du ikke meddelelsen – eller undlader du at reagere – er du i risiko for at miste dine placeringer i Googles organiske søgemaskine.

Google ønsker ikke at linke til, hvad den ikke kan indeksere og det er hele problemet med dine blokerede CSS- og javascriptfiler.

Vi anbefaler hos OnlineSynlighed.dk, at du med det samme logger ind på Search Console og ser, om du blokerer filer. Brug funktionen ”Fetch as Google” til at se, om du blokerer vitale informationer.

Overvej i samme omgang en SEO tilstandsrapport, der fortæller dig hvilke problemer, der lige nu forhindrer dig i at tage 1. Pladserne på de vigtige søgeord inden for din branche. Med en SEO tilstandsrapport får du en prioriteret liste over hvor du bør sætte ind for at øge din omsætning og indtjening online.

CTA Blog

Skal vi også hjælpe dig videre?

Står du med en konkret digital udfordring eller har vækstambitioner, så står vi klar til at tage en uforpligtende dialog.

John Nielsen