Google şi-a făcut deja un obicei din a ţine la curent webmasterii şi utilizatorii serviciilor sale cu toate modificările şi problemele care pot apărea în timpul funcţionarii site-urilor sau unor anumite programe oferite de compania americană.
Aşa s-a întâmplat şi pe 28 iulie 2015, când mai toţi webmasterii care au fost validaţi prin sistemul Google Search Console au primit mesaje de atenţionare pe e-mail, în care li se expunea faptul că GoogleBot, „search crawler”-url Google, nu mai putea accesa fişierele JavaScript şi CSS ale website-urilor administrate de ei, în special cele legate de HomePage. Ambele elemente sunt foarte importante pentru funcţionarea site-urilor şi pentru asigurarea unei experienţe optimizate pentru orice user.
Se pare că foarte mulţi useri care folosesc platforma WordPress, chiar şi cei care se folosesc de Joomla, au primit aceste notificări ciudate la prima vedere. Motivul este cât se poate de simplu: din oficiu, aceste soluţii CMS blochează „include folder”, un folder principal şi esenţial pentru funcţionarea oricărei pagini web, în care se află şi fişierele CSS şi JavaScript. Notificările primite nu sunt lipsite de logică. Cu un an în urmă, Google a început să afişeze pagina în întregime aşa cum utilizatorul o va vedea. În octombrie 2014, Google a notificat webmaserii să nu blocheze accesul la niciun fişier din „include folder”. Ideea este că, dacă Google nu „vede” întreg website-ul nu-l va înţelege, ducând la un ranking foarte mic, cu alte cuvinte la „suboptimal ranking”.
Restricţiile de care pomenea Google sunt de fapt la nivelul fişierului robots.txt, care e răspunzător de semnalarea „sănătăţii” unui website.
Dacă aţi primit acest mesaj de atenţionare trebuie să urmaţi instrucţiunile oferite de Google chiar în interiorul mesajului, şi să va folosiţi de instrumentele de diagnosticare puse la dispoziţie prin intermediul Search Console pentru a vedea exact ceea ce „vede” Google greşit la nivelul paginilor web administrate.
Pe scurt, va trebui să parcurgeţi următorii paşi:
1. Identificaţi resursele blocate cu ajutorul Fetch as Google, instrument gratuit pus la dispoziţie de Google, din robots.txt;
2. Aplicaţi un Update fişierului robots.txt după ce anulaţi restricţiile impuse fişierelor JS şi CSS;
3. Verificaţi update-ul făcut fişierului robots.txt cu ajutorul Robots.txt tester;
4. Faceţi update şi în structura site-ului la acelaşi fişier robots.txt şi introduceţi adresa url a site-ului în Search Console;
5. Validaţi „reparaţia” făcută prin Fetch as Google – aplicaţi opţiunea Fetch and Render din Mobile: smartphone pentru a verifica încă o dată dacă Googlebot pentru smartphone-uri afişează corect site-ul.
