Semalt: kā Google zina, kad (un kāpēc) pārtraukt jūsu vietnes pārmeklēšanu?

Vietnes mārketingā Google zirnekļi ir tikpat svarīgi kā pati SEO kampaņa. Viņi pārmeklē vietnes un indeksē saturu no visām lapām, kuras tas var atrast. Tas veic arī atkārtotu indeksēšanu atjauninātās vietnes lapās. Tas tiek darīts regulāri, pamatojoties uz vairākiem faktoriem. Tajos ietilpst (bet ne tikai) PageRank, pārmeklēšanas ierobežojumi un lapā atrodamās saites. Cik reizes Google zirnekļi pārmeklē vietni, būs atkarīgs no viena vai vairākiem no šiem faktoriem.

Apmeklētāji, kā arī Google pārmeklēšanas zirnekļi vietnē var viegli pārlūkot vietni. Tas ir iemesls, kāpēc pārmeklēšanai draudzīga vietne ir SEO kampaņas papildu priekšrocība. Pretējā gadījumā Google nevarēs piekļūt saturam, tādējādi samazinot vietnes rangu meklētājprogrammu ranžēšanas lapā.

Ross Bārbers, Semalt klientu veiksmes menedžeris, definē, ka divi no vissvarīgākajiem indeksācijas faktoriem, uz kuriem Google paļaujas, lai ietekmētu tā lēmumu palēnināt vai pārtraukt jūsu vietnes pārmeklēšanu, ir savienojuma laiks un HTTP statusa kods. Citi ietver komandu noraidīt, tagus “neseko” un robots.txt.

Savienojiet laika un HTTP statusa kodus

Savienojuma laika koeficients ir saistīts ar laiku, kas Google rāpuļprogrammai nepieciešams, lai sasniegtu vietnes serveri un tīmekļa lapas. Ātrumu ļoti augstu vērtē Google, jo tas ļoti norāda uz labu lietotāja pieredzi. Ja vietne nav optimizēta ātrumam, vietne tiek klasificēta slikti. Google zirnekļi mēģinās sasniegt vietni, un, ja savienojuma izveidei vajadzīgais laiks ir ilgāks, viņi atkal to pārmeklē un pārmeklē to retāk. Turklāt, ja Google liek indeksēt vietni ar pašreizējo ātrumu, tas var pārtraukt lietotāja pieredzi, jo tas var ievērojami palēnināt tā servera darbību.

Otrs indeksācijas faktors ir HTTP statusa kodi, kas norāda uz to, cik labi serveris reaģē uz lūgumu pārmeklēt vietni. Ja statusa kodi atrodas 5xx diapazonā, tad Google uzņemas pārtraukt vai atlikt ātrumu, kādā viņi pārmeklē pašreizējo vietni. Viss, kas ietilpst 5xx diapazonā, norāda uz iespējamām problēmām ar serveri un to, ka atbildēšana uz pieprasījumu varētu būt problemātiska. Sakarā ar papildu problēmu rašanās risku, Google robotprogrammatūras atcels malu un veiks indeksēšanu, kad serveris būs sasniedzamāks.

Kad Google atsāk vietnes pārmeklēšanu?

Google tic lietotājiem sniegt vislabāko pieredzi un augstu vērtēs vietnes, kas optimizē viņu SEO elementus šo mērķu sasniegšanai. Tomēr, ja vietnē pašlaik tiek parādītas iepriekš minētās problēmas, tā pavēl savam Googlebot mēģināt to pārmeklēt vēlāk. Ja problēmas joprojām pastāv, īpašnieks zaudēs lielisku iespēju Google izpētīt tā saturu un piešķirt tam pelnītu rangu meklēšanas rezultātos. Papildus šīm problēmām jebkurai surogātpasta pazīmei vietne tiks bloķēta, lai tā nekad netiktu parādīta meklēšanas rezultātos.

Tāpat kā visi citi algoritmi, kurus izmanto Google, arī zirnekļi ir automātiski. Tie ir izstrādāti, lai atrastu, pārmeklētu un indeksētu saturu, pamatojoties uz noteiktiem parametriem. Ja vietne neatbilst noteiktai labākajai praksei, indeksācija nenotiks. Tajā ir iesaistīti daudzi citi faktori, taču vienmēr atcerieties pievērst īpašu uzmanību vietnes savienojuma laikam un HTTP statusa kodiem.