Serverim noslodze un lapa lēni lādējas, bet serveris ir gana jaudīgs? Jāmeklē iemesls, kādēļ tā notiek. Bieži vien nepieciešama programmas koda uzlabošana, bet otrs populārs iemesls var būt lietotāju pieplūdums. Tikai ne visi lietotāji serverī ir gaidīti – tie nedod pievienotu vērtību, bet gan automātiski “kasa” informāciju vai speciāli rada noslodzi serverim. Iemesli un mērķi var būt dažādi, bet viens ir skaidrs, ka šādu spambotu aktivitāti vajag novērst.
Ne visiem ir tehniskas zināšanas šo atrisināt, tādēļ zemāk ir papildu informācija pieredzējušākiem speciālistiem, tomēr arī citi lapu īpašnieki var meklēt iemeslus lapas lēndarbībai un kopā ar IT ekspertiem to risināt.
Daudziem lapu īpašniekiem, kuriem ir pieslēgts hostinga pārvaldības panelis Cpanel, ir iespēja apskatīt sadaļu “Visitors”, lai detalizēti redzētu apmeklētāju informāciju: laiks, ip adreses, lietotāja aģents (user agent). Lai arī user agent ir iespējams viltot un aiz tā var slēpties dažādu datu “kasītāji”, piemēram, konkurenti vēlas automātiski iegūt datus no jūsu lapas, tomēr tas ir nozīmīgākais aizķeršanās punkts, lai varētu filtrēt un bloķēt nevajadzīgos apmeklētājus.
Ja spama bota izcelsme ir viena noteikta IP adrese vai tā dēvētais IP range (noteikts IP adrešu intervals), tad nofiltrēt ir salīdzinoši vienkārši. Tomēr daudzi spama roboti izmanto ļoti dažādas IP adreses, tad nākas izmantot
Ja mājas lapa tiek izmantota tikai noteiktā reģionā, tad ir iespēja nevis nobloķēt, bet atļaut noteiktas IP adreses/teritorijas, piemēram, atļaut pieeju tikai no Baltijas IP adresēm (arī šādi varat par daudz ierobežot kvalitatīvos apmeklētājus dažādu iemeslu dēļ) un, protams, no Google robota IP adresēm, savādāk Google netiks klāt jūsu saturam un lapa netiks indeksēta.
Cpanel risinājums spameru bloķēšanai ar user agent
Variants Nr. 1: ar htaccess palīdzību
Ja ir zināms/redzams spama robotu saraksts, tad var izmantot vairākas iespējas kā ar user agent palīdzību bloķēt šos servisus, lai lieki nenoslogo mājaslapu. Vienkāršs veids ir izmantot htaccess faila papildinājumu, piemērs zemāk:
RewriteCond %{HTTP_USER_AGENT} Mb2345Browser|Sogou|DotBot|LieBaoFast|zh-CN|MicroMessenger|zh_CN|Kinza|Datanyze|AspiegelBot|serpstatbot|spaziodati|mj12bot|OPPO|sA33|ahrefs|AspiegelBot|Bytespider|semrush [NC]
RewriteRule ^ - [F,L]
Uzskaitīto robotu saraksts tiek atdalīts ar | jeb pipeline. Šo var izmantot, ja nav pilnīgāka servera piekļuve, piemēram, ugunsmūra uzstādījumiem. Nevajadzētu aizrauties ar htacess pārslogošanu, jo katrs pieprasījums uz mājas lapu tiek apstrādāts un prasa papildu resursus, kas beigās var kļūt par vērā ņemamu, lieku slodzi.
Variants nr. 2: ugunsmūra noteikumi
Ja ir cpanel/WHM iespēja ar ugunsmūri, tad ir cita efektīvāka iespēja servera līmenī nofiltrēt uzreiz visam serverim nevajadzīgo apmeklējumu. Cpanel sadaļā Security Center –> ModSecurity Tools –> Rules list ir jāpievieno zemāk izvietotais likums (rule). Šo var izmantot kā pamatu, lai izveidotu user-agent līmenī nevajadzīgo robotu bloķēšanu.
SecRule REQUEST_HEADERS:User-Agent "@rx (?:AhrefsBot|dotbot|semrush|aspiegel|Sogou|bytespider|MJ12bot|Yandex)" "msg:'Spiderbot blocked',phase:1,log,id:777777,t:none,block,status:403"
Jebkuras izmaiņas, protams, ir jātestē un jāseko līdzi, lai netiktu nejauši bloķēti roboti, kuri ir vajadzīgi, piemēram, GoogleBot. Ja nav pieredzes ar server pārvaldīšanu un šādām mājaslapas izmaiņām, sazinieties ar IT ekspertu vai hostinga pārvaldītāju, lai šo atrisinātu.
Kādēļ nepietiek ar robots.txt papildināšanu?
Diemžēl dažādi kaitnieciskie boti, spameri ignorē robots.txt uzstādījumus un rezultātā serveri noslogo nevajadzīgas aktivitātes. Arī ikdienā atjaunojot robots.txt failu tā atjaunošana google pusē var aizņemt ilgāku laiku. Ja ir nepieciešama ātrāka robots.txt faila atjaunošana, to var izdarīt ar Google Search Console palīdzību, izmantojot Robots.txt tester tool un ielādējot jaunāko faila versiju. Google var vairākas nedēļas neatjaunot robots.txt failu, ja netiek iedota papildu norāde to darīt.
Lēna lapa, vāji Google rezultāti
Lapas ātrdarbībai ir liela nozīme gan labai lietotāju pieredzei, gan Google reputācijas novērtējumam par jūsu lapu, tādēļ lēnas lapas darbībai ir nepieciešams rast risinājumu. Ja ir nepieciešams eksperta slēdziens par mājaslapas optimizāciju (SEO) un kopējo lietotāju pieredzes novērtējumu lapai, varat sazināties ar mums: info@picco.media.
