Marka kaydka proxy la wadaago uu caawiyo crawler
Qiimee agabka soo noqnoqda, cusbaynta iyo codsiyada dhabta ah ee crawlerka ka hor intaadan filan in kaydka forward-proxy la wadaago uu kordhin doono wax-soo-saarka.
Ka soo qaad in shaqaalo badan oo browser ku jira ay furaan bogag kala duwan oo isla hal site ah. Bogaggaas waxay tixraacaan isla stylesheet, logo iyo script bundle. Kaydka forward la wadaago wuxuu ka dhigi karaa soo-qabashada koowaad mid faa'iido u leh shaqaalaha dambe marka jawaabaha dib loo isticmaali karo.
Hadda beddel culeyska shaqada: shaqaale kastaa wuxuu soo dejiyaa hal dukumenti HTML oo keliya mana uu waligiis soo rarto agabka ku xiran. Stylesheet-ka guud wali wuxuu ku jiraa markup-ka, laakiin shaqaale kuma codsado. Waxba kuma kordhiso heerka hitta kaydka proxy-ga.
Ka bilow codsiyada crawlerkaagu dhab ahaan sameeyo
Browser soo bandhiga bog iyo macmiil HTTP oo soo qaata isha bogga waxay abuuraan jaangooyooyin codsi oo kala duwan. Baadh jaangooyooyinkaas ka hor intaadan dooran naqshad kayd.
| Culeyska shaqada | Awoodda dib-u-isticmaalka la wadaago |
|---|---|
| Shaqaalaha waxay si soo noqnoqda u soo qaataan isla hantida dadweynaha | Faa'iido leh marka xeerarka cusbaynta iyo furaha kaydku oggolaadaan |
| Codsi kastaa wuxuu leeyahay URL ama nooc jawaab gaar ah | Isku-tallab yar oo dib loo isticmaalo |
| Jawaabtu waxay u baahan tahay dib-u-xaqiijin ka hor dib-u-isticmaal | Waxaa laga yaabaa inuu badbaadiyo baaytiga jawaabta laakiin wali wuxuu u baahan yahay safar kor |
| Shaqaalaha waxay codsiyada ka buuxiyaan kaydkooda maxalliga ah | Codsiyadaas waxaa laga yaabaa inaysan waligood gaarin proxy-ga la wadaago |
Isle'egta URL oo keliya kuma filna. Siyaasadda cusbaynta jawaabta iyo goobaha uu Vary magacaabo waxay kala sooci karaan matalaadda. Mawduuca gaarka ah, aan la kaydin karin ama la xaqiijiyay wuxuu u baahan yahay xeerarka kaydka la wadaago ee khuseeya; waa in aan lagu qasbin hal natiijo dadweyne oo keliya si loo kordhiyo tirada hitta.
Taraafikada caadiga ah ee HTTPS CONNECT, forward proxy wuxuu qaadaa tunnel sir ah oo wax HTTP shay ah oo gudaha ku kaydsan ma leh. Baahinta leh kormeerka TLS waxay leedahay dhaqan kalsooni iyo habayn ka duwan. Ku dar habka dhabta ah markaad qiimaynayso in kaydka walxaha uu jiro.
Hit kaydku wuxuu ka fogaansan karaa soo-qabashada kor, halka miss uu wali bixiyo shaqada dhexdhexaadiyaha. Isbarbar dhig baaytiyada faa'iidada leh ee dhammaaday, taraafikada kor iyo daahitaanka culeyska loogu talagalay. Tirada dunta waxay qeexdaa isku-biyo; ma qeexdo inta mawduuc dib loo isticmaali karo ee duntaasuhu wadaagaan.