Ma proxy horay u fuliyaa robots.txt loogu talagalay crawler?
Ku hay siyaasadda robots crawler-ka dhexdiisa oo fahan xadka fulintaheeda proxy gudbinta.
In crawler-ka la siiyo proxy HTTP waxay beddeshaa sida codsiyadiisu u gaadhaan websaydhka. Laakiin ma keento in proxy-ga soo qaato robots.txt, doorto kooxda qawaaniinta crawler-ka ama u qorsheeyo codsiyadiisa si edeb leh.
Borotokoolka ka-reebista robot-yada waxa uu qeexaa qawaaniin loogu talagalay crawler-yada. Waxa uu ka kooban yahay is-waafajin, guuldarrooyinka soo-qaadista, dib-u-celinta iyo habdhaqanka kaydka. Proxy-ga kaliya gudbiya dukumeentiga la codsaday ma fulin siyaasaddaas magaca crawler-ka.
Ku hay go'aanka qawaaniinta meel u dhow safka codsiyada crawler-ka. Halkaas ayaa aqoonsiga loogu talagalay, URI-ga bartilmaameedka iyo xaaladda jadwalka diyaar u yihiin ka hor inta aan shaqada la dirin.
Sababta shaandhaynta dhinaca proxy-ga ay uga adag tahay sidii la moodayay
HTTP caadi ah, shaandho si gaar ah loo dhisay waxay arki kartaa dariiqa bartilmaameedka iyo User-Agent. Weli waxay u baahan tahay fulin qawaaniin dhab ah iyo siyaasad qeexan oo ku saabsan soo-qaadista, kaydinta iyo cusboonaysiinta faylka robots ee khuseeya. In dhawr sadar oo Disallow ah loo beddelo xannibaadyo cinwaan oo taagan maaha borotokoolka oo dhan.
HTTPS oo mara CONNECT caadi ah, proxy-ga horay wuxuu arkaa halka tunnel-ku u socdo, ma arko dariiqa bog kasta oo sir ah iyo User-Agent-ga gudaha. Waxa ka maqan macluumaadka loo baahan yahay go'aannada robots ee heerka dariiqa, haddii aanay jirin nidaam kale oo ula kac ah oo bixiya.
Beddelka cinwaanka bixitaanka sidoo kale ma ka dhigayo dariiqa la mamnuucay mid la oggolaaday. Isku duwo xawaaraha shaqaalaha wadaaga dhaqdhaqaaqa crawler-ka; wareegga dariiqyada maaha beddelka siyaasaddaas.
Ugu dambayntii, qawaaniinta robots maaha oggolaansho gelitaan. Dariiq la oggolaaday ma dhaafo xaqiijinta ama shuruudaha kale ee gelitaanka site-ka, faylka robots ee dadweynuhuna ma ilaaliyo nuxurka gaarka ah.