Je, proksi ya mbele inatekeleza robots.txt kwa crawler?
Weka sera ya robots ndani ya crawler na uelewe mipaka ya kuitekeleza kwenye proksi ya uenezaji.
Kumpa crawler proksi ya HTTP hubadilisha jinsi maombi yake yanavyofika kwenye tovuti. Lakini haifanyi proksi ichukue robots.txt, ichague kundi la kanuni za crawler au kupanga maombi yake kwa adabu.
Itifaki ya Kutenga Roboti inaeleza kanuni kwa crawlers. Inajumuisha ulinganishaji, kushindwa kwa upataji, uelekezaji upya na tabia ya akiba. Proksi inayopeleka tu hati iliyoombwa haijatekeleza sera hiyo kwa niaba ya crawler.
Weka uamuzi wa kanuni karibu na foleni ya maombi ya crawler. Hapo ndipo utambulisho unaokusudiwa, URI lengwa na hali ya upangaji zinapatikana kabla ya kazi kutumwa.
Kwa nini kuchuja upande wa proksi ni vigumu kuliko inavyosikika
Kwa HTTP ya kawaida, kichujio kilichojengwa maalum kinaweza kuona njia lengwa na User-Agent. Hata hivyo kinahitaji utekelezaji halisi wa kanuni na sera iliyobainishwa ya upataji, uhifadhi na uboreshaji wa faili ya robots inayohusika. Kubadilisha mistari michache ya Disallow kuwa vizuizi tuli vya anwani si itifaki kamili.
Kwa HTTPS kupitia CONNECT ya kawaida, proksi ya mbele huona marudio ya handaki, si njia ya kila ukurasa uliosimbwa wala User-Agent ya ndani. Inakosa taarifa zinazohitajika kwa maamuzi ya robots katika ngazi ya njia, isipokuwa mpango mwingine wa makusudi uzitoe.
Kubadilisha anwani ya kutoka pia hakufanyi njia iliyokatazwa kuwa inayoruhusiwa. Ratibu kasi kati ya wafanyakazi wanaoshiriki shughuli ya crawler; kuzungusha njia si mbadala wa sera hiyo.
Mwishowe, kanuni za robots si idhini ya ufikiaji. Njia inayoruhusiwa haipiti uthibitishaji au mahitaji mengine ya ufikiaji ya tovuti, na faili ya robots ya umma hailindi maudhui ya faragha.