Wakati akiba ya proksi inayoshirikiwa inasaidia crawler
Tathmini rasilimali zinazorudiwa, ubichi na maombi halisi ya crawler kabla ya kutarajia akiba ya forward-proxy inayoshirikiwa kuongeza upitishaji.
Tuseme wafanyakazi kadhaa katika kivinjari hufungua kurasa tofauti za tovuti moja. Kurasa hizo hurejelea laha la mitindo, nembo na kifurushi cha skripti kimoja. Akiba ya forward inayoshirikiwa inaweza kufanya ombi la kwanza kuwa na manufaa kwa wafanyakazi wa baadaye wakati majibu yanaweza kutumika tena.
Sasa badilisha mzigo wa kazi: kila mfanyakazi hupakua hati moja ya HTML tu na hupakii rasilimali zilizounganishwa kamwe. Laha la mitindo la pamoja bado liko kwenye markup, lakini hakuna mfanyakazi anayeomba. Haichangii chochote kwa kiwango cha hits cha akiba ya proksi.
Anza na maombi ambayo crawler yako hufanya kwa kweli
Kivinjari kinachochora ukurasa na mteja wa HTTP anayechukua chanzo chake huunda seti tofauti za maombi. Chunguza seti hizo kabla ya kuchagua muundo wa akiba.
| Mzigo wa kazi | Uwezekano wa matumizi tena ya pamoja |
|---|---|
| Wafanyakazi huchukua mali za umma zilezile mara kwa mara | Inafaa wakati kanuni za ubichi na ufunguo wa akiba zinaruhusu |
| Kila ombi lina URL ya kipekee au aina ya jibu | Mwingiliano mdogo wa kutumia tena |
| Jibu linahitaji uthibitishaji upya kabla ya kutumika tena | Inaweza kuokoa baiti za jibu lakini bado inahitaji safari kwenda juu |
| Wafanyakazi tayari hutimiza maombi kutoka akiba yao ya ndani | Maombi hayo huenda yasifike kamwe kwenye proksi inayoshirikiwa |
Usawa wa URL peke yake hautoshi. Sera ya ubichi wa jibu na sehemu zinazotajwa na Vary zinaweza kutofautisha uwakilishi. Maudhui ya faragha, yasiyoweza kuhifadhiwa au yaliyothibitishwa yanahitaji kanuni husika za akiba inayoshirikiwa; hayapaswi kulazimishwa kuwa matokeo moja ya umma ili tu kuongeza idadi ya hits.
Kwa trafiki ya kawaida ya HTTPS CONNECT, proksi ya mbele hubeba handaki iliyosimbwa na haina vitu vya HTTP ndani ya kuhifadhi. Usambazaji wenye ukaguzi wa TLS una tabia tofauti ya uaminifu na uchakataji. Jumuisha hali halisi unapotathmini kama uhifadhi wa vitu unapatikana.
Hit ya akiba inaweza kuepuka upataji wa juu, wakati miss bado inalipa kazi ya mpatanishi. Linganisha baiti muhimu zilizokamilika, trafiki ya juu na ucheleweshaji kwa mzigo wa kazi uliokusudiwa. Idadi ya nyuzi hueleza usambamba; haielezi ni maudhui gani yanayoweza kutumika tena ambayo nyuzi hizo hushiriki.