Kada bendra proxy talpykla padeda crawler
Įvertinkite pasikartojančius išteklius, šviežumą ir faktines crawler užklausas prieš tikėdamiesi, kad bendra forward-proxy talpykla padidins pralaidumą.
Tarkime, keli darbininkai naršyklėje atidaro skirtingus tos pačios svetainės puslapius. Tie puslapiai nurodo tą patį stilių lapą, logotipą ir scenarijų paketą. Bendra forward talpykla gali padaryti pirmąjį užkrovimą naudingą vėlesniems darbininkams, kai atsakymus galima naudoti pakartotinai.
Dabar pakeiskite darbo krūvį: kiekvienas darbininkas atsisiunčia tik vieną HTML dokumentą ir niekada neįkelia su juo susietų išteklių. Bendras stilių lapas vis dar yra žymėjime, bet nė vienas darbininkas jo neprašo. Jis nieko neprideda prie proxy talpyklos pataikymų rodiklio.
Pradėkite nuo užklausų, kurias jūsų crawler iš tikrųjų siunčia
Puslapį atvaizduojanti naršyklė ir jo šaltinį atsisiunčiantis HTTP klientas sukuria skirtingus užklausų rinkinius. Išnagrinėkite tuos rinkinius prieš rinkdamiesi talpyklos dizainą.
| Darbo krūvis | Bendro pakartotinio naudojimo potencialas |
|---|---|
| Darbininkai pakartotinai gauna tuos pačius viešus išteklius | Naudinga, kai tai leidžia šviežumo ir talpyklos rakto taisyklės |
| Kiekviena užklausa turi unikalų URL arba atsakymo variantą | Mažai persidengimo pakartotiniam naudojimui |
| Atsakymą prieš pakartotinį naudojimą reikia iš naujo patvirtinti | Gali sutaupyti atsakymo baitų, bet vis tiek reikia kelionės į viršų |
| Darbininkai užklausas jau tenkina iš savo vietinės talpyklos | Šios užklausos gali niekada nepasiekti bendro proxy |
Vien URL lygybės neužtenka. Atsakymo šviežumo politika ir Vary įvardyti laukai gali atskirti pateiktis. Privatus, nesaugomas ar autentifikuotas turinys reikalauja taikomų bendros talpyklos taisyklių; jo negalima priverstinai suvesti į vieną viešą rezultatą vien tam, kad padidėtų pataikymų skaičius.
Įprastam HTTPS CONNECT srautui forward proxy perduoda užšifruotą tunelį ir neturi viduje jokių HTTP objektų, kuriuos būtų galima saugoti talpykloje. Diegimas su TLS patikra turi kitokį pasitikėjimo ir apdorojimo elgesį. Vertindami objektų talpyklos prieinamumą, įtraukite faktinį režimą.
Talpyklos pataikymas gali išvengti užklausos į viršų, o nepataikymas vis tiek apmoka tarpininko darbą. Palyginkite užbaigtus naudingus baitus, srautą į viršų ir delsą numatytam darbo krūviui. Gijų skaičius apibūdina lygiagretumą; jis neapibūdina, kiek pakartotinai naudojamo turinio tos gijos dalijasi.