Når en delt proxy-cache hjelper en crawler
Vurder gjentatte ressurser, ferskhet og crawlerens faktiske hentinger før du forventer at en delt forward-proxy-cache bedrer gjennomstrømningen.
Anta at flere arbeidere i en nettleser åpner ulike sider fra ett nettsted. Sidene refererer til samme stilark, logo og skriptpakke. En delt forward-cache kan gjøre den første hentingen nyttig for senere arbeidere når svarene kan gjenbrukes.
Endre nå arbeidsbelastningen: hver arbeider laster ned bare ett HTML-dokument og laster aldri de koblede ressursene. Det felles stilarket finnes fortsatt i markeringen, men ingen arbeider ber om det. Det bidrar ikke til proxyens cachetreffrate.
Start med forespørslene crawleren din faktisk sender
En nettleser som gjengir en side, og en HTTP-klient som henter kilden, lager ulike forespørselssett. Undersøk disse settene før du velger en cachedesign.
| Arbeidsbelastning | Potensial for delt gjenbruk |
|---|---|
| Arbeidere henter de samme offentlige ressursene gjentatte ganger | Nyttig når regler for ferskhet og cachenøkkel tillater det |
| Hver forespørsel har en unik URL eller svadvariant | Lite overlapp å gjenbruke |
| Et svar må revalideres før gjenbruk | Kan spare svarbytes, men krever fortsatt en tur oppstrøms |
| Arbeidere dekker allerede forespørsler fra sin egen lokale cache | Disse forespørslene når kanskje aldri den delte proxyen |
URL-likhet alene er ikke nok. Svarets ferskhetspolicy og felt navngitt av Vary kan skille representasjoner. Privat, ikke-lagringsbart eller autentisert innhold trenger de gjeldende reglene for delt cache; det bør ikke tvinges inn i ett offentlig resultat bare for å øke trefftallet.
For vanlig HTTPS CONNECT-trafikk fører forward-proxyen en kryptert tunnel og har ingen HTTP-objekter inni å cache. En utrulling med TLS-inspeksjon har annen tillits- og behandlingsoppførsel. Ta med den faktiske modusen når du vurderer om objektcaching er tilgjengelig.
Et cachetreff kan unngå en henting oppstrøms, mens en bom fortsatt betaler for mellomleddets arbeid. Sammenlign fullførte nyttige bytes, oppstrømstrafikk og latens for den tiltenkte belastningen. Antall tråder beskriver samtidighet; det beskriver ikke hvor mye gjenbrukbart innhold disse trådene deler.