Når ein delt proxy-cache hjelper ein crawlar
Vurder gjentatte ressursar, ferskleik og dei faktiske hentingane til crawlaren før du ventar at ein delt forward-proxy-cache betrar gjennomstrøyminga.
Anta at fleire arbeidarar i ein nettlesar opnar ulike sider frå ein nettstad. Sidene viser til same stilark, logo og skriptpakke. Ein delt forward-cache kan gjere den første hentinga nyttig for seinare arbeidarar når svara kan brukast om att.
Endre no arbeidslasta: kvar arbeidar lastar ned berre eitt HTML-dokument og lastar aldri dei lenkja ressursane. Det felles stilarket finst framleis i markeringa, men ingen arbeidar ber om det. Det bidreg ikkje til cachetreffraten til proxien.
Start med førespurnadene crawlaren din faktisk sender
Ein nettlesar som teiknar ei side, og ein HTTP-klient som hentar kjelda, lagar ulike førespurnadssett. Gransk desse setta før du vel ein cachedesign.
| Arbeidslast | Potensial for delt gjenbruk |
|---|---|
| Arbeidarar hentar dei same offentlege ressursane om att og om att | Nyttig når reglar for ferskleik og cachenøkkel tillèt det |
| Kvar førespurnad har ein unik URL eller svarvariant | Lite overlapping å gjenbruke |
| Eit svar må validerast på nytt før gjenbruk | Kan spare svarbyte, men krev framleis ein tur oppstraums |
| Arbeidarar dekker allereie førespurnader frå eigen lokal cache | Desse førespurnadene når kanskje aldri den delte proxien |
URL-likskap aleine er ikkje nok. Ferskleikspolitikken til svaret og felt namngjevne av Vary kan skilje representasjonar. Privat, ikkje-lagrbart eller autentisert innhald treng dei gjeldande reglane for delt cache; det bør ikkje tvingast inn i eitt offentleg resultat berre for å auke trefftalet.
For vanleg HTTPS CONNECT-trafikk fører forward-proxien ein kryptert tunnel og har ingen HTTP-objekt inni å cache. Ei utrulling med TLS-inspeksjon har annan tillits- og handsamingsoppførsel. Ta med den faktiske modusen når du vurderer om objektcaching er tilgjengeleg.
Eit cachetreff kan unngå ei henting oppstraums, medan ein bom framleis betalar for arbeidet til mellomleddet. Samanlikn fullførte nyttige byte, oppstraumstrafikk og latenstid for den tiltenkte lasta. Talet på trådar skildrar samtid; det skildrar ikkje kor mykje gjenbrukbart innhald desse trådane deler.