Wannear't in dielde proxy-cache in crawler helpt
Bewertsje weromkommende boarnen, frisheid en de werklike oanfragen fan de crawler foardatsto fan in dielde forward-proxy-cache hegere trochfier ferwachtet.
Stel, ferskate workers yn in browser iepenje ferskate siden fan ien side. Dy siden ferwize nei deselde stylblêd, logo en scriptpakket. In dielde forward-cache kin de earste oanfraach nuttich meitsje foar lettere workers as de antwurden werbrûkber binne.
Feroarje no de wurklêst: elke worker downloadet mar ien HTML-dokumint en ladenet nea de keppele boarnen. It mienskiplike stylblêd is noch yn 'e opmaak, mar gjin inkele worker freget it op. It draacht neat by oan 'e cache-treffers fan 'e proxy.
Begjin mei de oanfragen dy't jo crawler echt docht
In browser dy't in side werjaan lit en in HTTP-klant dy't de boarne ophellet, meitsje ferskate oanfragensets. Undersykje dy sets foardat jo in cache-ûntwerp kieze.
| Wurklêst | Potinsjeel foar dield werbrûk |
|---|---|
| Workers helje hieltyd deselde iepenbiere boarnen op | Nuttich as frisheids- en cache-kaaierregels it tastean |
| Elke oanfraach hat in unike URL of antwurfariant | Min oerlap om wer te brûken |
| In antwurd moat foar werbrûk opnij falidearre wurde | Kin antwurdbytes sparje, mar freget noch altyd in reis nei boppen |
| Workers foldogge oanfragen al út har eigen lokale cache | Dy oanfragen berikke de dielde proxy miskien nea |
Allinnich URL-gelikens is net genôch. It frisheidsbelied fan it antwurd en fjilden neamd troch Vary kinne foarstellings ûnderskiede. Privee, net-opslachber of autentisearre ynhâld freget de jildende regels foar dielde cache; it moat net yn ien publyk resultaat twongen wurde om mar it treffertal te ferheegjen.
Foar gewoan HTTPS CONNECT-ferkear draacht de forward-proxy in fersifere tunnel en hat der gjin HTTP-objekten yn om te cachen. In útrulling mei TLS-ynspeksje hat oar fertrouwens- en ferwurkingsgedrach. Nim de werklike modus op as jo bepale oft objektcaching beskikber is.
In cache-treffer kin in heljen fan boppen foarkomme, wylst in miss noch altyd it wurk fan 'e tuskenpartij betellet. Ferlykje foltôge nuttige bytes, ferkear nei boppen en fertraging foar de bedoelde wurklêst. It oantal triedden beskriuwt tagelykheid; it beskriuwt net hoefolle werbrûkbere ynhâld dy triedden diele.