Wéini eng gedeelte Proxy-Cache engem Crawler hëlleft
Bewäert Widderhuelungsressourcen, Fräschheet an déi tatsächlech Crawler-Ufroen, ier Dir vun enger gedeelter Forward-Proxy-Cache méi Duerchset erwaart.
Stellt Iech vir, datt verschidde Worker am Browser verschidde Säiten vun enger Websäit opmaachen. Dës Säiten referenzéieren deeselwechte Stylesheet, Logo a Skriptpak. Eng gedeelte Forward-Cache kann den éischten Uruff nëtzlech fir spéider Worker maachen, wann d'Äntwerten erëm kënnen benotzt ginn.
Ännert elo d'Aarbechtslaascht: all Worker luet just een HTML-Dokument erof a luet ni seng verlinkte Ressourcen. De gemeinsamen Stylesheet ass nach am Markup, awer kee Worker freet en un. Et bäidréit näischt zur Cache-Hitrat vum Proxy.
Fänkt mat den Ufroe un, déi Äre Crawler tatsächlech mécht
E Browser, deen eng Säit rendert, an en HTTP-Client, deen hir Quell sicht, schafen ënnerschiddlech Ufroensätz. Ënnersicht dës Sätz, ier Dir en Cache-Design wielt.
| Aarbechtslaascht | Potenzial fir gedeelt Widderbenotzung |
|---|---|
| Worker siche widderhëlt déi selwecht ëffentlech Ressourcen | Nëtzlech wann Fräschheets- a Cache-Schlësselregelen et erlaben |
| All Ufro huet eng eenzegaarteg URL oder Äntwertvariant | Wéineg Iwwerschneidung fir ze widderbenotzen |
| Eng Äntwert muss virun der Widderbenotzung nei validéiert ginn | Kann Äntwertbytes spueren, awer et brauch nach ëmmer eng Rees no uewen |
| Worker erfëllen Ufroen schonn aus hirem eegene lokale Cache | Dës Ufroe kommen méiglecherweis ni bei de gedeelte Proxy |
D'Gläichheet vun der URL eleng ass net genuch. D'Fräschheetspolitik vun der Äntwert an d'Felder, déi Vary nennt, kënnen Duerstellungen ënnerscheeden. Privaten, net späicherbaren oder authentifizéierten Inhalt brauch déi zoutreffend Reegele fir gedeelte Cache; en däerf net an een eenzegt ëffentlecht Resultat gezwonge ginn, just fir d'Hit-Zuel ze erhéijen.
Fir gewéinlechen HTTPS CONNECT-Trafic dréit de Forward-Proxy en verschlësselten Tunnel an huet keng HTTP-Objete bannen, fir ze cachen. Eng Installatioun mat TLS-Inspektioun huet anert Vertrauens- a Veraarbechtungsverhalen. Huelt de richtege Modus mat, wann Dir bewäert, ob Objektcaching verfügbar ass.
En Cache-Hit kann en Uruff no uewen vermeiden, wärend e Fehltreffer nach ëmmer d'Aarbecht vum Tëschestéck bezilt. Vergläicht ofgeschlossen nëtzlech Bytes, Trafic no uewen an Dauer fir déi virgesinn Aarbechtslaascht. D'Zuel vun den Threads beschreift d'Gläichzäitegkeet; si beschreift net, wéi vill widderbenotzbaren Inhalt dës Threads deelen.