Kdy sdílená proxy cache pomůže crawleru
Než budete od sdílené forward-proxy cache očekávat vyšší propustnost, prověřte opakované zdroje, čerstvost a skutečné požadavky crawleru.
Předpokládejme, že několik pracovníků v prohlížeči otevírá různé stránky jednoho webu. Tyto stránky odkazují na stejný styl, logo a balík skriptů. Sdílená forward cache může první načtení zpřístupnit dalším pracovníkům, pokud lze odpovědi znovu použít.
Nyní změňte zátěž: každý pracovník stahuje jen jeden HTML dokument a nikdy nenačítá navázané zdroje. Společný styl je stále ve značkách, ale žádný pracovník ho nevyžádá. Ke míře zásahů cache proxy nepřispívá ničím.
Začněte požadavky, které váš crawler skutečně posílá
Prohlížeč vykreslující stránku a HTTP klient stahující její zdroj vytvářejí různé sady požadavků. Tyto sady prozkoumejte, než zvolíte návrh cachování.
| Zátěž | Potenciál sdíleného opětovného použití |
|---|---|
| Pracovníci opakovaně stahují stejné veřejné zdroje | Užitečné, pokud to pravidla čerstvosti a klíče cache dovolí |
| Každý požadavek má jedinečnou URL nebo variantu odpovědi | Málo překryvu k opětovnému použití |
| Odpověď vyžaduje před opětovným použitím revalidaci | Může ušetřit bajty odpovědi, ale stále potřebuje cestu k upstreamu |
| Pracovníci už požadavky uspokojují z vlastní místní cache | Tyto požadavky se ke sdílené proxy nemusejí vůbec dostat |
Pouhá shoda URL nestačí. Zásady čerstvosti odpovědi a pole uvedená v Vary mohou reprezentace odlišit. Soukromý, neukládatelný nebo autentizovaný obsah potřebuje platná pravidla sdílené cache; nesmí být nucen do jediného veřejného výsledku jen proto, aby se zvýšil počet zásahů.
U běžného provozu HTTPS CONNECT přenáší forward proxy šifrovaný tunel a nemá uvnitř žádné HTTP objekty k cachování. Nasazení s TLS inspekcí má jiné chování důvěry a zpracování. Při posuzování dostupnosti cachování objektů zahrňte skutečný režim.
Zásah do cache může ušetřit cestu k upstreamu, kdežto minutí stále platí práci prostředníka. Porovnejte dokončené užitečné bajty, provoz k upstreamu a latenci pro zamýšlenou zátěž. Počet vláken popisuje souběžnost; nepopisuje, kolik znovupoužitelného obsahu tato vlákna sdílejí.