Kedy zdieľaná proxy cache pomáha crawleru
Predtým, ako budete od zdieľanej forward-proxy cache očakávať vyššiu priepustnosť, zhodnoťte opakované zdroje, čerstvosť a skutočné požiadavky crawlera.
Predpokladajme, že niekoľko pracovníkov v prehliadači otvára rôzne stránky jednej lokality. Tieto stránky odkazujú na rovnaký štýl, logo a balík skriptov. Zdieľaná forward cache môže prvé načítanie sprístupniť ďalším pracovníkom, ak sa odpovede dajú znova použiť.
Teraz zmeňte zaťaženie: každý pracovník stiahne len jeden HTML dokument a nikdy nenačíta prepojené zdroje. Spoločný štýl je stále v značkách, ale žiadny pracovník ho nevyžaduje. K miere zásahov cache proxy neprispieva ničím.
Začnite požiadavkami, ktoré váš crawler skutočne posiela
Prehliadač vykresľujúci stránku a HTTP klient sťahujúci jej zdroj vytvárajú rôzne množiny požiadaviek. Preskúmajte tieto množiny pred výberom návrhu cache.
| Zaťaženie | Potenciál zdieľaného opätovného použitia |
|---|---|
| Pracovníci opakovane sťahujú rovnaké verejné zdroje | Užitočné, ak to pravidlá čerstvosti a kľúča cache dovolia |
| Každá požiadavka má jedinečnú URL alebo variant odpovede | Málo prekrytia na opätovné použitie |
| Odpoveď vyžaduje pred opätovným použitím revalidáciu | Môže ušetriť bajty odpovede, ale stále vyžaduje cestu k upstreamu |
| Pracovníci už požiadavky uspokojujú z vlastnej lokálnej cache | Tieto požiadavky sa nemusia nikdy dostať k zdieľanému proxy |
Samotná zhoda URL nestačí. Politika čerstvosti odpovede a polia uvedené v Vary môžu rozlíšiť reprezentácie. Súkromný, neukladateľný alebo autentizovaný obsah potrebuje platné pravidlá zdieľanej cache; nesmie sa nútiť do jediného verejného výsledku len preto, aby sa zvýšil počet zásahov.
Pri bežnej prevádzke HTTPS CONNECT prenáša forward proxy šifrovaný tunel a nemá vnútri žiadne HTTP objekty na cachovanie. Nasadenie s TLS inšpekciou má iné správanie dôvery a spracovania. Pri posudzovaní dostupnosti cachovania objektov zahrňte skutočný režim.
Zásah do cache môže ušetriť cestu k upstreamu, kým minutie stále platí prácu sprostredkovateľa. Porovnajte dokončené užitočné bajty, prevádzku k upstreamu a latenciu pre zamýšľané zaťaženie. Počet vlákien opisuje súbežnosť; neopisuje, koľko znovupoužiteľného obsahu tieto vlákna zdieľajú.