Kada dijeljeni proxy keš pomaže crawleru
Procijenite ponavljajuće resurse, svježinu i stvarne crawlerove zahtjeve prije nego što očekujete da će dijeljeni forward-proxy keš poboljšati propusnost.
Pretpostavimo da nekoliko radnika u pregledniku otvara različite stranice jednog sajta. Te stranice upućuju na isti stilski list, logo i skriptni paket. Dijeljeni forward keš može prvo preuzimanje učiniti korisnim kasnijim radnicima kada se odgovori mogu ponovno koristiti.
Sada promijenite opterećenje: svaki radnik preuzima samo jedan HTML dokument i nikada ne učitava povezane resurse. Zajednički stilski list još postoji u oznakama, ali ga nijedan radnik ne traži. On ne doprinosi stopi pogodaka keša proksija.
Počnite sa zahtjevima koje vaš crawler zaista šalje
Preglednik koji prikazuje stranicu i HTTP klijent koji dovlači njen izvor stvaraju različite skupove zahtjeva. Pregledajte te skupove prije nego što odaberete dizajn keširanja.
| Opterećenje | Potencijal za dijeljeno ponovno korištenje |
|---|---|
| Radnici više puta dovlače iste javne resurse | Korisno kada pravila svježine i keš-ključa to dopuštaju |
| Svaki zahtjev ima jedinstveni URL ili varijantu odgovora | Malo preklapanja za ponovno korištenje |
| Odgovor treba ponovnu provjeru prije ponovnog korištenja | Može uštedjeti bajtove odgovora, ali još uvijek zahtijeva odlazak prema izvoru |
| Radnici već zadovoljavaju zahtjeve iz vlastitog lokalnog keša | Ti zahtjevi možda nikada ne stignu do dijeljenog proksija |
Sama jednakost URL-a nije dovoljna. Politika svježine odgovora i polja navedena u Vary mogu razlikovati prikaze. Privatan, nepohranjiv ili autentificiran sadržaj zahtijeva primjenjiva pravila dijeljenog keša; ne smije se prisilno svesti na jedan javni rezultat samo da bi se povećao broj pogodaka.
Za običan HTTPS CONNECT saobraćaj forward proksi nosi šifrirani tunel i nema HTTP objekata unutra za keširanje. Postavka s TLS inspekcijom ima drugačije ponašanje povjerenja i obrade. Uključite stvarni način rada kada procjenjujete je li keširanje objekata dostupno.
Pogodak u kešu može izbjeći odlazak prema izvoru, dok promašaj ipak plaća rad posrednika. Uporedite završene korisne bajtove, saobraćaj prema izvoru i latenciju za predviđeno opterećenje. Broj niti opisuje paralelnost; ne opisuje koliko ponovno iskoristivog sadržaja te niti dijele.