Kada deljeni proxy keš pomaže crawleru
Procenite ponavljajuće resurse, svežinu i stvarne crawlerove zahteve pre nego što očekujete da će deljeni forward-proxy keš poboljšati propusnost.
Pretpostavimo da nekoliko radnika u pregledaču otvara različite stranice istog sajta. Te stranice upućuju na isti stilski list, logo i skriptni paket. Deljeni forward keš može prvo preuzimanje učiniti korisnim kasnijim radnicima kada se odgovori mogu ponovo koristiti.
Sada promenite opterećenje: svaki radnik preuzima samo jedan HTML dokument i nikada ne učitava povezane resurse. Zajednički stilski list još postoji u oznakama, ali ga nijedan radnik ne traži. On ne doprinosi stopi pogodaka keša proksija.
Počnite sa zahtevima koje vaš crawler zaista šalje
Pregledač koji prikazuje stranicu i HTTP klijent koji dovlači njen izvor stvaraju različite skupove zahteva. Pregledajte te skupove pre nego što odaberete dizajn keširanja.
| Opterećenje | Potencijal deljenog ponovnog korišćenja |
|---|---|
| Radnici više puta dovlače iste javne resurse | Korisno kada pravila svežine i keš-ključa to dozvoljavaju |
| Svaki zahtev ima jedinstveni URL ili varijantu odgovora | Malo preklapanja za ponovno korišćenje |
| Odgovor treba ponovnu proveru pre ponovnog korišćenja | Može uštedeti bajtove odgovora, ali još uvek zahteva odlazak prema izvoru |
| Radnici već zadovoljavaju zahteve iz sopstvenog lokalnog keša | Ti zahtevi možda nikada ne stignu do deljenog proksija |
Sama jednakost URL-a nije dovoljna. Politika svežine odgovora i polja navedena u Vary mogu razlikovati prikaze. Privatan, nepohranjiv ili autentifikovan sadržaj zahteva primenljiva pravila deljenog keša; ne sme se prisilno svesti na jedan javni rezultat samo da bi se povećao broj pogodaka.
Za običan HTTPS CONNECT saobraćaj forward proksi nosi šifrovani tunel i nema HTTP objekata unutra za keširanje. Postavka sa TLS inspekcijom ima drugačije ponašanje poverenja i obrade. Uključite stvarni režim kada procenjujete da li je keširanje objekata dostupno.
Pogodak u kešu može izbeći odlazak prema izvoru, dok promašaj ipak plaća rad posrednika. Uporedite završene korisne bajtove, saobraćaj prema izvoru i latenciju za predviđeno opterećenje. Broj niti opisuje paralelnost; ne opisuje koliko ponovo iskoristivog sadržaja te niti dele.