Kur një cache proxy e përbashkët ndihmon një crawler
Vlerësoni burimet e përsëritura, freskinë dhe kërkesat reale të crawler-it përpara se të prisni që një cache forward-proxy e përbashkët të përmirësojë xhiron.
Supozoni se disa punëtorë në një shfletues hapin faqe të ndryshme të një siti. Ato faqe referojnë të njëjtën fletë stili, logo dhe paketë skriptesh. Një cache forward e përbashkët mund ta bëjë kërkesën e parë të dobishme për punëtorët e mëvonshëm kur përgjigjet mund të ripërdoren.
Tani ndryshoni ngarkesën: secili punëtor shkarkon vetëm një dokument HTML dhe nuk ngarkon kurrë burimet e lidhura. Fleta e stilit e përbashkët është ende në markup, por asnjë punëtor nuk e kërkon. Ajo nuk kontribuon asgjë në shkallën e goditjeve të cache-it të proxy-t.
Filloni me kërkesat që crawler-i juaj bën në të vërtetë
Një shfletues që vizaton një faqe dhe një klient HTTP që marr burimin e saj krijojnë grupe kërkesash të ndryshme. Shqyrtoni ato grupe përpara se të zgjidhni një dizajn cache.
| Ngarkesa | Potenciali për ripërdorim të përbashkët |
|---|---|
| Punëtorët marrin vazhdimisht të njëjtat asete publike | I dobishëm kur rregullat e freskisë dhe të çelësit të cache-it e lejojnë |
| Çdo kërkesë ka një URL ose variant përgjigjeje unik | Pak mbivendosje për t'u ripërdorur |
| Një përgjigje kërkon rivlerësim përpara ripërdorimit | Mund të kursejë bajt përgjigjeje por ende kërkon një udhëtim nga lart |
| Punëtorët tashmë plotësojnë kërkesa nga cache-i i tyre lokal | Ato kërkesa mund të mos arrijnë kurrë në proxy-n e përbashkët |
Barazia e URL-së vetëm nuk mjafton. Politika e freskisë së përgjigjes dhe fushat e emërtuara nga Vary mund të dallojnë paraqitjet. Përmbajtja private, e pa ruajtshme ose e vërtetuar kërkon rregullat e zbatueshme të cache-it të përbashkët; nuk duhet të detyrohet në një rezultat të vetëm publik vetëm për të rritur numrin e goditjeve.
Për trafikun e zakonshëm HTTPS CONNECT, proxy forward mbart një tunel të kriptuar dhe nuk ka objekte HTTP brenda për t'u ruajtur. Një vendosje me inspektim TLS ka sjellje tjetër besimi dhe përpunimi. Përfshini modalitetin aktual kur vlerësoni nëse ruajtja e objekteve është e disponueshme.
Një goditje e cache-it mund të shmangë një marrje nga lart, ndërsa një humbje paguan ende punën e ndërmjetësit. Krahasoni bajt e dobishëm të përfunduar, trafikun nga lart dhe vonesën për ngarkesën e synuar. Numri i fijeve përshkruan njëkohësinë; nuk përshkruan sa përmbajtje e ripërdorshme ndajnë ato fije.