Kailan nakakatulong ang shared proxy cache sa isang crawler
Tayahin ang paulit-ulit na mapagkukunan, kasariwaan at aktwal na mga hiling ng crawler bago umasa na mapapabuti ng shared forward-proxy cache ang throughput.
Ipagpalagay na maraming manggagawa sa browser ang nagbubukas ng iba't ibang pahina ng isang site. Ang mga pahinang iyon ay tumutukoy sa parehong stylesheet, logo at script bundle. Maaaring gawing kapaki-pakinabang ng shared forward cache ang unang pagkuha para sa mga susunod na manggagawa kapag nagagamit muli ang mga tugon.
Ngayon palitan ang karga ng trabaho: bawat manggagawa ay nag-download lamang ng isang HTML na dokumento at hindi kailanman naglo-load ng mga naka-link na mapagkukunan. Ang karaniwang stylesheet ay nasa markup pa rin, ngunit walang manggagawang humihiling nito. Wala itong idinadagdag sa rate ng hit ng cache ng proxy.
Magsimula sa mga hiling na aktwal na ginagawa ng iyong crawler
Ang browser na nagre-render ng pahina at ang HTTP client na kumukuha ng source nito ay gumagawa ng magkaibang set ng hiling. Suriin ang mga set na iyon bago pumili ng disenyo ng cache.
| Karga ng trabaho | Potensyal para sa shared na muling paggamit |
|---|---|
| Paulit-ulit na kinukuha ng mga manggagawa ang parehong pampublikong asset | Kapaki-pakinabang kapag pinapayagan ng mga tuntunin ng kasariwaan at cache key |
| Bawat hiling ay may natatanging URL o variant ng tugon | Kakaunting overlap na magagamit muli |
| Kailangan ng muling pagpapatunay ang tugon bago muling gamitin | Maaaring makatipid ng mga byte ng tugon ngunit kailangan pa rin ng paglalakbay pataas |
| Ang mga manggagawa ay nagbibigay na ng hiling mula sa sariling lokal na cache | Maaaring hindi kailanman makarating ang mga hiling na iyon sa shared proxy |
Hindi sapat ang pagkakapareho ng URL lamang. Ang patakaran sa kasariwaan ng tugon at ang mga field na pinangalanan ng Vary ay maaaring magkaiba ng representasyon. Ang pribado, hindi naitatago o authenticated na nilalaman ay nangangailangan ng naaangkop na mga tuntunin ng shared cache; hindi ito dapat ipilit sa isang pampublikong resulta para lamang taasan ang bilang ng hit.
Para sa ordinaryong trapiko ng HTTPS CONNECT, ang forward proxy ay nagdadala ng naka-encrypt na tunnel at walang mga HTTP object sa loob na maiimbak. Ang deployment na may TLS inspection ay may ibang pag-uugali sa pagtitiwala at pagproseso. Isama ang aktwal na mode kapag tinatasa kung may object caching.
Ang hit ng cache ay makakaiwas sa pagkuha pataas, habang ang miss ay nagbabayad pa rin sa trabaho ng tagapamagitan. Ihambing ang natapos na kapaki-pakinabang na byte, trapiko pataas at latency para sa inilaang karga ng trabaho. Inilalarawan ng bilang ng thread ang sabayang pagganap; hindi nito inilalarawan kung gaano karaming magagamit muli na nilalaman ang ibinabahagi ng mga thread na iyon.