Bila cache proksi dikongsi membantu crawler
Nilai sumber berulang, kesegaran dan permintaan crawler sebenar sebelum mengharapkan cache forward-proksi dikongsi meningkatkan daya pemprosesan.
Katakan beberapa pekerja dalam pelayar membuka halaman berbeza daripada satu tapak. Halaman itu merujuk helaian gaya, logo dan bundel skrip yang sama. Cache forward dikongsi boleh menjadikan pengambilan pertama berguna kepada pekerja kemudian apabila respons boleh digunakan semula.
Kini ubah beban kerja: setiap pekerja memuat turun hanya satu dokumen HTML dan tidak pernah memuatkan sumber yang dipautkan. Helaian gaya biasa masih ada dalam penanda, tetapi tiada pekerja memintanya. Ia tidak menyumbang apa-apa kepada kadar hit cache proksi.
Mulakan dengan permintaan yang crawler anda benar-benar buat
Pelayar yang memaparkan halaman dan klien HTTP yang mengambil sumbernya mencipta set permintaan berbeza. Periksa set itu sebelum memilih reka bentuk cache.
| Beban kerja | Potensi penggunaan semula dikongsi |
|---|---|
| Pekerja berulang kali mengambil aset awam yang sama | Berguna apabila peraturan kesegaran dan kunci cache membenarkan |
| Setiap permintaan mempunyai URL atau varian respons unik | Sedikit pertindihan untuk digunakan semula |
| Respons perlu disahkan semula sebelum digunakan semula | Boleh menjimatkan bait respons tetapi masih memerlukan perjalanan ke hulu |
| Pekerja sudah memenuhi permintaan daripada cache tempatan sendiri | Permintaan itu mungkin tidak pernah sampai ke proksi dikongsi |
Persamaan URL sahaja tidak mencukupi. Dasar kesegaran respons dan medan yang dinamakan oleh Vary boleh membezakan perwakilan. Kandungan peribadi, tidak boleh disimpan atau disahkan memerlukan peraturan cache dikongsi yang berkenaan; ia tidak boleh dipaksa menjadi satu hasil awam semata-mata untuk menaikkan kiraan hit.
Untuk trafik HTTPS CONNECT biasa, proksi forward membawa terowong disulitkan dan tiada objek HTTP di dalamnya untuk dicache. Penggunaan dengan pemeriksaan TLS mempunyai tingkah laku kepercayaan dan pemprosesan berbeza. Sertakan mod sebenar semasa menilai sama ada cache objek tersedia.
Hit cache boleh mengelakkan pengambilan ke hulu, manakala miss masih membayar kerja perantara. Bandingkan bait berguna yang selesai, trafik ke hulu dan kependaman untuk beban kerja yang dimaksudkan. Bilangan utas menerangkan keselarian; ia tidak menerangkan berapa banyak kandungan boleh guna semula yang dikongsi oleh utas itu.