Kapan cache proxy bersama membantu crawler
Nilai sumber daya yang berulang, kesegaran, dan permintaan crawler yang sebenarnya sebelum mengharapkan cache forward-proxy bersama meningkatkan throughput.
Misalkan beberapa pekerja berbasis peramban membuka halaman berbeda dari satu situs. Halaman-halaman itu merujuk lembar gaya, logo, dan bundel skrip yang sama. Cache forward bersama dapat membuat pengambilan pertama berguna bagi pekerja berikutnya ketika respons dapat dipakai ulang.
Sekarang ubah beban kerja: setiap pekerja hanya mengunduh satu dokumen HTML dan tidak pernah memuat sumber daya yang tertaut. Lembar gaya bersama tetap ada di markup, tetapi tidak ada pekerja yang memintanya. Itu tidak menambah apa pun pada rasio hit cache proxy.
Mulailah dari permintaan yang benar-benar dilakukan crawler Anda
Peramban yang merender halaman dan klien HTTP yang mengambil sumbernya menciptakan kumpulan permintaan yang berbeda. Periksa kumpulan itu sebelum memilih rancangan cache.
| Beban kerja | Potensi penggunaan ulang bersama |
|---|---|
| Pekerja berulang kali mengambil aset publik yang sama | Berguna bila aturan kesegaran dan kunci cache mengizinkannya |
| Setiap permintaan memiliki URL atau varian respons unik | Sedikit tumpang tindih untuk dipakai ulang |
| Respons perlu divalidasi ulang sebelum dipakai ulang | Dapat menghemat bita respons tetapi masih memerlukan perjalanan ke hulu |
| Pekerja sudah memenuhi permintaan dari cache lokalnya sendiri | Permintaan itu mungkin tidak pernah mencapai proxy bersama |
Kesamaan URL saja tidak cukup. Kebijakan kesegaran respons dan bidang yang dinamai Vary dapat membedakan representasi. Konten privat, tidak dapat disimpan, atau terautentikasi memerlukan aturan cache bersama yang berlaku; konten itu tidak boleh dipaksa menjadi satu hasil publik hanya untuk menaikkan jumlah hit.
Untuk lalu lintas HTTPS CONNECT biasa, proxy forward membawa terowongan terenkripsi dan tidak memiliki objek HTTP di dalamnya untuk di-cache. Penerapan dengan inspeksi TLS memiliki perilaku kepercayaan dan pemrosesan yang berbeda. Sertakan mode sebenarnya saat menilai apakah cache objek tersedia.
Hit cache dapat menghindari pengambilan ke hulu, sedangkan miss tetap membayar kerja perantara. Bandingkan bita berguna yang selesai, lalu lintas ke hulu, dan latensi untuk beban kerja yang dimaksud. Jumlah utas menggambarkan konkurensi; itu tidak menggambarkan berapa banyak konten yang dapat dipakai ulang yang dibagi oleh utas tersebut.