Paylaşılan proxy önbelleği bir crawler'a ne zaman yardımcı olur
Paylaşılan bir forward-proxy önbelleğinden daha yüksek aktarım bekleyecekseniz önce yinelenen kaynakları, tazeliği ve crawler'ın gerçek isteklerini değerlendirin.
Bir sitedeki farklı sayfaları tarayıcıdaki birkaç çalışanın açtığını varsayalım. Bu sayfalar aynı stil sayfasına, logoya ve betik paketine başvurur. Paylaşılan bir forward önbelleği, yanıtlar yeniden kullanılabilir olduğunda ilk isteği sonraki çalışanlar için yararlı hale getirebilir.
Şimdi iş yükünü değiştirin: her çalışan yalnızca bir HTML belgesi indirir ve bağlantılı kaynaklarını asla yüklemez. Ortak stil sayfası biçimlendirmede hâlâ vardır ama hiçbir çalışan onu istemez. Proxy'nin önbellek isabet oranına hiçbir şey katmaz.
Crawler'ınızın gerçekten yaptığı isteklerle başlayın
Bir sayfayı işleyen tarayıcı ile kaynağını çeken HTTP istemcisi farklı istek kümeleri oluşturur. Bir önbellek tasarımı seçmeden önce bu kümeleri inceleyin.
| İş yükü | Paylaşılan yeniden kullanım potansiyeli |
|---|---|
| Çalışanlar aynı genel varlıkları tekrar tekrar çeker | Tazelik ve önbellek anahtarı kuralları izin verdiğinde yararlıdır |
| Her isteğin benzersiz bir URL'si veya yanıt varyantı vardır | Yeniden kullanılacak az örtüşme |
| Yanıtın yeniden kullanımdan önce yeniden doğrulanması gerekir | Yanıt baytlarından tasarruf edebilir ama yine de yukarı akıma bir yolculuk gerekir |
| Çalışanlar istekleri zaten kendi yerel önbelleklerinden karşılıyor | Bu istekler paylaşılan proxy'ye hiç ulaşmayabilir |
Tek başına URL eşitliği yeterli değildir. Yanıtın tazelik ilkesi ve Vary tarafından adlandırılan alanlar gösterimleri ayırabilir. Özel, saklanamayan veya kimliği doğrulanmış içerik için geçerli paylaşılan önbellek kuralları gerekir; isabet sayısını artırmak için tek bir genel sonuca zorlanmamalıdır.
Olağan HTTPS CONNECT trafiğinde forward proxy şifreli bir tünel taşır ve içinde önbelleğe alınacak HTTP nesnesi yoktur. TLS denetimli bir kurulum farklı güven ve işleme davranışına sahiptir. Nesne önbelleğinin kullanılabilir olup olmadığını değerlendirirken gerçek modu dahil edin.
Bir önbellek isabeti yukarı akımdan çekmeyi önleyebilir, ıskalama ise aracının işini yine öder. Amaçlanan iş yükü için tamamlanan yararlı baytları, yukarı akım trafiğini ve gecikmeyi karşılaştırın. İş parçacığı sayısı eşzamanlılığı tanımlar; bu iş parçacıklarının ne kadar yeniden kullanılabilir içerik paylaştığını tanımlamaz.