Kiedy wspólny cache proxy pomaga crawlerowi
Oceń powtarzające się zasoby, świeżość i rzeczywiste żądania crawlera, zanim zaczniesz oczekiwać, że wspólny cache forward-proxy poprawi przepustowość.
Załóżmy, że kilku pracowników w przeglądarce otwiera różne strony jednego serwisu. Strony te odwołują się do tego samego arkusza stylów, logo i pakietu skryptów. Wspólny cache forward może sprawić, że pierwsze pobranie będzie użyteczne dla późniejszych pracowników, gdy odpowiedzi można ponownie wykorzystać.
Teraz zmień obciążenie: każdy pracownik pobiera tylko jeden dokument HTML i nigdy nie wczytuje powiązanych zasobów. Wspólny arkusz stylów nadal jest w znacznikach, ale żaden pracownik go nie żąda. Nie wnosi nic do współczynnika trafień cache proxy.
Zacznij od żądań, które crawler rzeczywiście wysyła
Przeglądarka renderująca stronę i klient HTTP pobierający jej źródło tworzą różne zbiory żądań. Zbadaj te zbiory, zanim wybierzesz projekt cache.
| Obciążenie | Potencjał wspólnego ponownego użycia |
|---|---|
| Pracownicy wielokrotnie pobierają te same publiczne zasoby | Przydatne, gdy pozwalają na to reguły świeżości i klucza cache |
| Każde żądanie ma unikalny URL lub wariant odpowiedzi | Niewiele nakładania się do ponownego użycia |
| Odpowiedź wymaga ponownej walidacji przed użyciem | Może oszczędzić bajty odpowiedzi, ale nadal wymaga podróży w górę |
| Pracownicy zaspokajają żądania z własnego lokalnego cache | Te żądania mogą nigdy nie dotrzeć do wspólnego proxy |
Sama równość URL nie wystarcza. Polityka świeżości odpowiedzi i pola nazwane przez Vary mogą rozróżniać reprezentacje. Prywatna, niezapisywalna lub uwierzytelniona treść wymaga odpowiednich reguł wspólnego cache; nie należy jej wtłaczać w jeden publiczny wynik tylko po to, by podnieść liczbę trafień.
W zwykłym ruchu HTTPS CONNECT proxy forward przenosi zaszyfrowany tunel i nie ma w nim obiektów HTTP do cachowania. Wdrożenie z inspekcją TLS ma inne zachowanie zaufania i przetwarzania. Uwzględnij rzeczywisty tryb, oceniając dostępność cachowania obiektów.
Trafienie w cache może uniknąć pobrania z góry, a chybienie nadal płaci za pracę pośrednika. Porównaj ukończone użyteczne bajty, ruch w górę i opóźnienie dla zamierzonego obciążenia. Liczba wątków opisuje współbieżność; nie opisuje, ile treści nadającej się do ponownego użycia dzielą te wątki.