Meta cache tal-proxy maqsum jgħin lil crawler
Ivvaluta riżorsi ripetuti, freskezza u talbiet reali tal-crawler qabel ma tistenna li cache forward-proxy maqsum itejjeb it-throughput.
Ejja ngħidu li diversi ħaddiema fi browser jiftħu paġni differenti minn sit wieħed. Dawk il-paġni jirreferu għall-istess stylesheet, logo u pakkett ta' scripts. Cache forward maqsum jista' jagħmel l-ewwel talba utli għall-ħaddiema ta' wara meta r-risposti jistgħu jerġgħu jintużaw.
Issa biddeb ix-xogħol: kull ħaddiem iniżżel biss dokument HTML wieħed u qatt ma jgħabbi r-riżorsi marbuta miegħu. L-istylesheet komuni għadha fil-markup, imma l-ebda ħaddiem ma jitolbha. Ma żżid xejn mar-rata ta' hits tal-cache tal-proxy.
Ibda bit-talbiet li l-crawler tiegħek fil-fatt jagħmel
Browser li jirrendi paġna u klijent HTTP li jiġbed is-sors tagħha joħolqu settijiet ta' talbiet differenti. Eżamina dawk is-settijiet qabel ma tagħżel disinn tal-cache.
| Xogħol | Potenzjal ta' użu mill-ġdid maqsum |
|---|---|
| Il-ħaddiema jiġbdu ripetutament l-istess assi pubbliċi | Utli meta r-regoli tal-freskezza u tal-cache key jippermettu |
| Kull talba għandha URL jew varjant ta' risposta uniku | Ftit sovrapposizzjoni biex terġa' tintuża |
| Risposta teħtieġ validazzjoni mill-ġdid qabel l-użu mill-ġdid | Tista' tiffranka bytes tar-risposta imma għadha teħtieġ vjaġġ lejn fuq |
| Il-ħaddiema diġà jissodisfaw talbiet mill-cache lokali tagħhom | Dawk it-talbiet jistgħu qatt ma jaslu għall-proxy maqsum |
L-ugwaljanza tal-URL waħedha mhijiex biżżejjed. Il-politika tal-freskezza tar-risposta u l-oqsma msemmija minn Vary jistgħu jiddistingwu rappreżentazzjonijiet. Kontenut privat, li ma jistax jinħażen jew awtentikat jeħtieġ ir-regoli applikabbli tal-cache maqsum; m'għandux jiġi mġiegħel f'riżultat pubbliku wieħed biss biex jogħla l-għadd ta' hits.
Għat-traffiku ordinarju HTTPS CONNECT, il-proxy forward iġorr mina kriptata u m'għandux oġġetti HTTP ġewwa biex jaħżen. Skjerament b'inspezzjoni TLS għandu mġiba differenti ta' fiduċja u pproċessar. Inkludi l-mod reali meta tevalwa jekk il-cache tal-oġġetti hix disponibbli.
Hit tal-cache jista' jevita ġibda minn fuq, filwaqt li miss xorta jħallas għax-xogħol tal-intermedjarju. Qabbel bytes utli mitmuma, traffiku lejn fuq u latenza għax-xogħol maħsub. L-għadd ta' threads jiddeskrivi l-konkorrenza; ma jiddeskrivix kemm kontenut li jista' jerġa' jintuża jaqsmu dawk it-threads.