Lokacin da cache na proxy mai rabawa ke taimaka wa crawler
Auna albarkatun da ake maimaitawa, sabo da ainihin bukatun crawler kafin ka yi tsammanin cache na forward-proxy mai rabawa zai inganta kwarara.
A ce ma'aikata da yawa a cikin burauza suna buɗe shafuka daban-daban na rukunin yanar gizo ɗaya. Waɗannan shafukan suna magana da takardar salo ɗaya, tambari da fakitin rubutun. Cache na forward mai rabawa na iya sa karɓar farko ta zama mai amfani ga ma'aikata na gaba lokacin da za a iya sake amfani da amsoshin.
Yanzu canza aikin: kowane ma'aikaci yana sauke takardar HTML ɗaya kawai kuma ba ya taɓa loda albarkatun da aka haɗa. Takardar salo ta gama gari tana nan a cikin alamar, amma babu ma'aikaci da ke neman ta. Ba ta ƙara komai ga yawan bugun cache na proxy.
Fara da bukatun da crawler ɗinka ke yi da gaske
Burauza da ke nuna shafi da abokin ciniki na HTTP da ke ɗaukar tushensa suna ƙirƙirar jerin bukatu daban-daban. Bincika waɗannan jerin kafin ka zaɓi tsarin cache.
| Aikin | Yiwuwar sake amfani mai rabawa |
|---|---|
| Ma'aikata suna ɗaukar albarkatun jama'a iri ɗaya akai-akai | Mai amfani lokacin da ka'idojin sabo da maɓallin cache suka yarda |
| Kowane buƙata tana da URL na musamman ko nau'in amsa | Ƙananan haɗuwa don sake amfani |
| Amsa tana buƙatar sake tabbatarwa kafin a sake amfani da ita | Zai iya ajiye baiti na amsa yayin da har yanzu ake buƙatar tafiya zuwa sama |
| Ma'aikata suna biyan bukatun daga cache ɗinsu na gida | Waɗannan bukatun ba za su taɓa isa proxy mai rabawa ba |
Daidaiton URL kaɗai bai isa ba. Manufar sabo ta amsa da filayen da Vary ya ambata na iya bambanta wakilci. Abun ciki na sirri, wanda ba a iya adanawa ko wanda aka tabbatar yana buƙatar ka'idojin cache mai rabawa da suka dace; bai kamata a tilasta shi cikin sakamako ɗaya na jama'a ba kawai don ƙara yawan bugun.
Don zirga-zirgar HTTPS CONNECT ta yau da kullum, forward proxy yana ɗaukar rami mai ɓoye kuma ba shi da kowane abu na HTTP a ciki da za a adana. Ƙaddamarwa da binciken TLS tana da halin amincewa da sarrafawa daban. Ka haɗa da ainihin yanayin yayin auna ko akwai ajiyar abubuwa.
Bugun cache na iya guje wa ɗauka daga sama, yayin da rashin bugun har yanzu yana biyan aikin mai shiga tsakani. Kwatanta baiti masu amfani da aka kammala, zirga-zirga zuwa sama da jinkiri don aikin da aka yi niyya. Yawan zare yana bayyana lokaci ɗaya; bai bayyana yawan abun ciki da za a sake amfani da waɗannan zaren ke raba ba.