Երբ ընդհանուր proxy քեշը օգնում է crawler-ին
Գնահատեք կրկնվող ռեսուրսները, թարմությունը և crawler-ի իրական հարցումները, նախքան ընդհանուր forward-proxy քեշից ավելի բարձր թողունակություն սպասելը։
Ենթադրենք՝ բրաուզերում մի քանի աշխատող բացում են նույն կայքի տարբեր էջեր։ Այդ էջերը հղում են կատարում նույն ոճաթերթին, լոգոյին և սկրիպտային փաթեթին։ Ընդհանուր forward քեշը կարող է առաջին հարցումը օգտակար դարձնել հետագա աշխատողների համար, երբ պատասխանները կրկին օգտագործելի են։
Այժմ փոխեք աշխատանքը՝ յուրաքանչյուր աշխատող ներբեռնում է միայն մեկ HTML փաստաթուղթ և երբեք չի բեռնում դրա կապակցված ռեսուրսները։ Ընդհանուր ոճաթերթը դեռ կա նշարկման մեջ, բայց ոչ մի աշխատող այն չի պահանջում։ Այն ոչինչ չի ավելացնում proxy-ի քեշի հարվածների ցուցանիշին։
Սկսեք այն հարցումներից, որոնք ձեր crawler-ը իրականում անում է
Էջը ցուցադրող բրաուզերը և դրա աղբյուրը բերող HTTP հաճախորդը ստեղծում են տարբեր հարցումների հավաքածուներ։ Քննեք այդ հավաքածուները՝ նախքան քեշի ձևավորում ընտրելը։
| Աշխատանք | Ընդհանուր կրկնօգտագործման ներուժ |
|---|---|
| Աշխատողները կրկին ու կրկին բերում են նույն հանրային ռեսուրսները | Օգտակար է, երբ թարմության և քեշի բանալու կանոնները թույլ են տալիս |
| Յուրաքանչյուր հարցում ունի եզակի URL կամ պատասխանի տարբերակ | Քիչ համընկնում կրկնօգտագործման համար |
| Պատասխանը պահանջում է վերավավերացում՝ նախքան կրկնօգտագործումը | Կարող է խնայել պատասխանի բայթերը, բայց դեռ պահանջում է ուղևորություն վերև |
| Աշխատողները արդեն բավարարում են հարցումները սեփական տեղական քեշից | Այդ հարցումները գուցե երբեք չհասնեն ընդհանուր proxy-ին |
Միայն URL-ի հավասարությունը բավարար չէ. Պատասխանի թարմության քաղաքականությունը և Vary-ի կողմից անվանված դաշտերը կարող են տարբերել ներկայացումները։ Մասնավոր, չպահվող կամ վավերացված բովանդակությունը պահանջում է ընդհանուր քեշի կիրառելի կանոններ. այն չպետք է հարկադրվի մեկ հանրային արդյունքի մեջ միայն հարվածների քանակը բարձրացնելու համար։
Սովորական HTTPS CONNECT երթևեկության համար forward proxy-ն կրում է գաղտնագրված թունել և դրա ներսում քեշավորվող HTTP օբյեկտներ չկան։ TLS-ստուգմամբ տեղակայումն ունի վստահության և մշակման այլ վարք։ Օբյեկտների քեշավորման հասանելիությունը գնահատելիս ներառեք փաստացի ռեժիմը։
Քեշի հարվածը կարող է խուսափել վերևից բերելուց, մինչդեռ բացթողումը դեռ վճարում է միջնորդի աշխատանքի համար։ Համեմատեք ավարտված օգտակար բայթերը, վերև ուղղված երթևեկությունը և ուշացումը նախատեսված աշխատանքի համար։ Թելերի քանակը նկարագրում է զուգահեռականությունը. այն չի նկարագրում, թե որքան կրկնօգտագործելի բովանդակություն են կիսում այդ թելերը։