Scrapy AutoThrottle tra prokuro: fendoj kaj latento
Tenu la elŝutajn fendojn de la cela retejo aparte de la prokurvojoj, kaj interpretu latenton kiel la observitan petvojon.
Defaŭlte Scrapy atribuas elŝutajn fendojn laŭ la domajno de la peto-URL. Doni al peto HTTP-prokuron ne ŝanĝas tiun URL-on al la gastignomo de la prokuro. Petoj al diversaj retejoj do povas reteni diversajn fendojn dum ili kunhavas unu peranton.
AutoThrottle agordas la prokraston de ĉiu fendo laŭ la observita elŝuta latento. La norma samtakteca limo por domajno kaj la minimuma elŝuta prokrasto ankoraŭ validas.
Kontrolu la grupiĝon antaŭ ol ŝanĝi la algoritmon
Propra meza programo povas atribui request.meta["download_slot"], anstataŭigante la normalan fendoelekton. Iuj prokuraj etendaĵoj uzas sian propran grupiĝon. Kontrolu tiujn agordojn se malrilataj retejoj ŝajnas kunhavi unu limigilon.
Male, atribui malsaman fendon por ĉiu prokuro povas ebligi al pluraj prokuroj samtempe kontakti la saman celon. Tio povas malvalidigi retejskalan limon, kiun la rampilo devis respekti. Elektu la fendan ŝlosilon laŭ la protektata rimedo.
La prokrasto inkluzivas la vojon, kiun vi uzis
Scrapy mezuras latenton de la sendo de la peto ĝis la ricevo de HTTP-kapoj. Peto portata tra prokuro povas inkluzivi en tiu observo la atendvican kaj plusendan prokraston de la peranto. AutoThrottle ne ricevas apartan prilaboran tempon nur de la origino.
Pliigi samtaktecon ne povas igi tiun mezuron izoli la retejon. Tenu la ĝentilecon al la celo kaj la prokuran kapaciton kiel apartajn limojn kiam ambaŭ gravas. Kunhava prokuro eble bezonas plian samtaktecan buĝeton trans la celaj fendoj, dum ĉiu celo retenas sian propran rapidpolitikon.