Scrapy-proksea samtemo tra pluraj domajnoj
Uzu la ĝeneralan samtempan limon de la elŝutilo kiam pluraj celaj domajnoj konsumas la saman proksean kvoton, kaj enkalkulu aliajn rampilojn kiuj uzas tiun konton.
Se ĉiu celo uzas unu proksean konton, la permeso de samtempaj petoj de tiu konto povas esti konsumita tra ĉiuj tiuj celoj. Limo po domajno sola ne esprimas tiun komunan buĝeton.
Por hipoteza konto permesanta maksimume 20 samtempajn petojn, lasu iom da rezervo kaj agordu la ĝeneralan limon de la elŝutilo de la rampilo:
CONCURRENT_REQUESTS = 16Ĉi tio estas ilustra distribuo, ne rekomendata valoro por ĉiu provizanto. Scrapy difinas CONCURRENT_REQUESTS kiel la maksimuman nombron de samtempaj petoj de la elŝutilo. Regiloj po domajno povas plu malaltigi samtempon; ili ne anstataŭas la ĝeneralan plafonon.
Enkalkulu ankaŭ aliajn rampilojn. Du sendependaj rampiloj, ĉiu rajtigita al 16 petoj, povas kune superi komunan permeson de 20. Dividu la buĝeton intence aŭ starigu komunan limon tie, kie tiuj klientoj kunvenas.
Ankaŭ difinu, kion la provizanto kalkulas. HTTP-petoj, malfermitaj TCP-konektoj, aktivaj tuneloj kaj petoj po sekundo estas malsamaj kvantoj. Daŭraj konektoj kaj multobligo povas malkongruigi iliajn nombrojn. Tial agordo de peta samtemo ne estas kompleta limigilo de konektoj aŭ de indico.
Konservu la ritmon de la cela retejo kiel apartan limigon. Pli malalta samtemo aŭ prokrasto de elŝuto povas resti taŭga por unuopa celo eĉ kiam la proksea konto havas neuzatan kapaciton.