ஒவ்வொரு Splash வளத்திற்கும் ஒரு ப்ராக்ஸியைத் தேர்ந்தெடுக்கவும்

தனிப்பட்ட வளங்களுக்கு வெவ்வேறு பாதைகள் தேவைப்படும்போது ரெண்டர் நிலையில் அல்லது on_request கால்பேக்கில் Splash ப்ராக்ஸியைத் தேர்ந்தெடுக்கவும்.

Scrapy கோரிக்கை Splash-ஐ அடையலாம், ஆனால் Splash-க்குள் உள்ள உலாவிக்கு இன்னும் வேறு வெளிச்செல் பாதை தேவைப்படுகிறது. இவை இரண்டு இணைப்புகள்:

Scrapy → Splash API
Splash browser → forward proxy → website

ஒரு ரெண்டருக்கு ஒரு ப்ராக்ஸிக்கு, HTTP API-யின் proxy அளவுருவை அனுப்பவும். Splash 3.5 http://proxy.example:8080 போன்ற ப்ராக்ஸி URL அல்லது கட்டமைக்கப்பட்ட proxy-profile பெயரை ஆவணப்படுத்துகிறது. அதன் URL வடிவம் SOCKS5 மற்றும் விருப்பச் சான்றுகளையும் ஆதரிக்கிறது.

தனிப்பட்ட பக்க வளங்களுக்கு வெவ்வேறு முனைப்புள்ளிகள் தேவைப்படும்போது, execute ஸ்கிரிப்டைப் பயன்படுத்தி வழிசெலுத்தலுக்கு முன் தேர்வைப் பதிவு செய்யவும்:

function main(splash, args)
  splash:on_request(function(request)
    local host = args.default_proxy
    if request.url == args.special_resource then
      host = args.special_proxy
    end
    request:set_proxy{host = host, port = 8080, type = 'HTTP'}
  end)

  assert(splash:go(args.url))
  return splash:html()
end

default_proxy மற்றும் special_proxy-ஐ ஹோஸ்ட் பெயர்களாகவும், special_resource-ஐ தனித்தனியாக வழிமாற்றப்பட வேண்டிய வளத்தின் சரியான URL ஆகவும் அனுப்பவும். இரண்டு கேட்பான்கள் வேறுபடும்போது மாதிரியின் ஒரே போர்ட்டை மாற்றவும். மற்ற வளங்கள் இயல்புநிலை பாதையைப் பெறுகின்றன. HTTP ப்ராக்ஸி பட்டியல் இந்த ஹோஸ்ட் மற்றும் போர்ட் புலங்களுக்கு முனைப்புள்ளி வேட்பாளர்களை வழங்குகிறது, பொது வளப் பாதைகள் அனுமதிக்கப்படும்போது மற்றும் வேட்பாளர்களுக்கு ப்ராக்ஸி சான்றுகள் பயன்படுத்தப்படாதபோது.

request முறை விருப்பமான username மற்றும் password புலங்களை ஏற்கிறது. HTTP வகையுடன், HTTPS இலக்குகள் அந்த HTTP ப்ராக்ஸி வழியாக CONNECT-ஐப் பயன்படுத்துகின்றன; அவற்றுக்கு கற்பனையான HTTPS ப்ராக்ஸி வகை தேவையில்லை.

கால்பேக் ஒவ்வொரு கோரிக்கைக்கும் முன் இயங்குகிறது. அதன் request முறைகள் அனுப்பப்பட்ட பிறகு கோரிக்கையை மாற்ற முடியாது, மேலும் கால்பேக் splash:go அல்லது splash:wait போன்ற ஒத்திசைவற்ற Splash முறைகளை அழைக்க முடியாது.

பக்கம் ஒரு அமர்வு அல்லது ஒரு மூல அடையாளத்தை எதிர்பார்க்கும்போது பாதைத் தேர்வை நிலையாக வைத்திருங்கள். ஒவ்வொரு படத்தையும் API கோரிக்கையையும் தோராயமாக மற்றொரு வெளியீட்டுக்கு ஒதுக்குவது, கோரிக்கைகள் இனி ஒரு ஒத்திசைவான அமர்வைச் சார்ந்ததாக இல்லாத ரெண்டர் செய்யப்பட்ட பக்கத்தை உருவாக்கலாம்.

தொடர்புடைய கட்டுரைகள்