প্ৰতিটো xargs কাৰ্যৰ ভিতৰত প্ৰক্সি বাছনি কৰক

প্ৰতিটো কাৰ্যৰ বাবে আৰম্ভ কৰা shell ৰ ভিতৰত যাদৃচ্ছিক বাছনি ৰাখক। বাহিৰৰ shell ত এটা command substitution বিস্তাৰ কৰিলে xargs এ কাম আৰম্ভ কৰাৰ আগতেই মানটো বাছনি কৰা হয়।

প্ৰতিটো শাৰীত এটা প্ৰক্সি URL থকা যাচাই কৰা proxies.txt ৰ সৈতে, ৰাজহুৱা প্ৰাৰ্থী বিনামূলীয়া প্ৰক্সি তালিকাৰ পৰা আহিব পাৰে; প্ৰতিটো এন্ট্ৰি curl এ সমৰ্থন কৰা প্ৰটোকলত সজাওক:

printf '%s\0' 'https://a.example/one' 'https://b.example/two' |
  xargs -0 -n 1 -P 4 sh -c '
    proxy=$(shuf -n 1 proxies.txt) || exit 1
    [ -n "$proxy" ] || exit 1
    curl --fail --silent --show-error --max-time 30 \
      --proxy "$proxy" --noproxy "" --output /dev/null "$1"
  ' _

-n 1 এ প্ৰতিটো কাৰ্যক এটা URL দিয়ে, আৰু -P 4 এ একে সময়ত চাৰিটালৈকে কাৰ্য অনুমতি দিয়ে। null-দ্বাৰা বিভক্ত ইনপুটে URL টো এটা যুক্তি হিচাপে ৰাখে। আণ্ডাৰস্কোৰে sh ৰ $0 স্থান দখল কৰে, URL টো $1 ত ৰাখি।

প্ৰতিটো শিশু shell এ স্বতন্ত্ৰভাৱে shuf চলায়। যাদৃচ্ছিক বাছনিয়ে একেটা প্ৰক্সি এবাৰতকৈ অধিক বাছনি কৰিব পাৰে; ই ৰাউণ্ড-ৰবিন শ্বিডিউলিং নহয় আৰু ভিন্ন exit ঠিকনাৰ নিশ্চয়তাও নহয়।

স্পষ্ট খালী বাইপাছ তালিকাই উত্তৰাধিকাৰী no_proxy ছেটিঙক বাছনি কৰা মধ্যস্থতাকাৰী বাইপাছ কৰাৰ পৰা ৰোধ কৰে। উদাহৰণে response body বৰ্জন কৰে; সমান্তৰাল ডাউনলোড সংৰক্ষণ কৰোঁতে পৃথক output path ব্যৱহাৰ কৰক।