Nutch 프록시를 fetcher 구성에 두기

nutch-site.xml에서 Nutch 프록시 호스트와 포트를 설정하고 필요한 프록시 기능을 구현하는 프로토콜 플러그인을 선택합니다.

크롤이 불러온 nutch-site.xml에서 기본 엔드포인트를 설정합니다:

<configuration>
  <property>
    <name>http.proxy.host</name>
    <value>proxy.example</value>
  </property>
  <property>
    <name>http.proxy.port</name>
    <value>8080</value>
  </property>
</configuration>

프록시 인증 없이 허용된 공개 사이트로 가는 HTTP fetcher 경로에서는 호스트 이름과 별도 포트를 HTTP 프록시 목록의 후보로 바꿉니다. 로컬 재정의는 사이트 파일에 두고 설치된 릴리스가 배포하는 기본값과 비교합니다. 셸 export만으로는 이를 결코 읽지 않는 플러그인을 구성할 수 없습니다.

프록시 속성문서화된 소비자
http.proxy.host, http.proxy.port기본 fetcher 경로, 선택한 구현에 따름
http.proxy.username, http.proxy.password, http.proxy.realmprotocol-httpclient, 자체 HTTP 클라이언트에 자격 증명을 구성합니다
http.proxy.typeprotocol-okhttp용으로 식별된 옵션

필요한 플러그인이 설치되어 있고 유효한 선택에 포함되어 있는지 확인합니다. 기본 파일에 필드가 있다고 해서 모든 HTTP 구현이 이를 사용하는 것은 아닙니다.

실제로 가져오는 프로세스의 구현과 구성을 확인합니다. 분산 워커와 실행 스크립트에는 의도한 입력이 필요합니다. 다른 설치에서 편집한 파일은 이미 구성된 fetcher를 바꾸지 않습니다.

관련 글