메뉴 건너뛰기

app

[wget] 여러 정책을 무시하고 걍 긇어오기

박영식2011.07.24 01:39조회 수 2551댓글 0

  • 1
    • 글자 크기
여러 옵션 중 robots이 존재하는 사이트에서도 무시하고 가져오려면 아래를 추가한다.

 -e robots=off

그래도 못 가져오는 데가 있다. 바로 header를 체크하여 user-agent가 null이면 잘못된 접근으로 처리하는 곳.

이것은 아래로 처리할 수 있다.

--header='User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30'

브라우져를 명시해 주는 것인데, 이건 다르게 쓸 수도 있으니 예시일 뿐이다.

그래도 안 되는 곳은 구글 개발자 도구 network 탭에서 request를 살펴보고 여러 header들을 넣어본다.

header.jpg

박영식 (비회원)
  • 1
    • 글자 크기
조합 소스(함수로 작성)-상향식, value (by 박영식) 오름차순 정렬(only main function) (by 박영식)

댓글 달기

이전 1 2 3 4 5 6 7 8 9 10... 14다음
첨부 (1)
header.jpg
64.4KB / Download 47
위로