여러 옵션 중 robots이 존재하는 사이트에서도 무시하고 가져오려면 아래를 추가한다.
그래도 못 가져오는 데가 있다. 바로 header를 체크하여 user-agent가 null이면 잘못된 접근으로 처리하는 곳.
이것은 아래로 처리할 수 있다.
--header='User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30'
브라우져를 명시해 주는 것인데, 이건 다르게 쓸 수도 있으니 예시일 뿐이다.
그래도 안 되는 곳은 구글 개발자 도구 network 탭에서 request를 살펴보고 여러 header들을 넣어본다.
댓글 달기