[python] Received response with content-encoding: gzip, but failed to decode it.

 

에러 : Received response with content-encoding: gzip, but failed to decode it.', error('Error -3 while decompressing data: incorrect data check')

res = requests.get( page_url, headers={ 'User-Agent': utils.get_random_agent() }, timeout=10 )
content = res.content

 

 

위와 같이 요청시, 아래와 같은 메세지와 함께 크롤링이 진행이 불가한 상황이 발생했다.

# error
Received response with content-encoding: gzip, but failed to decode it.', error('Error -3 while decompressing data: incorrect data check')

 

옵션을 추가했다.

res = requests.get( page_url, headers={ 'User-Agent': utils.get_random_agent(), 'Accept-Encoding': 'identity' }, timeout=10, stream=True )
content = res.raw.read()

 

* 추가된 것은

1. 'Accept-Encoding': 'identity'

2. stream=True

 

* 수정된 것은

content = res.content 으로 가지고 오는 것 대신 content = res.raw.read() 으로 읽어주니 잘 진행되는 것을 확인했다.

근데 좀 느려짐