[Tips][python-requests] get/post -> 403 forbidden 해결

[문제]

가끔 파이썬의 requests 모듈을 통해 get 또는 post 방식으로 웹 페이지에 접근하는 경우 403 forbidden 에러가 발생하는 경우가 있다. 

이때 브라우저로 접근했을때는 아무런 문제가 없다면 헤더에 user-agent 값을 추가해주는 것을 고려해봐야한다.

 

[해결]

import requests

def function():
    url = "https://example.com"
    HEADERS = { 
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.46"
    }
    str = requests.get(url, headers=HEADERS).content

아래와 같이 user-agent가 포함된 헤더를 포함하면 이후에는 잘 파싱이 된다.