[Python] requests와 urllib

💻 Requests & urllib

• requests: 사용자 친화적인 문법을 사용하여 다루기 쉽고 안정성이 뛰어남
• urllib: 파이썬 기본 패키지

💀 Differences

1. 요청 시 요청 객체를 만드는 방법에 차이
2. 데이터 전송 시 requests 는 dict 형태로 urllib 은 인코딩하여 binary 형태로 전송
3. requests 는 요청 메소드(GET, POST) 를 명시, urllib은 데이터 여부에 따라 GET Req, POST Req 구분
4. 없는 페이지 요청 시 requests 는 Error를 띄우지 않지만, urllib 은 Error를 띄움

💡 Requests

• GET 요청: get() 사용
• Other
  • put()
  • delete()
  • head()
  • options()
• 응답 상태: status_code 변수 호출
• 응답 내용 확인
  • content 변수 호출: 디코딩하지 않은 binary 형태의 데이터
  • encoding 변수 호출: 요청에서 사용 중인 인코딩 방식 확인 및 변경 가능
  • text 변수 호출: Requests 응답 헤더를 보고 해당 객체의 인코딩을 추측하여 해당 인코딩 방식으로 디코딩한 데이터
  • headers 변수 호출: 응답 헤더 확인
  • json(): 응답 데이터가 json 형식이면 dict 형식으로 불러옴

💡 urllib

• Python2 urlparse => Python3 urllib.parse
• URL Handling module

1. urllib.request

• 다이제스트 인증, 리디렉션, 쿠키 등과 같은 URL이나 HTTP를 여는 데 도움이 되는 함수와 클래스 정의. 간단하게 웹 페이지 요청 및 데이터를 얻을 수 있음
  • Digest Access Authentication에 대한 글
  • .urlopen()
    • String이나 Request 객체인 URL을 열어줌
      • urlopen() 에 url을 인수로 직접 넘겨주어도 되고, Request 클래스에 URL을 넣어 생성 후 인자로 넘겨주어도 됨
    • url 넣어서 호출 시 html 리턴
    • read() 로 읽을 수 있으며 decode 해주어야 데이터를 읽을 수 있음
  • 상태 확인
    • 반환된 객체의 status 변수 사용
  • .urlretrieve()
    • url이 가리키는 주소에 접근하여 해당 자원을 local에 저장 가능

2. urllib.error

• URLError: 없는 URL
• HTTPError: 사이트 서버에서 Access Block

3. urllib.parse

• URL과 Parameter를 다룰 수 있음
• 간단한 문자열 파싱 시에는 보통 정규표현식을 많이 사용. 하지만 단순 패턴을 읽을 때는 parse 모듈 사용 시 유용
• .urlparse(): url 파싱
  • 파싱 후 해당 객체 내의 변수 사용 시 해당 값 리턴됨
  • parse_qs(): 사용 시 리턴 타입이 dict
  • Quote: 인코딩 처리
    • .quote_plus(): 공백 +
    • .quote(): 공백 %20