목록web crawling (4)

IT’s Portfolio

[Python] 파이썬 웹 크롤링으로 지역별 코로나19 뉴스 정보를 크롤링해보자

지금까지 쳐놀고 다른 일 좀 하느라 글 업데이트가 뜸했음 ㅋㅋ 오늘은 네이버 뉴스에서 지역별 코로나19 뉴스를 크롤링해오는 프로그램을 제작해보자. 준비물 : 신승훈의 I believe를 들으면서 하도록 하자. 개띵곡임 ㅇㅇ;; import import sys from bs4 import BeautifulSoup from datetime import datetime import requests import pandas as pd 오류가 나면 프로그램 종료를 위한 sys bs4와 requests는 크롤링 국룰 엑셀파일 제작을 위한 datetime과 pandas coding location_text = "" title_text=[] link_text=[] time_text=[] press_text=[] res..
Development Study/Python 2020. 4. 1. 13:01
[Python] 파이썬 웹 크롤링으로 날씨 정보를 크롤링해보자

오늘은 네이버에서 지역별 날씨 정보를 크롤링하는 프로그램을 제작해보려고한다. 준비물: python, requests 라이브러리, bs4 라이브러리, 생각하는 뇌 import import requests from bs4 import BeautifulSoup 국룰 Coding location = input("지역을 입력하세요\n>>> ") Finallocation = location + '날씨' LocationInfo = "" NowTemp = "" CheckDust = [] url = 'https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=' + Finallocation hdr = {'User-Agent': (..
Development Study/Python 2019. 12. 26. 14:54
[Python] 파이썬 웹 크롤링으로 네이버 실시간 검색어를 파싱해보자

전편인 롤 전적 크롤링 프로그램보다 간단한 그냥 존나 쉬운 네이버 실시간 검색어 크롤링 프로그램을 만들어보자. 준비물 : python, requests 라이브러리, bs4 라이브러리, 당신의 열정 import import requests from bs4 import BeautifulSoup 설명할 필요가 굳이 있나 싶다. Requests와 BeautifulSoup 세팅과 변수선언 url = "https://www.naver.com/" req = requests.get(url) html = req.text soup = BeautifulSoup(html, "html.parser") RealTimeSearch = [] count = 0 네이버 실시간 검색어를 파싱할때는 굳이 헤더를 변경해줄 필요가 없다. 모바..
Development Study/Python 2019. 11. 3. 17:51
[Python] 파이썬 웹 크롤링(Web Crawling) 간단한 기본 상식

Web Crawling - Web상에 존재하는 콘텐츠를 수집하는 작업. 1. HTML 코드를 가져와 파싱 후 필요한 데이터만 수집. 2. Open API 우리는 파이썬으로 각종 웹 크롤링 프로그램을 만들기위해 requests와 bs4라는 라이브러리를 사용한다. 굳이 requests 라이브러리를 설치해서 사용할 필요가 없고 기본 라이브러리로 제공되는 urllib을 사용해도 된다. 하지만 requests는 urllib보다 간결한 코드로 다양한 HTTP 요청을 할 수 있다. HTTP Method GET : resource 요청 POST : resource 추가 요청 혹은 수정 및 삭제 요청 PUT : resource 수정 요청 DELETE : resource 삭제 요청 HEAD : HTTP 헤더 정보 요청 O..
Development Study/Python 2019. 11. 2. 21:37
Prev 1 Next