IT’s Portfolio

지금까지 쳐놀고 다른 일 좀 하느라 글 업데이트가 뜸했음 ㅋㅋ 오늘은 네이버 뉴스에서 지역별 코로나19 뉴스를 크롤링해오는 프로그램을 제작해보자. 준비물 : 신승훈의 I believe를 들으면서 하도록 하자. 개띵곡임 ㅇㅇ;; import import sys from bs4 import BeautifulSoup from datetime import datetime import requests import pandas as pd 오류가 나면 프로그램 종료를 위한 sys bs4와 requests는 크롤링 국룰 엑셀파일 제작을 위한 datetime과 pandas coding location_text = "" title_text=[] link_text=[] time_text=[] press_text=[] res..

오늘은 네이버에서 지역별 날씨 정보를 크롤링하는 프로그램을 제작해보려고한다. 준비물: python, requests 라이브러리, bs4 라이브러리, 생각하는 뇌 import import requests from bs4 import BeautifulSoup 국룰 Coding location = input("지역을 입력하세요\n>>> ") Finallocation = location + '날씨' LocationInfo = "" NowTemp = "" CheckDust = [] url = 'https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=' + Finallocation hdr = {'User-Agent': (..

전편인 롤 전적 크롤링 프로그램보다 간단한 그냥 존나 쉬운 네이버 실시간 검색어 크롤링 프로그램을 만들어보자. 준비물 : python, requests 라이브러리, bs4 라이브러리, 당신의 열정 import import requests from bs4 import BeautifulSoup 설명할 필요가 굳이 있나 싶다. Requests와 BeautifulSoup 세팅과 변수선언 url = "https://www.naver.com/" req = requests.get(url) html = req.text soup = BeautifulSoup(html, "html.parser") RealTimeSearch = [] count = 0 네이버 실시간 검색어를 파싱할때는 굳이 헤더를 변경해줄 필요가 없다. 모바..

요새 웹 크롤링에 꽂혀서 많은 것을 만들어보고 있다. 그 중 롤 전적검색 프로그램을 만들어보려고 한다. 준비물 : python, requests 라이브러리, bs4 라이브러리, op.gg사이트, 당신의 뇌 import와 변수선언 import requests from bs4 import BeautifulSoup Name = input("소환사명을 입력하세요: ") SummonerName = "" Ranking = "" TierUnranked = "" LeagueType = [] Tier = [] LP = [] Wins = [] Losses = [] Ratio = [] requests와 bs4의 BeautifulSoup을 import. 소환사명을 입력받고 저장할 Name 변수선언. 다른 변수들은 귀찮으니 설..

Web Crawling - Web상에 존재하는 콘텐츠를 수집하는 작업. 1. HTML 코드를 가져와 파싱 후 필요한 데이터만 수집. 2. Open API 우리는 파이썬으로 각종 웹 크롤링 프로그램을 만들기위해 requests와 bs4라는 라이브러리를 사용한다. 굳이 requests 라이브러리를 설치해서 사용할 필요가 없고 기본 라이브러리로 제공되는 urllib을 사용해도 된다. 하지만 requests는 urllib보다 간결한 코드로 다양한 HTTP 요청을 할 수 있다. HTTP Method GET : resource 요청 POST : resource 추가 요청 혹은 수정 및 삭제 요청 PUT : resource 수정 요청 DELETE : resource 삭제 요청 HEAD : HTTP 헤더 정보 요청 O..