일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- 오라클
- 러스트
- Reversing
- 데이터베이스
- 데이터 통신
- 자바 기초
- 파이썬 첼린지
- java
- 러스트 예제
- Operating System
- 파이썬
- 파이썬 챌린지
- Python challenge
- Python
- 운영체제
- ubuntu
- Rust
- 자바
- 알고리즘
- C
- 자바 개념
- Database
- 러스트 프로그래밍 공식 가이드
- 파이썬 알고리즘
- 백준 러스트
- 백준
- 오라클DB
- OS
- 우분투
- data communication
- Today
- Total
목록파이썬 웹 크롤링 (4)
IT’s Portfolio
지금까지 크롤링을 requests와 bs4로만 해오던 나에게 selenium이라는 킹갓제너럴 모듈이 강림했다. 오늘부터는 selenium을 공부하려고 한다. 아나콘다에는 selenium이 포함되어있지 않기 때문에 Anaconda Prompt에서 conda install selenium 명령어를 이용해 설치해준다. 혹시라도 아나콘다를 설치하지 않았다면 cmd에서 pip install selenium 명령어로 설치한다. Chrome Driver 설치하기 https://sites.google.com/a/chromium.org/chromedriver/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome sites.google..
지금까지 쳐놀고 다른 일 좀 하느라 글 업데이트가 뜸했음 ㅋㅋ 오늘은 네이버 뉴스에서 지역별 코로나19 뉴스를 크롤링해오는 프로그램을 제작해보자. 준비물 : 신승훈의 I believe를 들으면서 하도록 하자. 개띵곡임 ㅇㅇ;; import import sys from bs4 import BeautifulSoup from datetime import datetime import requests import pandas as pd 오류가 나면 프로그램 종료를 위한 sys bs4와 requests는 크롤링 국룰 엑셀파일 제작을 위한 datetime과 pandas coding location_text = "" title_text=[] link_text=[] time_text=[] press_text=[] res..
오늘은 네이버에서 지역별 날씨 정보를 크롤링하는 프로그램을 제작해보려고한다. 준비물: python, requests 라이브러리, bs4 라이브러리, 생각하는 뇌 import import requests from bs4 import BeautifulSoup 국룰 Coding location = input("지역을 입력하세요\n>>> ") Finallocation = location + '날씨' LocationInfo = "" NowTemp = "" CheckDust = [] url = 'https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=' + Finallocation hdr = {'User-Agent': (..
전편인 롤 전적 크롤링 프로그램보다 간단한 그냥 존나 쉬운 네이버 실시간 검색어 크롤링 프로그램을 만들어보자. 준비물 : python, requests 라이브러리, bs4 라이브러리, 당신의 열정 import import requests from bs4 import BeautifulSoup 설명할 필요가 굳이 있나 싶다. Requests와 BeautifulSoup 세팅과 변수선언 url = "https://www.naver.com/" req = requests.get(url) html = req.text soup = BeautifulSoup(html, "html.parser") RealTimeSearch = [] count = 0 네이버 실시간 검색어를 파싱할때는 굳이 헤더를 변경해줄 필요가 없다. 모바..