[Python] bs4와 selenium 같이 써보기

저번에 제작했던 자동화 스크립트에 프로필 접근과 bs4 코드만 붙이면 크롤링 스크립트가 완성된다.

아직 스크립트를 짜지 못했다면 다시 보고오도록 하자.

 

=> https://it-neicebee.tistory.com/74

[Python] selenium으로 페이스북 자동 로그인/로그아웃 하기

 

coding

my_profile = driver.find_elements_by_xpath("//*[@id='u_0_a']/div[1]/div[1]/div/a")
driver.get(my_profile[0].get_attribute('href'))

req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

for i in range(1, 5):
    selector = soup.select("#u_0_2d > li:nth-child({})".format(i))
    for st in selector:
        print(st.text)

my_profile = driver.find_elements_by_xpath("//*[@id='u_0_a']/div[1]/div[1]/div/a")
driver.get(my_profile[0].get_attribute('href'))

이 부분은 아래 빨간 동그라미를 친 프로필에 접근하는 코드

* xpath 등 웹 코드들은 아래 사진과 같이 개발자 모드에서 필요한 부분만 손쉽게 copy가 가능하다!

 

위의 코드를 넣고 실행하면

타임라인 정보가 크롤링이 잘되는 것을 볼 수 있다.