Web Crwaling ⑥ - selenium

selenium

자동화를 목적으로 만들어진 다양한 브라우져와 언어를 지원하는 라이브러리

 

크롬 브라우져 설치

크롬 브라우져 드라이버 다운로드 해야함 !!

→ 주피터 노트북 파일과 동일한 디렉토리에 chromedriver.exe 파일 업로드

 

 

크롬 브라우져와 같은 버전으로 다운 받는다

 

 

 

import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://daum.net')

 

코드 실행하면 자동으로 창이 뜬다 !!

 

 

 

 

 

 

검색창에 '파이썬' 입력하고 검색하기

 

 

 

돋보기 버튼 누르기

 

 

↓

driver.find_element(By.CSS_SELECTOR, '#q').send_keys('파이썬')

selector = '.inner_search > .ico_pctop.btn_search'
driver.find_element(By.CSS_SELECTOR, selector).click()

 

 

 

 

 

 

 

 

 

아래 연관검색어 가져오기

 

 

 

더보기 버튼

 

 

↓

selector = '#netizen_lists_top > .wsn'
elements = driver.find_elements(By.CSS_SELECTOR, selector)

selector = '#netizen_more_btn_top'
driver.find_element(By.CSS_SELECTOR, selector).click()

keywords = [element.text for element in elements]
keywords

 

실행결과

 

 

# 자바스크립트 코드 실행
driver.execute_script('window.scrollTo(200, 300);')

driver.quit()

창 닫기