透過 Selenium 與 BeautifulSoup 進行爬蟲工作

網頁的自動化測試常提到 selenium ，
除了測試以外，
也可透過 selenium 來進行爬蟲工作，
Selenium支援許多瀏覽器，
幫助程式在網站進行各種自動化操作，
今天就來教大家：

透過 selenium 與 BeautifulSoup 進行爬蟲工作

第一個步驟當然是宣告需要的套件：

from bs4 import BeautifulSoup
from selenium import webdriver
import time

如果是使用 Selenium 打開瀏覽器的話，
需要先到此處下載 chrome driver 
程式開啟的視窗會顯示目前受到自動測試軟體控制，

  driver = webdriver.Chrome("chrome driver的路徑")  
  driver.get("要測試的網址")
  time.sleep(2)  # 必須等待資料 ready，視情況修改等待秒數
  html = driver.page_source  
  driver.close()  # 關閉瀏覽器
  soup = BeautifulSoup(html, "html.parser")

至此，
其實已經擷取到目標網頁的所有資料，
透過 selenium 或者 BeautifulSoup 提供的方法可以找到需要的資料，
例如：

tag_li = soup.find(attrs={"class": "ivu-table-body"})    
tag_span = tag_li.find_all(["span", "a"])
for x in tag_span :
    print(x.string)

• 透過參數讓瀏覽器在背景執行

• 使用 pyvirtualdisplay 與 Xvfb 來虛擬顯示器

若是看到如上圖的錯誤訊息，
並非程式出錯，
而是沒有安裝 xvfb ：
sudo apt-get install xvfb 

為何已經使用 BeautifulSoup 還要透過 selenium？
原因很簡單，
由於某些資料經過 js 才能顯示，
但使用 requesets 不能保證取得需要的資料，
透過 selenium 才能真正產生資料