chromedriver-binary-autoのすすめ

はじめに

selenium で Chrome を使っている人は多いと思いますが、誰しもがめんどくさいと思うのが chromedriver と Chrome のバージョンを都度一致させること。
今回そのめんどくささを解消してくれる chromedriver-binary-auto というライブラリがあるということで早速使ってみました。

内容

まずは Chrome をインストール

Windows の場合
Google Chromeからインストール
Ubuntu の場合

# リポジトリの追加
$ sudo sh -c 'echo "deb http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google.list'

# 公開鍵の登録
$ sudo wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add -

# パッケージリストの更新
$ sudo apt update

# インストール
$ sudo apt install google-chrome-stable

chromedriver-binary-auto をインストール python-chromedriver-binaryに従う

# 初回のインストール
$ pip install chromedriver-binary-auto

# アップデート
# Chrome側でアップデートがあったときの対応
$ pip install --upgrade --force-reinstall chromedriver-binary-auto

コードの使用例

from selenium import webdriver
import chromedriver_binary

driver = webdriver.Chrome()
driver.get("http://www.python.org")

よく使うオプション設定

ChromeOptions で、ブラウザの挙動を細かく指定できます。

PDFをダウンロードする

PDFのリンクを開くと、既定ではブラウザ内のビューアで表示されてしまい、ファイルが保存されません。ダウンロード先の指定と、ビューアを使わない設定を組み合わせます。

import os

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_experimental_option(
    "prefs",
    {
        # ダウンロード先のフォルダを指定する
        "download.default_directory": os.path.join(os.getcwd(), "download"),
        # ブラウザ内でPDFを開かず、ダウンロードさせる
        "plugins.always_open_pdf_externally": True,
    },
)

driver = webdriver.Chrome(options=options)
driver.get("https://example.com/sample.pdf")

ダウンロード先は絶対パスで指定してください。相対パスだと、実行時のカレントディレクトリによって保存先が変わります。cronから実行する場合は特に注意が必要です。

指定したフォルダが存在しないと、ダウンロードが失敗することがあります。事前に作成しておくと確実です。

os.makedirs("download", exist_ok=True)

また、driver.get() はダウンロードの完了を待ちません。ファイルが保存される前に処理が進むので、後続で読み込む場合はファイルの出現を待つ処理が要ります。

import time
from pathlib import Path

def wait_download(directory: str, timeout: int = 60) -> None:
    """「.crdownload」が消えるまで待つ"""
    for _ in range(timeout):
        if not list(Path(directory).glob("*.crdownload")):
            return
        time.sleep(1)
    raise TimeoutError("ダウンロードが完了しませんでした")

ダウンロード中のファイルには .crdownload という拡張子が付くので、それが消えたら完了と判断できます。

ヘッドレスで動かす

画面を表示せずに実行します。サーバー上で動かす場合に必須です。

options.add_argument("--headless")
options.add_argument("--disable-gpu")
options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")

Selenium 4.6以降は Selenium Manager が組み込まれ、ドライバの用意を自動でやってくれます。そのため、次のような書き方は不要になりました。

# 4.6より前
import chromedriver_binary          # パスを通すためのimport
driver = webdriver.Chrome("chromedriver", options=options)

# 4.6以降
driver = webdriver.Chrome(options=options)

新しく書くなら、追加のライブラリなしで動かせます。この記事で紹介している chromedriver-binary-auto は、古いバージョンを使い続ける場合や、ドライバのバージョンを明示的に管理したい場合の選択肢として考えてください。

トラブルシューティング

バージョン不整合エラーが発生した場合

Chrome が自動アップデートされた際に、以下のようなエラーが発生することがあります。

The chromedriver version (134.0.6998.90) detected in PATH at /path/to/chromedriver might not be compatible with the detected chrome version (138.0.7204.183); currently, chromedriver 138.0.7204.183 is recommended for chrome 138.*, so it is advised to delete the driver in PATH and retry

解決方法: 手動でChromedriverを削除

エラーメッセージに表示されたパスのchromedriverファイルを手動で削除します。

# エラーメッセージのパスを確認して削除
$ rm /path/to/env/lib/python3.10/site-packages/chromedriver_binary/chromedriver

その後、Pythonコードを再実行すると、適切なバージョンのchromedriverが自動的にダウンロードされます。

chromedriver-binary-autoのすすめ

関連記事

この記事を書いた人