【Selenium】 Raspberry Pi で Firefox を使ってヘッドレス (ディスプレイなし) でフォーム入力を自動化

$ sudo apt install firefox-esr

$ wget https://github.com/mozilla/geckodriver/releases/download/v0.23.0/geckodriver-v0.23.0-arm7hf.tar.gz
$ tar -zxvf geckodriver-v0.23.0-arm7hf.tar.gz
$ sudo mv geckodriver /usr/local/bin
$ rm geckodriver-v0.23.0-arm7hf.tar.gz

driver = webdriver.Firefox()

# A の方法でインストールした場合
driver = webdriver.Chrome()
# B の方法でインストールした場合，ドライバを(必要なら)インストールして立ち上げます
driver = webdriver.Chrome(ChromeDriverManager().install())

import chromedriver_binary
from webdriver_manager.chrome import ChromeDriverManager

Options = webdriver.FirefoxOptions()
# ヘッドレス化
Options.headless = True
# 必須
Options.add_argument('--no-sandbox')
Options.add_argument('--disable-gpu')
# エラーの許容
Options.add_argument('--ignore-certificate-errors')
Options.add_argument('--allow-running-insecure-content')
Options.add_argument('--disable-web-security')
# headless では不要そうな機能を除外
Options.add_argument('--disable-desktop-notifications')
Options.add_argument("--disable-extensions")
# UA設定 （なくてもいい）
Options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0')
# 言語 (なくてもいいが言語によって表示されるページが変わる可能性があるので念のため)
Options.add_argument('--lang=ja')
# 画像を読み込まないで軽くする
Options.add_argument('--blink-settings=imagesEnabled=false')

# import os をしていなければしておく
log_path = os.path.join(os.path.dirname(__file__), 'geckodriver.log')
driver = webdriver.Firefox(options=Options, service_log_path=log_path)

$ sudo apt install xvfb

$ Xvfb :1 -screen 0 1024x768x24 &
$ export DISPLAY=:1

$ echo "Xvfb :1 -screen 0 1024x768x24 &" >> ~/.bashrc
$ echo "export DISPLAY=:1" >> ~/.bashrc

# import os をしていなければしておく
log_path = os.path.join(os.path.dirname(__file__), 'geckodriver.log')
driver = webdriver.Firefox(service_log_path=log_path)

# このパスでは動かなかったので変更
# elem = driver.find_element_by_xpath('/html/body/div[1]/div[3]/form/div[1]/div[1]/div[1]/div/div[2]/input')
elem = driver.find_element_by_xpath('/html/body/div[1]/div/div[3]/div[1]/form/div/div/div[1]/input')

#1
from time import sleep
from selenium import webdriver
# 不要なのでコメントアウト
# from webdriver_manager.chrome import ChromeDriverManager
# log のパスを設定するために追加
import os

def main():
    try:
        # オプションの設定を追加 (方法B の場合は不要)
        Options = webdriver.FirefoxOptions()
        # ヘッドレス化
        Options.headless = True
        # 必須
        Options.add_argument('--no-sandbox')
        Options.add_argument('--disable-gpu')
        # エラーの許容
        Options.add_argument('--ignore-certificate-errors')
        Options.add_argument('--allow-running-insecure-content')
        Options.add_argument('--disable-web-security')
        # headless では不要そうな機能を除外
        Options.add_argument('--disable-desktop-notifications')
        Options.add_argument("--disable-extensions")
        # UA設定 （なくてもいい）
        Options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0')
        # 言語 (なくてもいいが言語によって表示されるページが変わる可能性があるので念のため)
        Options.add_argument('--lang=ja')
        # 画像を読み込まないで軽くする
        Options.add_argument('--blink-settings=imagesEnabled=false')

        #2
        # Chrome ではなく オプションと log のパスを指定して Firefox を起動するように変更
        # driver = webdriver.Chrome(ChromeDriverManager().install())
        log_path = os.path.join(os.path.dirname(__file__), 'geckodriver.log')
        driver = webdriver.Firefox(options=Options, service_log_path=log_path)
        # 方法B の場合は以下のようにして起動する
        # driver = webdriver.Firefox(service_log_path=log_path)

        driver.implicitly_wait(3)

        page_url = 'https://www.google.com/'
        driver.get(page_url)
        sleep(1)

        #3
        # このパスでは動かなかったので変更
        # elem = driver.find_element_by_xpath('/html/body/div[1]/div[3]/form/div[1]/div[1]/div[1]/div/div[2]/input')
        elem = driver.find_element_by_xpath('/html/body/div[1]/div/div[3]/div[1]/form/div/div/div[1]/input')
        elem.clear()
        elem.send_keys("Qiita")
        elem.submit()
        sleep(1)

        #4
        for elem_h3 in driver.find_elements_by_xpath('//a/h3'):
            elem_a = elem_h3.find_element_by_xpath('..')
            print(elem_h3.text)
            print('#', elem_a.get_attribute('href'))

        #5
        driver.close()

        print("Succeed")
    except Exception:
        # 失敗した場合も閉じておく
        driver.close()
        print("Fail")

if __name__ == "__main__":
    main()

$ crontab -e

# 分 時 日 月 曜日 コマンド
  0  *  *  *  *  python3 /path/to/firefox.py