Pythonのrequests.getが急にエラーになったときの対処方(urllibで代替)

プログラミング

Katemangostar – jp.freepik.com によって作成された banner ベクトル

Pythonでrequestsライブラリのgetが急にエラーになり、BeautifulSoupによるスクレイピングができなくなりました。

SSL証明書の更新なども行いましたが事象が変わらなかったため
使用するライブラリをrequestsからurllibに変更することで対処できました。

変更前:requestsでの実行(エラーとなった構文)


import requests,bs4

res = requests.get("対象のURL")

res_soup = bs4.BeautifulSoup(res.text,"html.parser")

変更後:urllibので実行


import bs4
import urllib.request

res = urllib.request.urlopen("対象のURL")

res_soup = bs4.BeautifulSoup(res,"lxml")

requestsでハマった方はurllibも試してみてください。

コメント