「ライブラリ」タグアーカイブ

MacのBlender3.0で、pythonのpandas_datareaderを実行したらNo module namedというエラーが発生

環境：MacOS、Blender3.0
Macにて、Pythonスクリプトを使用してBlender3.0からPythonスクリプトを実行すると
エラー内容：
ModuleNotFoundError: No module named ‘pandas_datareader’
Error: Python script failed, check the message in the system console

やったこと
ターミナルから
pip uninstall pandas_datareader
pip install pandas_datareader
pip3 install pandas_datareader

でもだめ

結論

以前使用したのはBlender2.91から、新しく3.0にした。そうなると当然Blender3.0のPythonに置き換わってしまう。
よって2.91のときにインストールしたpandas_datareaderは消去されているので、3.0用に
またインストールする必要がある。頻繁にBlenderのPython使わないから忘れている。

やったこと

自分でメモしてた
Mac版BlenderのPythonにPip、pandas_datareaderインストールしたメモ
https://pikucha.sakura.ne.jp/blog/2020/12/27/mac%E7%89%88blender%E3%81%AEpython%E3%81%ABpip%E3%80%81pandas_datareader%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%97%E3%81%9F%E3%83%A1%E3%83%A2/

MacOSのPythonとBlenderのPythonが存在する。つまりBlenderのPythonにpandas_datareaderを個別に
インストール必要がある。Pipもインストールする

以下はターミナルにて、Blenderディレクトリで実行した例である

（１）pipのインストール

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py

1	curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py

—

(base) ToshironoiMac:bin toshiromaseda$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2596k 100 2596k 0 0 5256k 0 --:--:-- --:--:-- --:--:-- 5256k
curl: (3) URL using bad/illegal format or missing URL
curl: (6) Could not resolve host: get-pip.py

(base) ToshironoiMac:bin toshiromaseda$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py

% Total % Received % Xferd Average Speed Time Time Time Current

Dload Upload Total Spent Left Speed

100 2596k 100 2596k 0 0 5256k 0 --:--:-- --:--:-- --:--:-- 5256k

curl: (3) URL using bad/illegal format or missing URL

curl: (6) Could not resolve host: get-pip.py

—

ディレクトリのファイルを確認する
get-pip.pyがあるはず。なければBlenderのバージョンディレクトリ(2.9とか3.0とか）が違うか、グーグル先生に聞く。
>あった
(base) ToshironoiMac:bin toshiromaseda$ ls
get-pip.py python3.9

（２）次にget-pip.pyを実行

/Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py

1	/Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py

—

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py
Collecting pip
Downloading pip-22.0.4-py3-none-any.whl (2.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.1/2.1 MB 6.2 MB/s eta 0:00:00
Collecting wheel
Downloading wheel-0.37.1-py2.py3-none-any.whl (35 kB)
Installing collected packages: wheel, pip
Attempting uninstall: pip
Found existing installation: pip 21.2.3
Uninstalling pip-21.2.3:
Successfully uninstalled pip-21.2.3
Successfully installed pip-22.0.4 wheel-0.37.1

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py

Collecting pip

Downloading pip-22.0.4-py3-none-any.whl (2.1 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.1/2.1 MB 6.2 MB/s eta 0:00:00

Collecting wheel

Downloading wheel-0.37.1-py2.py3-none-any.whl (35 kB)

Installing collected packages: wheel, pip

Attempting uninstall: pip

Found existing installation: pip 21.2.3

Uninstalling pip-21.2.3:

Successfully uninstalled pip-21.2.3

Successfully installed pip-22.0.4 wheel-0.37.1

—

（3）pandas_datareaderをpipでインストール

/Applications/Blender.app/Contents/Resources/3.0/python/bin/pip install pandas_datareader
—

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/pip install pandas_datareader
Collecting pandas_datareader
Using cached pandas_datareader-0.10.0-py3-none-any.whl (109 kB)
Requirement already satisfied: requests>=2.19.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas_datareader) (2.26.0)
Collecting lxml
Downloading lxml-4.8.0-cp39-cp39-macosx_10_15_x86_64.whl (4.6 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 4.6/4.6 MB 8.1 MB/s eta 0:00:00
Collecting pandas>=0.23
Downloading pandas-1.4.2-cp39-cp39-macosx_10_9_x86_64.whl (11.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.1/11.1 MB 10.7 MB/s eta 0:00:00
Collecting python-dateutil>=2.8.1
Using cached python_dateutil-2.8.2-py2.py3-none-any.whl (247 kB)
Requirement already satisfied: numpy>=1.18.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas>=0.23->pandas_datareader) (1.21.2)
Collecting pytz>=2020.1
Downloading pytz-2022.1-py2.py3-none-any.whl (503 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 503.5/503.5 KB 10.1 MB/s eta 0:00:00
Requirement already satisfied: urllib3<1.27,>=1.21.1 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (1.26.7)
Requirement already satisfied: certifi>=2017.4.17 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2021.10.8)
Requirement already satisfied: charset_normalizer~=2.0.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2.0.6)
Requirement already satisfied: idna<4,>=2.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (3.2)
Collecting six>=1.5
Using cached six-1.16.0-py2.py3-none-any.whl (11 kB)
Installing collected packages: pytz, six, lxml, python-dateutil, pandas, pandas_datareader
Successfully installed lxml-4.8.0 pandas-1.4.2 pandas_datareader-0.10.0 python-dateutil-2.8.2 pytz-2022.1 six-1.16.0
(base) ToshironoiMac:bin toshiromaseda$

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/pip install pandas_datareader

Collecting pandas_datareader

Using cached pandas_datareader-0.10.0-py3-none-any.whl (109 kB)

Requirement already satisfied: requests>=2.19.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas_datareader) (2.26.0)

Collecting lxml

Downloading lxml-4.8.0-cp39-cp39-macosx_10_15_x86_64.whl (4.6 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 4.6/4.6 MB 8.1 MB/s eta 0:00:00

Collecting pandas>=0.23

Downloading pandas-1.4.2-cp39-cp39-macosx_10_9_x86_64.whl (11.1 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.1/11.1 MB 10.7 MB/s eta 0:00:00

Collecting python-dateutil>=2.8.1

Using cached python_dateutil-2.8.2-py2.py3-none-any.whl (247 kB)

Requirement already satisfied: numpy>=1.18.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas>=0.23->pandas_datareader) (1.21.2)

Collecting pytz>=2020.1

Downloading pytz-2022.1-py2.py3-none-any.whl (503 kB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 503.5/503.5 KB 10.1 MB/s eta 0:00:00

Requirement already satisfied: urllib3<1.27,>=1.21.1 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (1.26.7)

Requirement already satisfied: certifi>=2017.4.17 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2021.10.8)

Requirement already satisfied: charset_normalizer~=2.0.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2.0.6)

Requirement already satisfied: idna<4,>=2.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (3.2)

Collecting six>=1.5

Using cached six-1.16.0-py2.py3-none-any.whl (11 kB)

Installing collected packages: pytz, six, lxml, python-dateutil, pandas, pandas_datareader

Successfully installed lxml-4.8.0 pandas-1.4.2 pandas_datareader-0.10.0 python-dateutil-2.8.2 pytz-2022.1 six-1.16.0

(base) ToshironoiMac:bin toshiromaseda$

—

python スクレイピング、BeautifulSoupライブラリ

#株探先物オプションのスクレイピング。取得した文字列をコピペしてTEXTにして、
#CSVに出力してMysqlにインサートするコード
#URLと日付と月限は手動で毎回入力する必要がある。

#以前はファイル作成まで手動で作業していた。
#WEBページを開き
#先物オプションの出来高データを取得して
#テキストファイルにする
#所定のフォルダにコピー、移動する
#個人用クラスメソッドを使う。

いままでWebdriverライブラリを使用していたが、空白部分が自動で削除されてしまった。
削除してほしくなかったので、BeautifulSoupライブラリを使用した。こちらのほうはクロムは起動しないし純粋にhtmlの文字を空白を含めて取得してくれた。
以下は今回作ったコードの一部。class cGetOption()
なおdef returnDriver(self,lurl)はwebdriverを使用したもので実際には採用しなかった。
株探の先物オプションのURLを取得して
そのページの文字列を取得。このとき、ある文字列Aと文字列Bの間の文字を取得（findFirstStrのところ）
そしてタプルで、文字列とファイル名文字列を出力する

https://github.com/maseda1030/yahoofinance_python.git

import MySQLdb
import os
import re
import sys
import time
import datetime
import glob#ファイル一覧
import shutil#move
from selenium import webdriver
import importlib#再読み込みのためのライブラリ

import requests#スクレイピング
from bs4 import BeautifulSoup#スクレイピング

import methodMysql#個人用メソッド pyファイル

###START
importlib.reload(methodMysql)

##以下は毎回手動で確認すること
#株探の市況の先物オプション、市場が開いている当日のPM4：06分頃と、翌日の朝AM6:30以降に更新される。
#土日祝は更新されないが、前日が市場が開いていると更新される。
optionUrl='https://kabutan.jp/news/marketnews/?b=n202103010692'#都度修正、毎日
useDate='2021/3/1'#オプション取り込みの日付　　　　　　　　　　　　　　　#都度修正、毎日
useMonth=3#月限　１２月の作業はたいてい翌月である１月　　　　　　　　　　　　#都度修正、月
useTable='Table_StockOption'#テーブルは固定

#
print('START')
print('chrome起動')
obj=methodMysql.cGetOption()
#このURLは手動でコピペする
#BeautifulSoup版
tupleArray=obj.getOptionDataByBeautifulSoup(optionUrl)

#webdriver版
#tupleArray=obj.getOptionData(optionUrl)
a,b=tupleArray
print(a)#text
print(b)#年月日時分


path='/Users/toshiromaseda/Documents/2020年株関連/kabu_python/'
obj.outputText(path,tupleArray)
#file名は、年月日時分.txtになって保存される。

#ファイルの存在チェックで拡張子をつけてチェックする
if b.find('.txt')&gt;=0:
    pass
else:
    ifile=b+'.txt'

##--
checkFlag='nashi'
files=glob.glob(path+'*.txt')
for file in files:
    if ifile in file:#ファイル名を含んでいればTRUE
        print(file)
        checkFlag='ari'
        break
    else:
        #print(file)
        checkFlag='nashi'
if checkFlag=='nashi':
    print('ファイルが存在しないか、ファイル名が間違っています')
    sys.exit()

        
csvfile='c_'+ifile.split('.')[0]+'.csv'

methodMysql.checkFile(ifile)#check 取り込み済みのファイルかどうかを調べる

try:
    ofile=open(csvfile,'tw') 
except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
   print("ファイルが見つかりません", e)
   #print("強制終了")
   sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい
except Exception as e: # Exceptionは、それ以外の例外が発生した場合
   print(e)

try:#ファイルが存在しないときのエラー処理try
    with open(ifile,'tr') as fin:
        for iline in fin:
            #ilineに、”コール”、”出来高”の文字がある行は無視するようにする
            #countで探すか　1行目、2行目は不要なのでDBにインサートしないための処理
            if iline.count('コール')&gt;=1 or iline.count('出来高')&gt;=1:
                continue#以下は実行されない
            if len(iline)==1:#1文字は改行コードだろうから何もしない
                continue
            try:
                ofile.write(methodMysql.outMojiMKIII(iline)+'\n')#MKIII改良版2020/12/18
                #次はMysqlに直接インサートするバージョンを作業する
            except Exception:
                print("do not")
        ofile.close()
except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
    print("ファイルが見つかりません。パス、ファイル名を確認してください", e)
    ofile.close()
    print("強制終了")
    sys._exit()#ファイルがなければ終了 #tryのときは_exit()が良いらしい
except Exception as e: # Exceptionは、それ以外の例外が発生した場合
   print(e)

#CSVからMysqlへ　CSVファイルがないと実行できない。重複チェックなし
#csvToMysql(difileはCSVファイル名,dtablename、doptionDate日付、dmonth月限)
#テスト用テーブルTest_Table_StockOption
print("csvtoMysql")
methodMysql.csvToMysql(csvfile,useTable,useDate,useMonth)

#Testが終わったら試す。 単独実行可能 但し、ファイルの移動先チェックがないので、他で移動がないことをチェックする必要あり
methodMysql.fileMove(ifile,'./option_python_execute')
methodMysql.fileMove(csvfile,'./option_python_execute')

#表、グラフを出力する 単独実行可能
##methodMysql.selectMysql('Table_StockOption')

print("終わりました。")
print('+++++++')
print('chrome終了')
print('END')


'''
mysql&gt; mysql&gt; SELECT SUM(Volume1) as callVolume1, ExercisePrice,  SUM(Volume2) as putVolume2 
FROM Table_StockOption WHERE Month=3 GROUP BY ExercisePrice ORDER BY Exerce Desc;
'''

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

import MySQLdb

import os

import re

import sys

import time

import datetime

import glob#ファイル一覧

import shutil#move

from selenium import webdriver

import importlib#再読み込みのためのライブラリ

import requests#スクレイピング

from bs4 import BeautifulSoup#スクレイピング

import methodMysql#個人用メソッド pyファイル

###START

importlib.reload(methodMysql)

##以下は毎回手動で確認すること

#株探の市況の先物オプション、市場が開いている当日のPM4：06分頃と、翌日の朝AM6:30以降に更新される。

#土日祝は更新されないが、前日が市場が開いていると更新される。

optionUrl='https://kabutan.jp/news/marketnews/?b=n202103010692'#都度修正、毎日

useDate='2021/3/1'#オプション取り込みの日付　　　　　　　　　　　　　　　#都度修正、毎日

useMonth=3#月限　１２月の作業はたいてい翌月である１月　　　　　　　　　　　　#都度修正、月

useTable='Table_StockOption'#テーブルは固定

print('START')

print('chrome起動')

obj=methodMysql.cGetOption()

#このURLは手動でコピペする

#BeautifulSoup版

tupleArray=obj.getOptionDataByBeautifulSoup(optionUrl)

#webdriver版

#tupleArray=obj.getOptionData(optionUrl)

a,b=tupleArray

print(a)#text

print(b)#年月日時分

path='/Users/toshiromaseda/Documents/2020年株関連/kabu_python/'

obj.outputText(path,tupleArray)

#file名は、年月日時分.txtになって保存される。

#ファイルの存在チェックで拡張子をつけてチェックする

if b.find('.txt')>=0:

pass

else:

ifile=b+'.txt'

##--

checkFlag='nashi'

files=glob.glob(path+'*.txt')

for file in files:

if ifile in file:#ファイル名を含んでいればTRUE

print(file)

checkFlag='ari'

break

else:

#print(file)

checkFlag='nashi'

if checkFlag=='nashi':

print('ファイルが存在しないか、ファイル名が間違っています')

sys.exit()

csvfile='c_'+ifile.split('.')[0]+'.csv'

methodMysql.checkFile(ifile)#check 取り込み済みのファイルかどうかを調べる

try:

ofile=open(csvfile,'tw')

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません", e)

#print("強制終了")

sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

try:#ファイルが存在しないときのエラー処理try

with open(ifile,'tr') as fin:

for iline in fin:

#ilineに、”コール”、”出来高”の文字がある行は無視するようにする

#countで探すか　1行目、2行目は不要なのでDBにインサートしないための処理

if iline.count('コール')>=1 or iline.count('出来高')>=1:

continue#以下は実行されない

if len(iline)==1:#1文字は改行コードだろうから何もしない

continue

try:

ofile.write(methodMysql.outMojiMKIII(iline)+'\n')#MKIII改良版2020/12/18

#次はMysqlに直接インサートするバージョンを作業する

except Exception:

print("do not")

ofile.close()

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません。パス、ファイル名を確認してください", e)

ofile.close()

print("強制終了")

sys._exit()#ファイルがなければ終了 #tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

#CSVからMysqlへ　CSVファイルがないと実行できない。重複チェックなし

#csvToMysql(difileはCSVファイル名,dtablename、doptionDate日付、dmonth月限)

#テスト用テーブルTest_Table_StockOption

print("csvtoMysql")

methodMysql.csvToMysql(csvfile,useTable,useDate,useMonth)

#Testが終わったら試す。単独実行可能但し、ファイルの移動先チェックがないので、他で移動がないことをチェックする必要あり

methodMysql.fileMove(ifile,'./option_python_execute')

methodMysql.fileMove(csvfile,'./option_python_execute')

#表、グラフを出力する単独実行可能

##methodMysql.selectMysql('Table_StockOption')

print("終わりました。")

print('+++++++')

print('chrome終了')

print('END')

'''

mysql> mysql> SELECT SUM(Volume1) as callVolume1, ExercisePrice, SUM(Volume2) as putVolume2

FROM Table_StockOption WHERE Month=3 GROUP BY ExercisePrice ORDER BY Exerce Desc;

'''

#先物オプションテキストコピペ　2021/02/28
class cGetOption():
    def __init__(self):
        pass

    def returnDriver(self,lurl):
        # 仮想ブラウザ起動、URL先のサイトにアクセス
        driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする
        #他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい
        url=lurl
        driver.get(url)
        mydriver=driver
        return mydriver
    #BeautifulSoup版はクロムは起動しない
    def getOptionDataByBeautifulSoup(self,lurl):#BeautifulSoup対応版、別途Importが必要、2021/03/01
        target_url = lurl
        r = requests.get(target_url)         #requestsを使って、webから取得
        soup = BeautifulSoup(r.text, 'lxml') #要素を抽出
        shijyounews=soup.find(id="shijyounews")#id
        article=shijyounews.find("article")#tag
        tagTime=article.find("time")#tag
        mono=article.find(class_="mono")#class

        print("BeautifulSoup")
        #print(mono.text)
        outputFileName=tagTime.text#年月日時分
        #ここに処理を入れる。
        #2021/03/01
        findFirstStr='コール　　　　　　プット'#を探して
        findSecondStr='株探ニュース'#の前までを取得する
        findFirstPosition=mono.text.find(findFirstStr)
        findSecondPosition=mono.text.find(findSecondStr)
        if(findFirstPosition&gt;=0 and findSecondPosition&gt;=0):
            print('search success.')
            outputText=mono.text[findFirstPosition:findSecondPosition]
        else:
            print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')
            sys.exit()       

        output=()#初期化
        output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。
        time.sleep(1)       
        return output

    #webdriver版は、クロムが起動する。こっちは文字の先頭に空白を自動で削除する。この処理がよいときもあるが、今回は空白が必要だったのでB4にした
    def getOptionData(self,lurl):
        driver=self.returnDriver(lurl)
        time.sleep(1)
        #tag,id,css
        main = driver.find_element_by_id("wrapper_main")
        container=main.find_element_by_id("container")
        container_main=container.find_element_by_id("main")
        shijyounews=container_main.find_element_by_id("shijyounews")
        article=shijyounews.find_element_by_tag_name("article")

        tagTime=article.find_element_by_tag_name("time")
        mono=article.find_element_by_class_name("mono")
        #brs=mono.find_elements_by_tag_name("br")
        print(tagTime.text)
        outputFileName=tagTime.text#年月日時分
        #tagTimePosition=tagTime.text.find('日')
        #print(tagTime.text[0:tagTimePosition+1])#年月日
        #print(mono.text)

        findFirstStr='コール　　　　　　プット'#を探して
        findSecondStr='株探ニュース'#の前までを取得する
        findFirstPosition=mono.text.find(findFirstStr)
        findSecondPosition=mono.text.find(findSecondStr)
        if(findFirstPosition&gt;=0 and findSecondPosition&gt;=0):
            print('search success.')
            outputText=mono.text[findFirstPosition:findSecondPosition]
        else:
            print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')
            sys.exit()
        output=()#初期化
        output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。
        time.sleep(1)
        driver.close()#起動したウィンドウを閉じる
        return output

    def outputText(self,path,tupleArray):#ここで受け取るタプルは２つ
        #getOptionData()からテキストとファイル名をタプルを受け取る
        outputText,filename = tupleArray
        if outputText=='' or filename=='' or path=='':
            print("パスかファイル名かテキストがありませんでした。filename,outputText")
            sys.exit()
        os.chdir(path)#ディレクトリ変更
        print(os.getcwd())#ディレクトリ確認
        if filename.find('.txt')&gt;=0:
            pass
        else:
            filename+='.txt'
        try:
            ofile=open(filename,'tw') 
        except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
           print("ファイルが見つかりません", e)
           sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい
        except Exception as e: # Exceptionは、それ以外の例外が発生した場合
           print(e) 
        
        ofile.write(outputText)
        ofile.close()

100

101

102

#先物オプションテキストコピペ　2021/02/28

class cGetOption():

def __init__(self):

pass

def returnDriver(self,lurl):

# 仮想ブラウザ起動、URL先のサイトにアクセス

driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする

#他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい

url=lurl

driver.get(url)

mydriver=driver

return mydriver

#BeautifulSoup版はクロムは起動しない

def getOptionDataByBeautifulSoup(self,lurl):#BeautifulSoup対応版、別途Importが必要、2021/03/01

target_url = lurl

r = requests.get(target_url) #requestsを使って、webから取得

soup = BeautifulSoup(r.text, 'lxml') #要素を抽出

shijyounews=soup.find(id="shijyounews")#id

article=shijyounews.find("article")#tag

tagTime=article.find("time")#tag

mono=article.find(class_="mono")#class

print("BeautifulSoup")

#print(mono.text)

outputFileName=tagTime.text#年月日時分

#ここに処理を入れる。

#2021/03/01

findFirstStr='コール　　　　　　プット'#を探して

findSecondStr='株探ニュース'#の前までを取得する

findFirstPosition=mono.text.find(findFirstStr)

findSecondPosition=mono.text.find(findSecondStr)

if(findFirstPosition>=0 and findSecondPosition>=0):

print('search success.')

outputText=mono.text[findFirstPosition:findSecondPosition]

else:

print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')

sys.exit()

output=()#初期化

output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。

time.sleep(1)

return output

#webdriver版は、クロムが起動する。こっちは文字の先頭に空白を自動で削除する。この処理がよいときもあるが、今回は空白が必要だったのでB4にした

def getOptionData(self,lurl):

driver=self.returnDriver(lurl)

time.sleep(1)

#tag,id,css

main = driver.find_element_by_id("wrapper_main")

container=main.find_element_by_id("container")

container_main=container.find_element_by_id("main")

shijyounews=container_main.find_element_by_id("shijyounews")

article=shijyounews.find_element_by_tag_name("article")

tagTime=article.find_element_by_tag_name("time")

mono=article.find_element_by_class_name("mono")

#brs=mono.find_elements_by_tag_name("br")

print(tagTime.text)

outputFileName=tagTime.text#年月日時分

#tagTimePosition=tagTime.text.find('日')

#print(tagTime.text[0:tagTimePosition+1])#年月日

#print(mono.text)

findFirstStr='コール　　　　　　プット'#を探して

findSecondStr='株探ニュース'#の前までを取得する

findFirstPosition=mono.text.find(findFirstStr)

findSecondPosition=mono.text.find(findSecondStr)

if(findFirstPosition>=0 and findSecondPosition>=0):

print('search success.')

outputText=mono.text[findFirstPosition:findSecondPosition]

else:

print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')

sys.exit()

output=()#初期化

output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。

time.sleep(1)

driver.close()#起動したウィンドウを閉じる

return output

def outputText(self,path,tupleArray):#ここで受け取るタプルは２つ

#getOptionData()からテキストとファイル名をタプルを受け取る

outputText,filename = tupleArray

if outputText=='' or filename=='' or path=='':

print("パスかファイル名かテキストがありませんでした。filename,outputText")

sys.exit()

os.chdir(path)#ディレクトリ変更

print(os.getcwd())#ディレクトリ確認

if filename.find('.txt')>=0:

pass

else:

filename+='.txt'

try:

ofile=open(filename,'tw')

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません", e)

sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

ofile.write(outputText)

ofile.close()

ピクチャ

ピクチャは海外ドラマ、漫画、英単語語呂合わせ法、アイフォンアプリ等の記事を紹介します

「ライブラリ」タグアーカイブ

MacのBlender3.0で、pythonのpandas_datareaderを実行したらNo module namedというエラーが発生

結論

やったこと

（１）pipのインストール

（２）次にget-pip.pyを実行

（3）pandas_datareaderをpipでインストール

python スクレイピング、BeautifulSoupライブラリ