「python」カテゴリーアーカイブ

python data.DataReader yahooファイナンスからデータ取得でエラー

参考サイト

https://qiita.com/namkim/items/9b520d9c609cdca2b0fepandasから株価のデータ取得できなくなった件

https://www.bookloveru2.com/post/python-analysis16python（pandas_datareader）の株価取得でエラーが出た方へ

・エラー内容

久しぶりに株価チャートを描画して、グラフの比較をしようと思ったら、以下のエラーが発生。

エラー

RemoteDataError: Unable to read URL: https://finance.yahoo.com/quote/4082.T/history?period1=1647156086&period2=1653278399&interval=1d&frequency=1d&filter=history

調べると仕様が変わったみたい

・対応

モジュール（？ライブラリ）をインストール、自分の場合は、
pip install yfinance

そして以下のモジュールを追記
#2022/05/22　追記
import pandas
from pandas_datareader import data as pdr
import yfinance as yfin
yfin.pdr_override()
#2022/05/22　追記

nlistは配列として使用。個別では’9102.T’みたいに記載する
#df=data.DataReader(nlist,’yahoo’,start,end)#2022/05/22　エラー発生

↓
df = pdr.get_data_yahoo(nlist,start, end) #2022/05/22修正

モジュールを追記して、dfのところを修正すればよい

python　勉強中、文字列　改行ごとに配列にしたい

テストコード、2022/05/03

実際の使用するコードはこちら

#python　勉強中、 文字列　改行ごとに配列にしたい
import os
import re
import sys
import datetime
import glob#ファイル一覧
import shutil#move


#トリプルクォート(3つ）で改行状態で文字列を設定できる。注意するのは'''のすぐ次に文字列を入れないと
#改行も配列として扱われてしまう。'''1で1行、
#'''
#1
#とすると、「改行」、1のようになって2つの配列数となる
s='''1
2
'''
tmpList=[]
tmpList=s.splitlines()
print(tmpList)#['1', '2']

tmpStr='''1
namae,tete

2
tetete,aaa,aaa
'''
tmpList=[]
tmpList=tmpStr.splitlines()
print(tmpList)

#python　勉強中、文字列　改行ごとに配列にしたい

import os

import re

import sys

import datetime

import glob#ファイル一覧

import shutil#move

#トリプルクォート(3つ）で改行状態で文字列を設定できる。注意するのは'''のすぐ次に文字列を入れないと

#改行も配列として扱われてしまう。'''1で1行、

#'''

#とすると、「改行」、1のようになって2つの配列数となる

s='''1

'''

tmpList=[]

tmpList=s.splitlines()

print(tmpList)#['1', '2']

tmpStr='''1

namae,tete

tetete,aaa,aaa

'''

tmpList=[]

tmpList=tmpStr.splitlines()

print(tmpList)

出力結果

['1', '2']
['1', 'namae,tete', '', '2', 'tetete,aaa,aaa']

1 2	['1', '2'] ['1', 'namae,tete', '', '2', 'tetete,aaa,aaa']

Blender3.0　Pythonで３Dテキスト作成でエラー

症状：Mac　Blender3.0、　Python3.0を使用してフォント指定して３Dテキスト作成でエラーが発生

去年（Ver2.91？）使ったときはエラーはなかった。おそらくOSのバージョンによりフォントが変わったか
Blender3.0になってBlenderPythonのコマンドが変わったのかも？

原因：

bpy.data.fonts[“HiraginoSans-W6”].nameが使えなくなったかも？詳しくは調べていない。
また、前回のエラーで中途半端なオブジェクトが作成されていたようだ。

エラー内容：

Traceback (most recent call last):
File "/Users/toshiromaseda/Documents/blender/model/Nikkei/python_Nikkei_Candole017_anime02.blend/python_nikkei_candole007_anime01.py", line 480, in <module>
File "/Users/toshiromaseda/Documents/blender/model/Nikkei/python_Nikkei_Candole017_anime02.blend/python_nikkei_candole007_anime01.py", line 252, in add_textKai
KeyError: 'bpy_prop_collection[key]: key "HiraginoSans-W6" not found'
Error: Python script failed, check the message in the system console

Warning: Text not found: bpy_prop_collection

Traceback (most recent call last):

File "/Users/toshiromaseda/Documents/blender/model/Nikkei/python_Nikkei_Candole017_anime02.blend/python_nikkei_candole007_anime01.py", line 480, in <module>

File "/Users/toshiromaseda/Documents/blender/model/Nikkei/python_Nikkei_Candole017_anime02.blend/python_nikkei_candole007_anime01.py", line 252, in add_textKai

KeyError: 'bpy_prop_collection[key]: key "HiraginoSans-W6" not found'

Error: Python script failed, check the message in the system console

Warning: Text not found: bpy_prop_collection

調査：

ヒラギノ角ゴシックは存在する。
なのでフォントの指定方法が異なっているかもしれない。
フォントにこだわりがあるわけでもない。
ロードはできているかもしれない。

該当の部分である以下の行
bpy.data.fonts[“HiraginoSans-W6”].name = “HiraginoSans-W6”
をコメントにして動作するかを確認する。
コメントしてエラーはなくなった。

（２）次のエラー

「Traceback (most recent call last):
File "/Users/toshiromaseda/Documents/blender/model/Nikkei/python_Nikkei_Candole017_anime02.blend/python_nikkei_candole007_anime01.py", line 514, in <module>
KeyError: 'bpy_prop_collection[key]: key "O:27965.94" not found'
Error: Python script failed, check the message in the system console」

「Traceback (most recent call last):

File "/Users/toshiromaseda/Documents/blender/model/Nikkei/python_Nikkei_Candole017_anime02.blend/python_nikkei_candole007_anime01.py", line 514, in <module>

KeyError: 'bpy_prop_collection[key]: key "O:27965.94" not found'

Error: Python script failed, check the message in the system console」

どうやら、テキストオブジェクト名が、「O:27965.94」になっていなくて、標準の「Text.001」みたいになってた。
たぶんオブジェクトNameが正しく更新されていないようだった。
オブジェクトリストのところの、「Text.001」とか「Text.002」とか「Text」を全部削除した。
これでどうなるか試す。
OK
前回のエラーで中途半端なオブジェクトが作成されていたようだ。

また、もし、以下のところでエラーがでたらコメントにしておく
bpy.data.fonts[“HiraginoSans-W6”].name = “HiraginoSans-W6”

今後の対応：

Blenderのバージョンアップがあった場合、
最新版とこのローソク足実行用のバージョンの両方を残すようにする。
つまり、バージョンアップで上書きをしない。（旧版を削除しない）
そして、最新版で動作が確認できたときに、旧版削除する。

MacのBlender3.0で、pythonのpandas_datareaderを実行したらNo module namedというエラーが発生

環境：MacOS、Blender3.0
Macにて、Pythonスクリプトを使用してBlender3.0からPythonスクリプトを実行すると
エラー内容：
ModuleNotFoundError: No module named ‘pandas_datareader’
Error: Python script failed, check the message in the system console

やったこと
ターミナルから
pip uninstall pandas_datareader
pip install pandas_datareader
pip3 install pandas_datareader

でもだめ

結論

以前使用したのはBlender2.91から、新しく3.0にした。そうなると当然Blender3.0のPythonに置き換わってしまう。
よって2.91のときにインストールしたpandas_datareaderは消去されているので、3.0用に
またインストールする必要がある。頻繁にBlenderのPython使わないから忘れている。

やったこと

自分でメモしてた
Mac版BlenderのPythonにPip、pandas_datareaderインストールしたメモ
https://pikucha.sakura.ne.jp/blog/2020/12/27/mac%E7%89%88blender%E3%81%AEpython%E3%81%ABpip%E3%80%81pandas_datareader%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%97%E3%81%9F%E3%83%A1%E3%83%A2/

MacOSのPythonとBlenderのPythonが存在する。つまりBlenderのPythonにpandas_datareaderを個別に
インストール必要がある。Pipもインストールする

以下はターミナルにて、Blenderディレクトリで実行した例である

（１）pipのインストール

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py

1	curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py

—

(base) ToshironoiMac:bin toshiromaseda$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2596k 100 2596k 0 0 5256k 0 --:--:-- --:--:-- --:--:-- 5256k
curl: (3) URL using bad/illegal format or missing URL
curl: (6) Could not resolve host: get-pip.py

(base) ToshironoiMac:bin toshiromaseda$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py

% Total % Received % Xferd Average Speed Time Time Time Current

Dload Upload Total Spent Left Speed

100 2596k 100 2596k 0 0 5256k 0 --:--:-- --:--:-- --:--:-- 5256k

curl: (3) URL using bad/illegal format or missing URL

curl: (6) Could not resolve host: get-pip.py

—

ディレクトリのファイルを確認する
get-pip.pyがあるはず。なければBlenderのバージョンディレクトリ(2.9とか3.0とか）が違うか、グーグル先生に聞く。
>あった
(base) ToshironoiMac:bin toshiromaseda$ ls
get-pip.py python3.9

（２）次にget-pip.pyを実行

/Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py

1	/Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py

—

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py
Collecting pip
Downloading pip-22.0.4-py3-none-any.whl (2.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.1/2.1 MB 6.2 MB/s eta 0:00:00
Collecting wheel
Downloading wheel-0.37.1-py2.py3-none-any.whl (35 kB)
Installing collected packages: wheel, pip
Attempting uninstall: pip
Found existing installation: pip 21.2.3
Uninstalling pip-21.2.3:
Successfully uninstalled pip-21.2.3
Successfully installed pip-22.0.4 wheel-0.37.1

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py

Collecting pip

Downloading pip-22.0.4-py3-none-any.whl (2.1 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.1/2.1 MB 6.2 MB/s eta 0:00:00

Collecting wheel

Downloading wheel-0.37.1-py2.py3-none-any.whl (35 kB)

Installing collected packages: wheel, pip

Attempting uninstall: pip

Found existing installation: pip 21.2.3

Uninstalling pip-21.2.3:

Successfully uninstalled pip-21.2.3

Successfully installed pip-22.0.4 wheel-0.37.1

—

（3）pandas_datareaderをpipでインストール

/Applications/Blender.app/Contents/Resources/3.0/python/bin/pip install pandas_datareader
—

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/pip install pandas_datareader
Collecting pandas_datareader
Using cached pandas_datareader-0.10.0-py3-none-any.whl (109 kB)
Requirement already satisfied: requests>=2.19.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas_datareader) (2.26.0)
Collecting lxml
Downloading lxml-4.8.0-cp39-cp39-macosx_10_15_x86_64.whl (4.6 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 4.6/4.6 MB 8.1 MB/s eta 0:00:00
Collecting pandas>=0.23
Downloading pandas-1.4.2-cp39-cp39-macosx_10_9_x86_64.whl (11.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.1/11.1 MB 10.7 MB/s eta 0:00:00
Collecting python-dateutil>=2.8.1
Using cached python_dateutil-2.8.2-py2.py3-none-any.whl (247 kB)
Requirement already satisfied: numpy>=1.18.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas>=0.23->pandas_datareader) (1.21.2)
Collecting pytz>=2020.1
Downloading pytz-2022.1-py2.py3-none-any.whl (503 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 503.5/503.5 KB 10.1 MB/s eta 0:00:00
Requirement already satisfied: urllib3<1.27,>=1.21.1 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (1.26.7)
Requirement already satisfied: certifi>=2017.4.17 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2021.10.8)
Requirement already satisfied: charset_normalizer~=2.0.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2.0.6)
Requirement already satisfied: idna<4,>=2.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (3.2)
Collecting six>=1.5
Using cached six-1.16.0-py2.py3-none-any.whl (11 kB)
Installing collected packages: pytz, six, lxml, python-dateutil, pandas, pandas_datareader
Successfully installed lxml-4.8.0 pandas-1.4.2 pandas_datareader-0.10.0 python-dateutil-2.8.2 pytz-2022.1 six-1.16.0
(base) ToshironoiMac:bin toshiromaseda$

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/pip install pandas_datareader

Collecting pandas_datareader

Using cached pandas_datareader-0.10.0-py3-none-any.whl (109 kB)

Requirement already satisfied: requests>=2.19.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas_datareader) (2.26.0)

Collecting lxml

Downloading lxml-4.8.0-cp39-cp39-macosx_10_15_x86_64.whl (4.6 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 4.6/4.6 MB 8.1 MB/s eta 0:00:00

Collecting pandas>=0.23

Downloading pandas-1.4.2-cp39-cp39-macosx_10_9_x86_64.whl (11.1 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.1/11.1 MB 10.7 MB/s eta 0:00:00

Collecting python-dateutil>=2.8.1

Using cached python_dateutil-2.8.2-py2.py3-none-any.whl (247 kB)

Requirement already satisfied: numpy>=1.18.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas>=0.23->pandas_datareader) (1.21.2)

Collecting pytz>=2020.1

Downloading pytz-2022.1-py2.py3-none-any.whl (503 kB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 503.5/503.5 KB 10.1 MB/s eta 0:00:00

Requirement already satisfied: urllib3<1.27,>=1.21.1 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (1.26.7)

Requirement already satisfied: certifi>=2017.4.17 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2021.10.8)

Requirement already satisfied: charset_normalizer~=2.0.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2.0.6)

Requirement already satisfied: idna<4,>=2.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (3.2)

Collecting six>=1.5

Using cached six-1.16.0-py2.py3-none-any.whl (11 kB)

Installing collected packages: pytz, six, lxml, python-dateutil, pandas, pandas_datareader

Successfully installed lxml-4.8.0 pandas-1.4.2 pandas_datareader-0.10.0 python-dateutil-2.8.2 pytz-2022.1 six-1.16.0

(base) ToshironoiMac:bin toshiromaseda$

—

pythonでlocalからGoogle Driveへファイルアップロード、テスト中

環境：MacOS
Python
Anaconda、JupiterLab（結果はJupyterLabでは実行できない）、Chrome
ターミナル（こっちでPython実行）

GoogleCloudPlatformの認証設定とJsonファイルのダウンロードが必要

目的：ローカルドライブのCSVをグーグルドライブにアップロードしたい

エラーになったスクリプト、動作しない

#ターミナルで実行する。JypyterLabでは、エラーになるから
#ターミナルで実行する

#https://i-o-knowledge.blogspot.com/2018/04/pythonlocalgoogle-drive-csvspreadsheet.html
#pythonでlocalからGoogle Driveへファイルアップロード
#JupyterLabだとエラーになる　「ipykernel_launcher.py: error: unrecognized arguments:」
from __future__ import print_function
from apiclient.discovery import build #インストールが必要、pip install google-api-python-client　2022/03/07
from apiclient.http import MediaFileUpload
from httplib2 import Http
from oauth2client import file, client, tools#インストールが必要、pip install oauth2client

path='/Users/toshiromaseda/Documents/2022年/2022年株/yahoofinance_data/'

myfilename="年初来高値更新20220307.csv"

# Setup the Drive v3 API
SCOPES = 'https://www.googleapis.com/auth/drive.metadata.readonly'
#https://www.googleapis.com/auth/drive 
#https://www.googleapis.com/auth/drive.file 
#https://www.googleapis.com/auth/drive.appdata 
#https://www.googleapis.com/auth/drive.apps.readonly

store = file.Storage('credentials.json')
creds = store.get()
if not creds or creds.invalid:
    flow = client.flow_from_clientsecrets('/Users/toshiromaseda/Documents/2020年株関連/kabu_python/client_secret.json', SCOPES)
    creds = tools.run_flow(flow, store)
drive_service = build('drive', 'v3', http=creds.authorize(Http()))

file_metadata = {
    'name': '年初来高値更新20220307.csv',
    'mimeType': 'application/vnd.google-apps.spreadsheet'
}
media = MediaFileUpload('/Users/toshiromaseda/Documents/2022年/2022年株/yahoofinance_data/年初来高値更新20220307.csv',
                        mimetype='text/csv',
                        resumable=True)
file = drive_service.files().create(body=file_metadata,
                                    media_body=media,
                                    fields='id').execute()
#print 'File ID: %s' % file.get('id')

#ターミナルで実行する。JypyterLabでは、エラーになるから

#ターミナルで実行する

#https://i-o-knowledge.blogspot.com/2018/04/pythonlocalgoogle-drive-csvspreadsheet.html

#pythonでlocalからGoogle Driveへファイルアップロード

#JupyterLabだとエラーになる　「ipykernel_launcher.py: error: unrecognized arguments:」

from __future__ import print_function

from apiclient.discovery import build #インストールが必要、pip install google-api-python-client　2022/03/07

from apiclient.http import MediaFileUpload

from httplib2 import Http

from oauth2client import file, client, tools#インストールが必要、pip install oauth2client

path='/Users/toshiromaseda/Documents/2022年/2022年株/yahoofinance_data/'

myfilename="年初来高値更新20220307.csv"

# Setup the Drive v3 API

SCOPES = 'https://www.googleapis.com/auth/drive.metadata.readonly'

#https://www.googleapis.com/auth/drive

#https://www.googleapis.com/auth/drive.file

#https://www.googleapis.com/auth/drive.appdata

#https://www.googleapis.com/auth/drive.apps.readonly

store = file.Storage('credentials.json')

creds = store.get()

if not creds or creds.invalid:

flow = client.flow_from_clientsecrets('/Users/toshiromaseda/Documents/2020年株関連/kabu_python/client_secret.json', SCOPES)

creds = tools.run_flow(flow, store)

drive_service = build('drive', 'v3', http=creds.authorize(Http()))

file_metadata = {

'name': '年初来高値更新20220307.csv',

'mimeType': 'application/vnd.google-apps.spreadsheet'

}

media = MediaFileUpload('/Users/toshiromaseda/Documents/2022年/2022年株/yahoofinance_data/年初来高値更新20220307.csv',

mimetype='text/csv',

resumable=True)

file = drive_service.files().create(body=file_metadata,

media_body=media,

fields='id').execute()

#print 'File ID: %s' % file.get('id')

（１）ライブラリ、モジュールインストール

pip install google-api-python-client
pip install oauth2client
したあとで
WEBで拾ったPythonスクリプトをjupyterで実行したら、
以下のエラー　’client_secret.json’がないということか？

「
/Users/toshiromaseda/opt/anaconda3/lib/python3.7/site-packages/oauth2client/_helpers.py:255: UserWarning: Cannot access credentials.json: No such file or directory
warnings.warn(_MISSING_FILE_MESSAGE.format(filename))
（略）
InvalidClientSecretsError: (‘Error opening file’, ‘client_secret.json’, ‘No such file or directory’, 2)
」

（２）間違い

サービスアカウントキー(JSONファイル)の発行が必要らしい
参考
https://algorithm.joho.info/programming/python/google-spread-sheet-py/

GoogleCloudPlatformでプロジェクトを作成して、「ウェブアプリケーション」として
作成した。
https://console.developers.google.com/cloud-resource-manager
＞＞＞これは後ほど間違いで「デスクトップアプリ」で作成する

そのJsonファイルをダウンロードして、実行するPyファイルと同じ階層に
入れておいてリネームしておく
yearhigh2022-4fe5fcXXXXXX.json（ファイル名は仮名）
↓
client_secret.json

そして、スクリプト内のファイル名だけだと、No such fileになるので、フルパス＋ファイル名にした。

（３）他のJsonファイルを作成

次のエラー
「
InvalidClientSecretsError: Invalid file format. See https://developers.google.com/api-client-library/python/guide/aaa_client_secrets Expected a JSON object with a single property for a “web” or “installed” application」

たぶん（２）で取得したJsonファイルではだめらしい。
他のJsonファイルを作成してみる。

スプレッドシートのキーではなくて、ドライブのキーを作成してみる。2022/03/08
https://dev.classmethod.jp/articles/google-spreadsheet-append-csv-from-command-line/

OAuth 2.0 クライアント IDのキーをダウンロードした。
画面の右側に操作という項目があるので、その下にダウロードアイコン（下矢印）をクリックすると
ダウンロードできた。
「client_secret_XXXX.apps.googleusercontent.com.json」というファイルがダウンロードできた。
これをリネームすればよさそう

（４）不要

（＞＞結果的に、アプリケーションの種類では「デスクトップアプリ」なので
このリダイレクトは不要になった）

次のエラー
Jsonファイルを作成したところまでできた。
「redirect_uris」についてなにか違うようだ。

「
InvalidClientSecretsError: Missing property “redirect_uris” in a client type of “web”.
」

https://stackoverflow.com/questions/48362621/oauth2client-clientsecrets-invalidclientsecretserror-missing-property-redirect

GoogleCloudPlatform画面のどこかにURIを設定するようだ

＞GoogleCloudPlatform画面の「認証情報」のOAuth 2.0 クライアント IDの欄で
作成したウェブクライアントの編集を行う。

「ウェブアプリケーションのクライアント ID」画面で
「承認済みのリダイレクト URI」を設定する
http://localhost:8080
そして再度、またJsonファイルをダウンロードする。
リネームした。

jupyterで実行すると、また別のエラーになった
「credentials.json」がないそうだ。2022/03/09

「
/Users/toshiromaseda/opt/anaconda3/lib/python3.7/site-packages/oauth2client/_helpers.py:255: UserWarning: Cannot access credentials.json: No such file or directory
warnings.warn(_MISSING_FILE_MESSAGE.format(filename))
usage: ipykernel_launcher.py [–auth_host_name AUTH_HOST_NAME]
[–noauth_local_webserver]
[–auth_host_port [AUTH_HOST_PORT [AUTH_HOST_PORT …]]]
[–logging_level {DEBUG,INFO,WARNING,ERROR,CRITICAL}]
ipykernel_launcher.py: error: unrecognized arguments: -f /Users/toshiromaseda/Library/Jupyter/runtime/kernel-ba689470-fac8-4b05-9082-70df85f8e27f.json
An exception has occurred, use %tb to see the full traceback.

SystemExit: 2
」
空のファイルcredentials.jsonを作成する必要があるらしいので、
空のファイルcredentials.jsonをテキストエディタ（CotEditor）で作成した

（５）ターミナルコンソールでPython

jupyterで実行したらまたエラー

「
usage: ipykernel_launcher.py [–auth_host_name AUTH_HOST_NAME]
[–noauth_local_webserver]
[–auth_host_port [AUTH_HOST_PORT [AUTH_HOST_PORT …]]]
[–logging_level {DEBUG,INFO,WARNING,ERROR,CRITICAL}]
ipykernel_launcher.py: error: unrecognized arguments: -f /Users/toshiromaseda/Library/Jupyter/runtime/kernel-ba689470-fac8-4b05-9082-70df85f8e27f.json
An exception has occurred, use %tb to see the full traceback.
」

コマンドライン引数は　jupyter では対応できないらしい
https://qiita.com/uenonuenon/items/09fa620426b4c5d4acf9

ということは、JupyterLabで実行しなければよいということか？
つまり、ターミナルコンソールでPythonで実行すればよいのかな？

(6)承認エラー

ターミナルで実行した。
するとChromeが開き、
「承認エラー
エラー 400: redirect_uri_mismatch
このアプリは Google の OAuth 2.0 ポリシーを遵守していないため、ログインできません。
」
となった。

参考
pydriveで「エラー 400: redirect_uri_mismatch」
https://awesome03.com/2021/01/10/pydrive%E3%81%A7%E3%80%8C%E3%82%A8%E3%83%A9%E3%83%BC-400-redirect_uri_mismatch%E3%80%8D/

GoogleCloudPlatform画面で
アプリケーションの種類では「デスクトップアプリ」を選択する必要があるらしい

GoogleCloudPlatform画面で「＋認証情報を作成」をクリック
OAuth 2.0 クライアント IDでアプリケーションの種類では「デスクトップアプリ」を選択
して作成した。
そして、Jsonファイルをダウンロード
client_secret.jsonにリネームした

(7)承認エラー　エラー 403: access_denied

実行したらChromeが開き、

アカウント（自分が持ってるアカウント）の選択で、アカウントを選択したらアクセス権がないらしい

承認エラー
エラー 403: access_denied
The developer hasn’t given you access to this app. It’s currently being tested and it hasn’t been verified by Google. If you think you should have access, contact the developer (maXXX@gmail.com).

アクセス権を与えてみる
https://console.developers.google.com/cloud-resource-manager

サービスアカウントの管理から
サービスアカウントでグーグルのアカウントを追加した。
いつも使っているグーグルメール　mas***@gmail.com

画像

でもだめだったので
OAuth 同意画面
にテストユーザとして
グーグルアカウントのメールを追加した。

いくつかの画面が表示された
そしてChrome画面に

The authentication flow has completed.

もう一度ターミナルで実行すると
python upload_gdrive.py
Chromeには何も表示されず
ターミナル側にエラーになってた。

「
Traceback (most recent call last):
File “upload_gdrive.py”, line 32, in <module>
fields=’id’).execute()
File “/Users/toshiromaseda/opt/anaconda3/lib/python3.7/site-packages/googleapiclient/_helpers.py”, line 131, in positional_wrapper
return wrapped(*args, **kwargs)
File “/Users/toshiromaseda/opt/anaconda3/lib/python3.7/site-packages/googleapiclient/http.py”, line 901, in execute
_, body = self.next_chunk(http=http, num_retries=num_retries)
File “/Users/toshiromaseda/opt/anaconda3/lib/python3.7/site-packages/googleapiclient/_helpers.py”, line 131, in positional_wrapper
return wrapped(*args, **kwargs)
File “/Users/toshiromaseda/opt/anaconda3/lib/python3.7/site-packages/googleapiclient/http.py”, line 1021, in next_chunk
raise ResumableUploadError(resp, content)
googleapiclient.errors.ResumableUploadError: <HttpError 403 when requesting None returned “Insufficient Permission: Request had insufficient authentication scopes.”. Details: “[{‘domain’: ‘global’, ‘reason’: ‘insufficientPermissions’, ‘message’: ‘Insufficient Permission: Request had insufficient authentication scopes.’}]”>
」
このエラーを分析する

（８）エラー

2022/03/10
わかったスコープのURLがReadOnlyだ。ファイルをアップロードするからリードオンリーではだめなはず。
スクリプトに記載のURLがreadonly、読み込みのみ。アップロードするからReadではだめ。
SCOPES = ‘https://www.googleapis.com/auth/drive.metadata.readonly’
#https://www.googleapis.com/auth/drive
#https://www.googleapis.com/auth/drive.file
#https://www.googleapis.com/auth/drive.appdata
#https://www.googleapis.com/auth/drive.apps.readonly

参考８
[Python]GoogleDriveAPIの基本的な使い方
https://zenn.dev/wtkn25/articles/python-googledriveapi-operation
＞＞わかりやすい
最初にWebで拾ったスクリプトの内容が怪しい、自分の思うように動作しない
ように思えたので、「参考８」サイトを参考にして作り直す。

現在、2022/03/13作業中で、まだ実行すらしていない状態のスクリプト、参考８から抜粋した。

でも実行したらエラー。今ここ。

from googleapiclient.discovery import build
from httplib2 import Http
from oauth2client import file, client, tools

from apiclient.http import MediaFileUpload

#ローカルPCからグーグルドライブにファイルをアップロードする
#https://zenn.dev/wtkn25/articles/python-googledriveapi-operation

SCOPES = ['https://www.googleapis.com/auth/drive']

store = file.Storage('token.json')
creds = store.get()
if not creds or creds.invalid:
    flow = client.flow_from_clientsecrets('./client_secret.json', SCOPES)
    creds = tools.run_flow(flow, store)
drive_service = build('drive', 'v3', http=creds.authorize(Http()))

file_metadata = {
    'name': 'フォルダ名',
    'mimeType': 'application/vnd.google-apps.folder',
    'parents': ['格納するフォルダのID']
    }

drive_service = drive_service.files().create(body=file_metadata,
                            fields='id').execute()

#fieldに指定したidをfileから取得できる
print ('Folder ID: %s' % file.get('id'))

folder_id = 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
file_metadata = {
    'name': 'sample.txt',
    'parents': [folder_id]
}
media = MediaFileUpload(
    'local_path/to/sample.txt', 
    mimetype='text/plain', 
    resumable=True
)
file = drive_service.files().create(
    body=file_metadata, media_body=media, fields='id'
).execute()

#fieldに指定したidをfileから取得できる
print ('File ID: %s' % file.get('id'))

from googleapiclient.discovery import build

from httplib2 import Http

from oauth2client import file, client, tools

from apiclient.http import MediaFileUpload

#ローカルPCからグーグルドライブにファイルをアップロードする

#https://zenn.dev/wtkn25/articles/python-googledriveapi-operation

SCOPES = ['https://www.googleapis.com/auth/drive']

store = file.Storage('token.json')

creds = store.get()

if not creds or creds.invalid:

flow = client.flow_from_clientsecrets('./client_secret.json', SCOPES)

creds = tools.run_flow(flow, store)

drive_service = build('drive', 'v3', http=creds.authorize(Http()))

file_metadata = {

'name': 'フォルダ名',

'mimeType': 'application/vnd.google-apps.folder',

'parents': ['格納するフォルダのID']

}

drive_service = drive_service.files().create(body=file_metadata,

fields='id').execute()

#fieldに指定したidをfileから取得できる

print ('Folder ID: %s' % file.get('id'))

folder_id = 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'

file_metadata = {

'name': 'sample.txt',

'parents': [folder_id]

}

media = MediaFileUpload(

'local_path/to/sample.txt',

mimetype='text/plain',

resumable=True

)

file = drive_service.files().create(

body=file_metadata, media_body=media, fields='id'

).execute()

#fieldに指定したidをfileから取得できる

print ('File ID: %s' % file.get('id'))

エラー

「Traceback (most recent call last):
File “uploadgoogledrive2.py”, line 26, in <module>
fields=’id’).execute()
File “/Users/toshiromaseda/opt/anaconda3/lib/python3.7/site-packages/googleapiclient/_helpers.py”, line 131, in positional_wrapper
return wrapped(*args, **kwargs)
File “/Users/toshiromaseda/opt/anaconda3/lib/python3.7/site-packages/googleapiclient/http.py”, line 937, in execute
raise HttpError(resp, content, uri=self.uri)
googleapiclient.errors.HttpError: <HttpError 403 when requesting https://www.googleapis.com/drive/v3/files?fields=id&alt=json returned “Insufficient Permission: Request had insufficient authentication scopes.”. Details: “[{‘domain’: ‘global’, ‘reason’: ‘insufficientPermissions’, ‘message’: ‘Insufficient Permission: Request had insufficient authentication scopes.’}]”>
」

＞たぶんグーグルドライブのフォルダーのパーミッションの読み書きとかの設定が、
違っているのだろう。
またグーグル先生に頼る

（９）
Googleドライブの[設定]-> [アプリの管理]にリストされているアプリケーションを確認
認証しているスコープを確認

＞＞わかった。スコープの設定を飛ばしたから認証情報（/auth/drive 、auth/drive.file 等の設定）
がなかったのでエラーになってた。

もう一度認証情報を作成することにした。
作成のときにウィザードを選択

一度削除して、
設定して、再度Jsonファイルをダウンロードして、リネームした。client_secret.jsonにした
credentials.jsonも空のファイルにした。

2022/03/13、17:34

とりあえず、Chromeで認証まで進めた。
「$ python uploadgoogledrive2.py

Your browser has been opened to visit:

https://accounts.google.com/o/oauth2/auth?client_id=548555605276-j7kpa1otv5b387ekn3ndf6ktlp5aubs3.apps.googleusercontent.com&redirect_uri=http%3A%2F%2Flocalhost%3A8080%2F&scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdrive&access_type=offline&response_type=code

If your browser is on a different machine then exit and re-run this
application with the command-line parameter

–noauth_local_webserver

Authentication successful.
Traceback (most recent call last):
File “uploadgoogledrive2.py”, line 29, in <module>
print (‘Folder ID: %s’ % file.get(‘id’))
AttributeError: module ‘oauth2client.file’ has no attribute ‘get’
」

printのところでエラーになってるからとりあえずコメントにしておく
再度実行する

＞
（１０）成功、アップロードできた

「Traceback (most recent call last):
File “uploadgoogledrive2.py”, line 42, in <module>
file = drive_service.files().create(
AttributeError: ‘dict’ object has no attribute ‘files’」

dictオブジェクトにfielsアトリビュートがないらしい。でもそんなdictなんてしらない。

25行目で自分に代入しているので別のオブジェクトにしておく
drive_service = drive_service.files()
↓
file = drive_service.files()
ターミナルから実行して、うまくいった。グーグルドライブの指定フォルダにCSVがアップロードできた

以下にうまく行ったコードを記入

Documents/2020年株関連/kabu_python/

uploadgoogledrive2.py

。不要なコードもある

from googleapiclient.discovery import build
from httplib2 import Http
from oauth2client import file, client, tools

from apiclient.http import MediaFileUpload

#ローカルPCからグーグルドライブにファイルをアップロードする
#https://zenn.dev/wtkn25/articles/python-googledriveapi-operation

SCOPES = ['https://www.googleapis.com/auth/drive']

store = file.Storage('credentials.json')
creds = store.get()
if not creds or creds.invalid:
    flow = client.flow_from_clientsecrets('./client_secret.json', SCOPES)
    creds = tools.run_flow(flow, store)
drive_service = build('drive', 'v3', http=creds.authorize(Http()))


#file_metadata = {
#    'name': 'デイトレ画像',
#    'mimeType': 'application/vnd.google-apps.folder',
#    'parents': ['15aWXg--tQvOt4CluUtLUjmMdhYexcb7t']
#    }
#ディレクトリ作成
#file = drive_service.files().create(body=file_metadata,
#                           fields='id').execute()

#fieldに指定したidをfileから取得できる
#print ('Folder ID: %s' % file.get('id'))

folder_id = '15aWXg--tQvOt4CluUtLUjmMdhYexcb7t'#「デイトレ画像フォルダ」
file_metadata = {
    'name': '年初来高値更新20220307sheet',#'年初来高値更新20220307.csv'
    'mimeType': 'application/vnd.google-apps.spreadsheet',#グーグルスプレッドシートとしてアップ
    'parents': [folder_id]
}
#mimetype='text/plain', #text 
media = MediaFileUpload(
    '/Users/toshiromaseda/Documents/2022年/2022年株/yahoofinance_data/年初来高値更新20220307.csv', 
    mimetype='text/csv', 
    resumable=True
)
file = drive_service.files().create(body=file_metadata, media_body=media, 
                        fields='id').execute()

#fieldに指定したidをfileから取得できる
#print ('File ID: %s' % file.get('id'))

from googleapiclient.discovery import build

from httplib2 import Http

from oauth2client import file, client, tools

from apiclient.http import MediaFileUpload

#ローカルPCからグーグルドライブにファイルをアップロードする

#https://zenn.dev/wtkn25/articles/python-googledriveapi-operation

SCOPES = ['https://www.googleapis.com/auth/drive']

store = file.Storage('credentials.json')

creds = store.get()

if not creds or creds.invalid:

flow = client.flow_from_clientsecrets('./client_secret.json', SCOPES)

creds = tools.run_flow(flow, store)

drive_service = build('drive', 'v3', http=creds.authorize(Http()))

#file_metadata = {

# 'name': 'デイトレ画像',

# 'mimeType': 'application/vnd.google-apps.folder',

# 'parents': ['15aWXg--tQvOt4CluUtLUjmMdhYexcb7t']

# }

#ディレクトリ作成

#file = drive_service.files().create(body=file_metadata,

# fields='id').execute()

#fieldに指定したidをfileから取得できる

#print ('Folder ID: %s' % file.get('id'))

folder_id = '15aWXg--tQvOt4CluUtLUjmMdhYexcb7t'#「デイトレ画像フォルダ」

file_metadata = {

'name': '年初来高値更新20220307sheet',#'年初来高値更新20220307.csv'

'mimeType': 'application/vnd.google-apps.spreadsheet',#グーグルスプレッドシートとしてアップ

'parents': [folder_id]

}

#mimetype='text/plain', #text

media = MediaFileUpload(

'/Users/toshiromaseda/Documents/2022年/2022年株/yahoofinance_data/年初来高値更新20220307.csv',

mimetype='text/csv',

resumable=True

)

file = drive_service.files().create(body=file_metadata, media_body=media,

fields='id').execute()

#fieldに指定したidをfileから取得できる

#print ('File ID: %s' % file.get('id'))

最新版2022/03/22

from googleapiclient.discovery import build
from httplib2 import Http
from oauth2client import file, client, tools

from apiclient.http import MediaFileUpload

import os
import time
import re
import datetime
import sys 
import glob

def checkFileExist(filename,path)->bool:#クラスメソッドの場合は、selfが必要
    #他にもimport os　os.listdir(path) というのもある
    if path[-1]=='/':#文字列の最後の1文字がスラッシュならなにもしない。
        pass
    else:
        path+='/'
    files=glob.glob(path+'*.csv')
    count=0
    for file in files:
        #print(file)
        if filename == os.path.split(file)[1]:#ファイル名と同じならTRUE
            print('ファイルは存在します')
            print(file)
            count+=1
            return True#見つかれがすぐに抜ける
    #ループで探し終わってから判断もいれる     
    if count>0:
        return True
    else:
        print('ファイルはありません')
        return False
#end def

#引数にCSVファイル名を指定、CSVはあってもなくてもよい。引数を指定しない場合、今日の日付
#でファイルの存在をチェックして見つかればアップロードする
##実行main
args = sys.argv
print(args[0]) #第一引数 実行ファイル名
# print(args[1])

#ローカルPCからグーグルドライブにファイルをアップロードする
#https://zenn.dev/wtkn25/articles/python-googledriveapi-operation

SCOPES = ['https://www.googleapis.com/auth/drive']

store = file.Storage('credentials.json')
creds = store.get()
if not creds or creds.invalid:
    flow = client.flow_from_clientsecrets('./client_secret.json', SCOPES)
    creds = tools.run_flow(flow, store)
drive_service = build('drive', 'v3', http=creds.authorize(Http()))


#file_metadata = {
#    'name': 'デイトレ画像',
#    'mimeType': 'application/vnd.google-apps.folder',
#    'parents': ['15aWXg--tQvOt4CluUtLUjmMdhYexcb7t']
#    }
#ディレクトリ作成
#file = drive_service.files().create(body=file_metadata,
#                           fields='id').execute()

#fieldに指定したidをfileから取得できる
#print ('Folder ID: %s' % file.get('id'))

folder_id = '1PPAsjMW5tMWO7uiCqX0mzhBe83U5O6iL' #年初来高値　フォルダ
#'15aWXg--tQvOt4CluUtLUjmMdhYexcb7t'#「デイトレ画像フォルダ」
if len(args)>=2:#args[1]!='':
    if args[1].find('.csv')>0:#CSVを除去して処理する
        filename=args[1].split('.')[0]
    else:
        filename=args[1]#2番めの要素が、実行1つ目の引数　#拡張子なし
else:
    print('引数がなかったのでファイル名を自動生成')
    #引数にファイル名が存在しないときは、今日の日付をファイル名にする
    dt_now=datetime.datetime.now()
    StockDate=dt_now.strftime('%Y%m%d')#
    filename='年初来高値更新'+StockDate#拡張子なし

#fileの存在チェックが必要
path='/Users/toshiromaseda/Documents/2022年/2022年株/yahoofinance_data/'
if checkFileExist(filename+'.csv',path):
    print('処理中、、、')
else:
    print('file not found, so exit. Please check file')
    exit
#グーグルドライブにアップロードされたときに保存されるファイル名
file_metadata = {
    'name': filename,#'年初来高値更新20220307sheet',#'年初来高値更新20220307.csv'
    'mimeType': 'application/vnd.google-apps.spreadsheet',#グーグルスプレッドシートとしてアップ
    'parents': [folder_id]
}
#mimetype='text/plain', #text
#ローカル側のファイル名（パス）
media = MediaFileUpload(
    path + filename + '.csv', 
    mimetype='text/csv', 
    resumable=True
)
file = drive_service.files().create(body=file_metadata, media_body=media, 
                        fields='id').execute()

#fieldに指定したidをfileから取得できる
#print ('File ID: %s' % file.get('id'))
print('end')

100

101

102

103

104

105

106

107

108

from googleapiclient.discovery import build

from httplib2 import Http

from oauth2client import file, client, tools

from apiclient.http import MediaFileUpload

import os

import time

import re

import datetime

import sys

import glob

def checkFileExist(filename,path)->bool:#クラスメソッドの場合は、selfが必要

#他にもimport os　os.listdir(path) というのもある

if path[-1]=='/':#文字列の最後の1文字がスラッシュならなにもしない。

pass

else:

path+='/'

files=glob.glob(path+'*.csv')

count=0

for file in files:

#print(file)

if filename == os.path.split(file)[1]:#ファイル名と同じならTRUE

print('ファイルは存在します')

print(file)

count+=1

return True#見つかれがすぐに抜ける

#ループで探し終わってから判断もいれる

if count>0:

return True

else:

print('ファイルはありません')

return False

#end def

#引数にCSVファイル名を指定、CSVはあってもなくてもよい。引数を指定しない場合、今日の日付

#でファイルの存在をチェックして見つかればアップロードする

##実行main

args = sys.argv

print(args[0]) #第一引数実行ファイル名

# print(args[1])

#ローカルPCからグーグルドライブにファイルをアップロードする

#https://zenn.dev/wtkn25/articles/python-googledriveapi-operation

SCOPES = ['https://www.googleapis.com/auth/drive']

store = file.Storage('credentials.json')

creds = store.get()

if not creds or creds.invalid:

flow = client.flow_from_clientsecrets('./client_secret.json', SCOPES)

creds = tools.run_flow(flow, store)

drive_service = build('drive', 'v3', http=creds.authorize(Http()))

#file_metadata = {

# 'name': 'デイトレ画像',

# 'mimeType': 'application/vnd.google-apps.folder',

# 'parents': ['15aWXg--tQvOt4CluUtLUjmMdhYexcb7t']

# }

#ディレクトリ作成

#file = drive_service.files().create(body=file_metadata,

# fields='id').execute()

#fieldに指定したidをfileから取得できる

#print ('Folder ID: %s' % file.get('id'))

folder_id = '1PPAsjMW5tMWO7uiCqX0mzhBe83U5O6iL' #年初来高値　フォルダ

#'15aWXg--tQvOt4CluUtLUjmMdhYexcb7t'#「デイトレ画像フォルダ」

if len(args)>=2:#args[1]!='':

if args[1].find('.csv')>0:#CSVを除去して処理する

filename=args[1].split('.')[0]

else:

filename=args[1]#2番めの要素が、実行1つ目の引数　#拡張子なし

else:

print('引数がなかったのでファイル名を自動生成')

#引数にファイル名が存在しないときは、今日の日付をファイル名にする

dt_now=datetime.datetime.now()

StockDate=dt_now.strftime('%Y%m%d')#

filename='年初来高値更新'+StockDate#拡張子なし

#fileの存在チェックが必要

path='/Users/toshiromaseda/Documents/2022年/2022年株/yahoofinance_data/'

if checkFileExist(filename+'.csv',path):

print('処理中、、、')

else:

print('file not found, so exit. Please check file')

exit

#グーグルドライブにアップロードされたときに保存されるファイル名

file_metadata = {

'name': filename,#'年初来高値更新20220307sheet',#'年初来高値更新20220307.csv'

'mimeType': 'application/vnd.google-apps.spreadsheet',#グーグルスプレッドシートとしてアップ

'parents': [folder_id]

}

#mimetype='text/plain', #text

#ローカル側のファイル名（パス）

media = MediaFileUpload(

path + filename + '.csv',

mimetype='text/csv',

resumable=True

)

file = drive_service.files().create(body=file_metadata, media_body=media,

fields='id').execute()

#fieldに指定したidをfileから取得できる

#print ('File ID: %s' % file.get('id'))

print('end')

Pythonを使って、株探のWEBスクレイピング

環境：MacOS、Python、インターネット
用途：複数の企業コードリストCSVから、企業名、概要をリストにしたい
目的：株探サイトの企業概要の文字列を取得

参考サイト
https://kabutan.jp/stock/?code=3431

概要のHTML

Pythonスクリプト

＞これから

pythonの引数は原則参照渡しだが、実際は限定的で注意

pythonの引数は、ミュータブル（変更が可能）とイミュータブル（変更ができない）ものが存在する。
つまり参照渡しをしてもイミュータブルの型（int,str,floatなど）は値が変わらないから値渡しと同じになる。ミュータブル型（list,setなど）を使えば参照渡しになる。
引数の値を変えたい場合はミュータブル型にするか、メソッドの返り値として変更した値を受け取るほうが理解しやすい。

参考URL

Python♪次は理屈で覚えよう「参照渡し」「浅いコピー」「深いコピー」
https://snowtree-injune.com/2019/09/16/shallow-copy/#toc7

【Python】参照渡しと値渡しの違い

https://algorithm.joho.info/programming/python/call-by-reference/

ボートレース公式サイトから情報を取得するスクレイピング

#2021/07/07

#環境：OS：Mac,　言語python,　anaconda,　作業をするときはanaconda jupterのエディタよりMS Codeのほうがやりやすい。

#boatRaceCompuYosou.ipynbで使用

”’

・仕様

ボートレース公式https://www.boatrace.jp/

から「本日の払戻金一覧」のところを

https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707

クリックして、本日開催の場の開催時間をクリックする

出走表から結果までの情報を掲載したページが表示される

コンピュータ予想 https://www.boatrace.jp/owpc/pc/race/racelist?

その中のコンピュータ予想タブをクリック

「予想フォーカス」という項目に予想が表示される。

例

蒲郡　 jcd=07 hd=20210707

1R rno=1

https://www.boatrace.jp/owpc/pc/race/racelist?rno=1&jcd=07&hd=20210707

・目的：予想するレースの当選番号が出現するかもしれないレースを探す。

例えば6-全-全が出現するレースを探したい。その場合コンピュータ予想の予想フォーカスで予想されている番号に

6-全-全に該当しそうな予想が表示されていたら、そのレースを出力したい。

なお、コンピュータ予想は当然ながら、当たるとは限らず確率は低い

すべてのレースの予想を手動で探すのは面倒なので、自動で探したい。

・機能：該当のページから必要な情報を取得して、該当の情報（ここでは予想番号）を取得して

CSV出力する。

・予想が当たったか？

結果、ほとんど当たらなかった

作業内容

１．「本日の払戻金一覧」７月７日の場合

https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707

から開催される全レースのURLを取得

２．取得したURLを場ごとに取得。ループ

３．レースごとにループする

４「予想フォーカス」という項目のところの予想番号を取得する

５．予想する番号、例えば６，１の数字があればリストに追加する

６．CSV出力する。該当する予想がなければ出力しない。

※使用上の注意点

一度のスクレイピングとCSV出力だけに対応していて、前回作成したCSVを読み込んで処理を追記する仕様はない。

一度作成したファイルに、レース結果を追記変更することはしない。

ようするに、朝実行して、夜に実行しても朝作成したファイルを読み込んで処理をするものではない。

朝実行すると、朝のファイルを作成し、その後実行すればそのWebサイトの情報をCSVとして出力する。

＞＞なぜこのように書くかというと、レースが開催されるとレース結果が払戻金一覧ページに表示される。

レースが開催されていない場合は時刻が記載されていて、出力されるCSVの記載が異なるので、後日CSVの内容を

確認すると、「レース結果が後で追記されるのか？」と勘違いするかもしれない。

現時点では、払戻金一覧のレース前の状態で、コンピュータ予想を知りたいだけの機能である。

よってコンピュータ予想を取得してCSV出力して、その後の処理は何もしない。

ソースコード

#ボートレース公式サイトから情報を取得するスクレイピング
#2021/07/07
#環境：Mac,python,　anaconda,
#使用クラス：boatRaceClass(), boatRaceclass.py
#使用時間帯：ボートレースが開催される前の時間帯、AM８，９時ごろがよい。レースが始まると舟券が買えないから。
#レース開催時間中でも実行可能だけど、予想が無駄になる。
#レースが多いほど処理に時間がかかる。約10分は必要


import os
import re
import sys
import time
import datetime
import glob#ファイル一覧
import shutil#move
from selenium import webdriver
import pandas as pd

import requests#スクレイピング
from bs4 import BeautifulSoup#スクレイピング

import importlib#再読み込みのためのライブラリ
import boatRaceclass#個人用メソッド pyファイル　外部ファイル。　作業はCodeを使った。

###START
importlib.reload(boatRaceclass)


print("Get BoatRace COmpu information!")
print("START#####################################")
btObj=boatRaceclass.boatRaceClass()
#今日の日付を取得
dt_now=datetime.datetime.now()#2021-07-08 08:27:05.439783 として出力される
StockDate=dt_now.strftime('%Y%m%d')#20210708、2021/07/08としたければ%Y/%m/%dのようにスラッシュを入れる
#todayの長さチェックを行う。また、今日の日付を取得する場合と任意の日付を設定する場合も入れておく
ftoday=StockDate
#today='20210707'
print(ftoday)

path="/Users/toshiromaseda/Documents/2021年/python_boatRace/csv/"
filename="boatraceYosou_"+ftoday+'.csv'


output=btObj.getIchiran(ftoday)#全場一覧ページを取得
time.sleep(1)

if (btObj.checkFileExist(filename,path)):
    ##ファイル名を含んでいるファイル名の場合TRUEなので、似たようなファイル名だとゆるいチェックで検索されるかもしれない
    print("同じファイルが存在します。削除するか必要なら別の場所に移動してください。")
    exit()
        
output=btObj.getCompuYosou(output)
output_tuple=btObj.neraimeHantei(output)#狙い目6についてのみ出力 タプルを格納した配列オブジェクトを出力する
print("neraime end")

output=btObj.tupleBunkai(output_tuple)#タプルで出力されるのでそれを分解して結合する
#CSV出力 次はここから

if len(output)&gt;0:
        btObj.outputCSV(output,filename,path)
else:
    print("該当のデータがありませんでしたので、CSV出力できませんでした。")

#ボートレース公式サイトから情報を取得するスクレイピング

#2021/07/07

#環境：Mac,python,　anaconda,

#使用クラス：boatRaceClass(), boatRaceclass.py

#使用時間帯：ボートレースが開催される前の時間帯、AM８，９時ごろがよい。レースが始まると舟券が買えないから。

#レース開催時間中でも実行可能だけど、予想が無駄になる。

#レースが多いほど処理に時間がかかる。約10分は必要

import os

import re

import sys

import time

import datetime

import glob#ファイル一覧

import shutil#move

from selenium import webdriver

import pandas as pd

import requests#スクレイピング

from bs4 import BeautifulSoup#スクレイピング

import importlib#再読み込みのためのライブラリ

import boatRaceclass#個人用メソッド pyファイル　外部ファイル。　作業はCodeを使った。

###START

importlib.reload(boatRaceclass)

print("Get BoatRace COmpu information!")

print("START#####################################")

btObj=boatRaceclass.boatRaceClass()

#今日の日付を取得

dt_now=datetime.datetime.now()#2021-07-08 08:27:05.439783 として出力される

StockDate=dt_now.strftime('%Y%m%d')#20210708、2021/07/08としたければ%Y/%m/%dのようにスラッシュを入れる

#todayの長さチェックを行う。また、今日の日付を取得する場合と任意の日付を設定する場合も入れておく

ftoday=StockDate

#today='20210707'

print(ftoday)

path="/Users/toshiromaseda/Documents/2021年/python_boatRace/csv/"

filename="boatraceYosou_"+ftoday+'.csv'

output=btObj.getIchiran(ftoday)#全場一覧ページを取得

time.sleep(1)

if (btObj.checkFileExist(filename,path)):

##ファイル名を含んでいるファイル名の場合TRUEなので、似たようなファイル名だとゆるいチェックで検索されるかもしれない

print("同じファイルが存在します。削除するか必要なら別の場所に移動してください。")

exit()

output=btObj.getCompuYosou(output)

output_tuple=btObj.neraimeHantei(output)#狙い目6についてのみ出力タプルを格納した配列オブジェクトを出力する

print("neraime end")

output=btObj.tupleBunkai(output_tuple)#タプルで出力されるのでそれを分解して結合する

#CSV出力次はここから

if len(output)>0:

btObj.outputCSV(output,filename,path)

else:

print("該当のデータがありませんでしたので、CSV出力できませんでした。")

クラスコード

#class boatRaceclass
#
import os
import re
import sys
import time
import datetime
import glob#ファイル一覧
import shutil#move
from selenium import webdriver
import pandas as pd

import requests#スクレイピング
from bs4 import BeautifulSoup#スクレイピング

#場管理クラスを作成する
#まだこれから
class jouKanriClass():
    def __init__(self):
        #dict3 = {'JP':'Tokyo','US':'Washington'} #要素に文字列を入れて初期化
        self.jouCode=0
        self.jouName=""
        #連想配列　print(dict[1])#大村と出力される　びわこだけひらがな
        self.dict={1:'桐生',2:'戸田',3:'江戸川',4:'平和島',5:'多摩川',6:'浜名湖',7:'蒲郡',8:'常滑',\
            9:'津',10:'三国',11:'びわこ',12:'住之江',13:'尼崎',14:'鳴門',15:'丸亀',16:'児島',17:'宮島',\
                18:'徳山',19:'下関',20:'若松',21:'芦屋',22:'福岡',23:'唐津',24:'大村'}
    
    def getJouCode(self,jouName):#場名から数字コードを出力する
        for key, value in self.dict.items():
            if jouName == value:
                 return key
        return "There is no such Key"


#個別レースクラス 1レースのコンピュータ予想情報を管理する。選手情報を管理するためのものではない
class raceCompuKanriClass():
    def __init__(self,jouCode,raceNum,starttime,cdate,neraime,url):
        self.jouCode=jouCode
        self.raceNum=raceNum
        self.time=starttime#時刻
        self.date=cdate#日付
        self.neraime=neraime#６を狙い目としている
        self.kekka=""#レース結果,結果が表示されていれば。時間帯によって結果が表示されている
        #以降のデータは随時取得してから挿入する
        self.url=url
        self.star=""#コンピュータ予想の自信度の星、1-5
        self.nirentanyosou=[]#コンピュータ予想２連単予想
        self.sanrentanyosou=[]#コンピュータ予想３連単１-６

#個別場クラス、個別レースクラスをオブジェクト配列として管理する
class jouClass():
    def __init__(self,jouCode):
        self.jouArray=[]#初期化 raceCompuKanriClassオブジェクトを追加する
        self.jouCode=jouCode
    
    def getJouCodeHikisuNashi(self):
        return self.jouCode


#レース情報クラス、個別の場のレース情報をまとめて管理する
class boatRaceClass():
    def __init__(self):
        self.tableCount=0#テーブルのカウンター
        self.totalJouCount=0
        self.zenjouArrayPositionCount=0#全部の場の配列の位置把握のためのカウンター
        self.zenjouArray=[]#全部の場の配列
        self.neraime=6#狙い目
        self.baseurl='https://www.boatrace.jp'
        #self.jouCode=jouCode
    def seleniumReadPage(self,furl):#selenium版、requestでうまく取得できないClassがあった
       # 仮想ブラウザ起動、URL先のサイトにアクセス
        driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする
        #他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい
        #
        driver.get(furl)
        soup=driver
        return soup
    
    def readPage(self,furl):
        #URL読み込み　2021/07/07
        r = requests.get(furl)#requestsを使って、webから取得
        soup = BeautifulSoup(r.text, 'lxml') #要素を抽出
        return soup

    def checkFileExist(self,filename,path):
        #他にもimport os　os.listdir(path) というのもある
        if path[-1]=='/':#文字列の最後の1文字がスラッシュならなにもしない。
            pass
        else:
            path+='/'
        files=glob.glob(path+'*.csv')
        count=0
        for file in files:
            #print(file)
            if filename in file:#ファイル名を含んでいればTRUE
                print('ファイルは存在します')
                print(file)
                count+=1
                return True#見つかれがすぐに抜ける
        #ループで探し終わってから判断もいれる     
        if count&gt;0:
            return True
        else:
            print('ファイルはありません')
            return False
    #end def

    def outputCSV(self,columArray,filename,path):#def checkFileExist()を事前にチェックすると良い
        #CSV出力用
        #TableColumクラス専用のCSV出力、通常の配列は使用できない。
        #path='/Users/toshiromaseda/Documents/2021年/2021年株/yahoofinance_data/'
        if filename.find('.csv')==-1:#拡張子.csvがないときは付記する
            filename+='.csv'
        os.chdir(path)#ディレクトリ変更
        print(os.getcwd())#ディレクトリ確認
        try:
            ofile=open(filename,'tw') 
        except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
           print("ファイルが見つかりません", e)
           sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい
        except Exception as e: # Exceptionは、それ以外の例外が発生した場合
           print(e)
        
        for i in columArray:
            ofile.write(i+'\n')#カンマで区切られている配列を出力する
        ofile.close() 

    def tupleBunkai(self,tuple):#タプルtupleを処理するためのものtupleはタプルで配列ではない
        tmp=[]
        stockStr=""
        for inside in tuple:
            for m in inside:
                stockStr+=str(m)+','
            tmp.append(stockStr)
            stockStr=""
        output=tmp
        return output

    def neraimeHantei(self,obj):
        #6かどうかを判定する。イコール=があった場合も処理する
        #今後複数もしくは別の狙い目についてもどうするか考える。
        #class raceCompuKanriClass()
        #self.star=""#コンピュータ予想の自信度の星、1-5
        #self.nirentanyosou=[]#コンピュータ予想２連単予想
        #self.sanrentanyosou=[]#コンピュータ予想３連単１-６
        tmp=[]
        tuple=()#こっちはタプルでタプルをtmp配列に入れる
        if self.neraime=="":
            print("self.neraimeに値がありません。設定していないと探せません")
            exit()
        for i in range(0,len(obj)):
            print("狙い目作業中------------")
            print("場コード："+str(obj[i].jouArray[0].jouCode))
            for m in range(0,len(obj[i].jouArray)):
                #class jouKanriClass():これに場名があるprint(dict[1])#大村と出力される
                jouNameObj=jouKanriClass()
                jouName=jouNameObj.dict[obj[i].jouArray[m].jouCode]
                print(jouName,str(obj[i].jouArray[m].raceNum),str(obj[i].jouArray[m].kekka),str(obj[i].jouArray[m].url))
                #配列　obj[i].jouArray[m].nirentanyosou
                stockStrNirentan=""
                stockStrSanrentan=""
                for f in range(0,len(obj[i].jouArray[m].nirentanyosou)):
                    stockStrNirentan=obj[i].jouArray[m].nirentanyosou[f]
                    if stockStrNirentan=="":
                        pass
                    else:
                        print("stockStrNirentan2連単:"+stockStrNirentan)
                        if (str(self.neraime) in stockStrNirentan):
                            #タプルで追加する　jouCodeを場名に変える
                            tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,obj[i].jouArray[m].raceNum,obj[i].jouArray[m].kekka, stockStrNirentan)
                            tmp.append(tuple)
                            # #該当のオブジェクトをtmpに入れる。もしかすると該当するレースだけを入れてもよい。
                            #もし、1-12全部に狙い目があると全部同じ場が入ることになるのでそれを避ける必要がある。
                            #やっぱりレースごとにするか考える。
                tuple=()
                #配列　obj[i].jouArray[m].sanrentanyosou
                for f in range(0,len(obj[i].jouArray[m].sanrentanyosou)):
                    stockStrSanrentan=obj[i].jouArray[m].sanrentanyosou[f]
                    if stockStrSanrentan=="":
                        pass
                    else:
                        print("stockStrSanrentan3連単:"+stockStrSanrentan)
                        if(str(self.neraime) in stockStrSanrentan):
                            tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,obj[i].jouArray[m].raceNum,obj[i].jouArray[m].kekka, stockStrSanrentan)
                            tmp.append(tuple)
        #tmp=obj
        if len(tmp)==0:
            print("狙い目はありませんでした。")
        output_tuple=tmp
        return output_tuple


    def getIchiran(self,ftoday):
        #「本日の払戻金一覧」から各場のレースのURLを取得する
        #https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707
        jouname=""#場名
        jouCount=0#場コードではなくて、左上から数えた番号
        self.totalJouCount=0#総合的な場数
        #場名とコードクラスオブジェクト
        jouKanri=jouKanriClass()
        
        print("getIchiran_START")
        print("処理中")
        if ftoday=='':
            print("注意！！日付が設定されていませんのでダミーの日付で処理します")
            ftoday='20210707'#ダミーデータ
            
        target_url='https://www.boatrace.jp/owpc/pc/race/pay?hd='
        mysoup=self.readPage(target_url+ftoday)#class内のメソッド
        main=mysoup.find(class_='l-main')
        mainInner=main.find(class_='l-mainInner')
        contentsFrame1=mainInner.find(class_='contentsFrame1')
        contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')
        
        #table1クラスは複数存在する。そして列が5個ある.その1個が1場分
        table1_class=contentsFrame1_inner.find_all(class_='table1')#こっちはクラスのテーブル
        print(str(len(table1_class))+"テーブル分、1テーブル5場")
        
        for i in range(0,len(table1_class)):
        
            table1_tag=table1_class[i].find("table")#ここにタグのTableタグ以降の情報が入る
            if table1_tag==None:#'該当なし、1件もない場合、中身がない'
                print("table情報を取得できませんでした。")
            else:
                jouCount=0
                self.tableCount+=1
                thead=table1_tag.find("thead")
                #trが2行あるけど1行目のclass指定はない
                trs=thead.find_all("tr")
                for m in range(0,len(trs)):
                    if m==0:#TR1行目だけ処理
                        ths=trs[m].find_all("th")
                        for l in range(0,len(ths)):
                            if l&gt;0:
                                area_type1=ths[l].find('div', class_=lambda s:s.startswith("table1_area type1"))#クラスの空白の場合はこのようにする
                                #.find_all('div', class_=lambda s:s.startswith('foo bar '))
                                if area_type1==None:
                                    print("area_type1が見つかりませんでした")
                                else:
                                    areaName=area_type1.find(class_="table1_areaName")#classのときはclass_=が必要でタグのときは不要
                                    if areaName==None:
                                        print("areaNameが見つかりませんでした")#2021/07/07
                                    else:
                                        jouCount+=1
                                        self.totalJouCount+=1
                                        imgAlt=areaName.find("img")
                                        jouName=imgAlt.get('alt', '')
                                        #ここは配列にして格納する。クラスオブジェクトにカプセルにする
                                        jouCode=jouKanri.getJouCode(jouName)#コードを出力する。びわこはひらがなで登録されている
                                        print(str(jouCount)+jouName+str(jouCode))
                                        tmp=jouClass(jouCode)    
                                        self.zenjouArray.append(tmp)#次はraceCompuKanriClassオブジェクトにレース情報を与えて、zenjouArrayに入れる
                                        tmp=""
                                        
                #次へtbodyレース時刻と個別レースのURLを取得する。ただし、レース後は時刻ではなくて結果が挿入される
                tbodys=table1_tag.find_all("tbody")    
                rCount=0
                for n in range(0,len(tbodys)):
                    if rCount==12:#１２レースでリセット
                        rCount=0
                    rCount+=1
                    tbody_tr=tbodys[n].find("tr")
                    r_th=tbody_tr.find("th")#レース番号が入る　
                    #a.rstrip("B")末尾のBを削除
                    print(r_th.get_text().rstrip("R"))#tag内のテキストを取得、１とか１２とかが出力される
 
                    tbody_tds=tbodys[n].find_all("td")#ｔｄは複数存在する。なお列ごとに場が異なる。いわゆるエクセルのセルの列情報みたいな感じ
                    #tdの数を数えつつ、必要な場にデータを与える感じになる。
                    tdCount=1#ここは１から
                    #raceTdCount=0#セル3つごとのためのカウンター
                    inTableJouCount=0#1-5を数えるためのもの
                    for f in range(0,len(tbody_tds)):
                        #if tdCount==jouCount:#Max５件、jouCountはテーブルごとに場の数が変わるのでここで調整
                        #    tdCount=0
                        #raceTdCount+=1
                        #tdCount+=1
                        #if raceTdCount==4:
                        #    raceTdCount=1
                            #tdCount+=1
                        if tdCount==4:
                            tdCount=1
                        #レース結果の場合はnumberSet1_rowが存在する。朝のレース開始前は時刻が表示される
                        numberSet1_row=tbody_tds[f].find(class_="numberSet1_row") #次はここから
                        starttime=""
                        url=""
                        if tdCount==1:#1個目だけ処理をする
                            inTableJouCount+=1
                            if inTableJouCount&gt;5:
                                print("inTableJouCountが5を越えたのでインクリメントが間違っています")
                            #全部の場の配列の位置把握のためのカウンター、テーブルごとに場の情報を入れるので、テーブルループで位置を把握できるようにする。つまり配列の要素数
                            self.zenjouArrayPositionCount=((self.tableCount-1)*5+inTableJouCount)-1#配列は0からなので1を引いておく
                            #print("場位置配列の要素位置："+str(self.zenjouArrayPositionCount))
                            if self.zenjouArrayPositionCount&lt;0:
                                print("self.zenjouArrayPositionCountの値が間違っています。マイナスです")
                            if numberSet1_row==None:
                                #print("レースは開始前でまだ結果が表示されていないのでセルが違います")
                                #次はここから2021/07/08　午前10時12分
                                atag=tbody_tds[f].find("a")
                                if atag==None:
                                    #print("atag　がありません")
                                    pass
                                else:
                                    starttime=atag.get_text()
                                    tmp=""
                                    tmp=atag.get('href')
                                    #URLは、そのままのリンクでは、コンピュータ予想のURLになっていないので置換が必要replace(before,after)
                                    #racelistをpcexpectに置換する
                                    url=tmp.replace('racelist','pcexpect')
                                #レースオブジェクト作成　raceCompuKanriClass(jouCode,raceNum,starttime,cdate,neraime,url)
                                #print(starttime.strip())#.strip()で前後の空白文字を削除 
                                tmpjouCode=self.zenjouArray[self.zenjouArrayPositionCount].getJouCodeHikisuNashi()
                                raceObj=raceCompuKanriClass(tmpjouCode,rCount,starttime.strip(),ftoday,self.neraime,self.baseurl+url)
                                self.zenjouArray[self.zenjouArrayPositionCount].jouArray.append(raceObj)
                            else:
                                #レース結果
                                spans=numberSet1_row.find_all("span")
                                kekkaStr=""
                                for x in range(0,len(spans)):
                                    kekkaStr+=spans[x].get_text()
                                #print(str(tdCount)+"結果"+kekkaStr)
                                tmpjouCode=self.zenjouArray[self.zenjouArrayPositionCount].getJouCodeHikisuNashi()
                                raceObj=raceCompuKanriClass(tmpjouCode,rCount,"",ftoday,self.neraime,"")
                                raceObj.kekka=kekkaStr
                                self.zenjouArray[self.zenjouArrayPositionCount].jouArray.append(raceObj) 
                                print("結果"+kekkaStr) 
                        tdCount+=1
        #theadを使うか、それともTRタグでいいのかどうか
        print(str(self.totalJouCount)+"場数")
        output=self.zenjouArray
        return output
        
    def getCompuYosou(self,arrayObj):#arrayObjはgetIchiran()の出力配列オブジェクトのURLを使用する
        #レースのコンピュータ予想を取得する
        tmp=arrayObj
        raceYosou=[]#レース予想の配列
        for i in range(0,len(tmp)):
            print("場コード："+str(tmp[i].jouArray[0].jouCode))
            for m in range(0,len(tmp[i].jouArray)):
                #print(str(output[i].jouArray[m].raceNum))
                #print(str(output[i].jouArray[m].raceNum),str(output[i].jouArray[m].kekka),str(output[i].jouArray[m].url))
                tmpurl=tmp[i].jouArray[m].url
                if tmpurl=='':
                    print("結果を参照してください。")
                else:
                    #self.getCompuYosouSeleniumSub(tmpurl)
                    raceYosou=self.getCompuYosouSub(tmpurl)#1レース分のコンピュータ予想を登録する。この中で秒待ち設定あり
                time.sleep(2)
                if len(raceYosou)&gt;0:
                    #コンピュータ予想を取得して、tmpオブジェクトに入れる
                    #star
                    #tmp[i].jouArray[m].star=mstar
                    for f in range(0,len(raceYosou)):
                        #次はここから、2021/07/09
                        if len(raceYosou[f])==3:
                            #2連単でクラスメソッドに分ける
                            tmp[i].jouArray[m].nirentanyosou.append(raceYosou[f])
                        else:#3連
                            tmp[i].jouArray[m].sanrentanyosou.append(raceYosou[f])
                else:
                    print("コンピュータ予想が取得できませんでした。")
        if len(tmp)==0:
            print("情報がありません。どこかでエラーが発生したと思われますのでチェックしてください")
        output=tmp#全場オブジェクト配列を出力する。次はCSV出力
        return output

    #requestで正常にHTMLが取得できないClassがあったのでSeleniumにしてみた. しかしうまくいかず。結論は、URLが違ってたのと、findの指定が間違ってた
    def getCompuYosouSeleniumSub(self,url):
        #selenium版
        mysoup=self.seleniumReadPage(url)#selenium
      #https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&amp;jcd=05&amp;hd=20210708
        print("作業中")
        time.sleep(2)
        main=mysoup.find_element_by_class_name('l-main')
        mainInner=main.find_element_by_class_name('l-mainInner') 
        contentsFrame1=mainInner.find_element_by_class_name('contentsFrame1')        
        contentsFrame1_inner=contentsFrame1.find_element_by_class_name('contentsFrame1_inner')
        if contentsFrame1_inner==None:
            print("contentsFrame1_innerが見つかりません")  
        else:
            grid_is_type3_h_clear=contentsFrame1_inner.find_elements_by_css_selector(".grid.is-type3.h-clear")
            #grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)
            #test=contentsFrame1_inner.find_all('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c) 
            #print(test)
            #grid is-type3 h-clear grid is-type3 h-clear
            if grid_is_type3_h_clear==None:
                print("grid_is_type3_h_clearが見つかりませんでした code112")
            else:
                contentsFrame1_inner.text
                grid_units=contentsFrame1_inner.find_elements_by_class_name('grid_unit')
                print("grid_units:"+str(len(grid_units)))#ここが0だ
                for f in range(0,len(grid_units)):
                    if f==0:#1番目だけあればOK
                        numberSet2_hclear=grid_units[f].find_elements_by_css_selector('.numberSet2.h-clear')
                        #numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))
                        if numberSet2_hclear==None:
                            print("numberSet2 h-clearが見つかりませんでした")
                        else: 
                            numberSet2_units=numberSet2_hclear.find_elements_by_class_name('numberSet2_unit')#複数numberSet2_unit
                            for i in range(0,len(numberSet2_units)):
                                numberSet2_rows=numberSet2_units[i].find_elements_by_class_name('numberSet2_row')
                                strSpan=numberSet2_rows.text #spanにはされた文字
                                print(strSpan)
                                for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名
                                    spans=numberSet2_rows[m].find_elements_by_tag_name('span')
                                    yosouNumStr=""
                                    for x in range(0,len(spans)):
                                        yosouNumStr+=spans[x].text
                                print(strSpan,yosouNumStr)
                        state2=grid_units[f].find_element_by_class_name('state2')
                        spans=state2.find_elements_by_tag_name('span') 
                        for k in range(0,len(spans)):
                            if k==1:
                                print(spans[k])
            
        print("end")
        output=""
        return output

    def getCompuYosouSub(self,url):
        mysoup=self.readPage(url)#class内のメソッド
        #https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&amp;jcd=05&amp;hd=20210708
        #上記を取得するので
        #racelistをpcexpectに置換する。このメソッドでは置換しない予定
        #https://www.boatrace.jp/owpc/pc/race/pcexpect?rno=10&amp;jcd=05&amp;hd=20210708　こっちだ
        
        #自信度の星数は、クラス名の総当りでNONEでなければありと判断する
        print(url)
        print("コンピュータ予想ページ読み込み、解析中")
        raceYosou=[]#初期化 １レース分のコンピュータ予想を格納する配列
        print("秒待ち設定少々待ってください。連続取り込みしません。")
        time.sleep(3)
        main=mysoup.find(class_='l-main')
        mainInner=main.find(class_='l-mainInner') 
        contentsFrame1=mainInner.find(class_='contentsFrame1')        
        contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')
        if contentsFrame1_inner==None:
            print("contentsFrame1_innerが見つかりません")  
        else:
            #Classに空白が含まれていた場合の対応
            grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)
            #test=contentsFrame1_inner.find_all('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c) 
            #print(test)
            #grid is-type3 h-clear grid is-type3 h-clear
            if grid_is_type3_h_clear==None:
                print("grid_is_type3_h_clearが見つかりませんでした code112")
            else:
                grid_units=contentsFrame1_inner.find_all(class_='grid_unit')
                print("grid_unitの数："+str(len(grid_units)))#ここが0だとだめ
                for f in range(0,len(grid_units)):
                    if f==0:#1番目だけあればOK
                        numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))
                        #tmpCount=grid_units[f].find_all(class_='numberSet2_unit')
                        #print('numberSet2_unitのCount'+str(len(tmpCount)))
                        if numberSet2_hclear==None:
                            print("numberSet2 h-clearが見つかりませんでした")
                        else: 
                            numberSet2_units=numberSet2_hclear.find_all(class_='numberSet2_unit')#複数
                            print("2連単をチェック"+str(len(numberSet2_units)))
                            for i in range(0,len(numberSet2_units)):
                                numberSet2_rows=numberSet2_units[i].find_all(class_='numberSet2_row')
                                #yosouNumStr=""
                                for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名
                                    spans=numberSet2_rows[m].find_all('span')
                                    divStr=numberSet2_rows[m].get_text()#spanにはされた文字を取得
                                    tmpstr=divStr.strip().replace('\t','')
                                    pStr=tmpstr.replace('\r\n','')#文字化けしてた理由がわかったCRLFの改行になっているから\nだけを消すと文字化けする
                                    print("spanの間の文字"+pStr)
                                    raceYosou.append(pStr)
                                    #配列に入れてoutputすればOK
                                    #星についてはタプルで出力できるか、まだ

        print("end")
        output=raceYosou#コンピュータ予想配列を出力する
        return output

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

368

369

370

371

372

373

374

375

376

377

378

379

380

381

382

383

384

385

386

387

388

389

390

391

392

393

394

395

396

397

398

399

400

401

402

403

404

405

406

407

408

409

410

411

412

413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431

432

433

434

435

436

437

438

439

440

441

442

443

444

445

446

447

448

449

450

451

452

453

454

455

456

457

458

459

460

461

462

463

464

465

466

467

468

469

470

471

472

473

474

#class boatRaceclass

import os

import re

import sys

import time

import datetime

import glob#ファイル一覧

import shutil#move

from selenium import webdriver

import pandas as pd

import requests#スクレイピング

from bs4 import BeautifulSoup#スクレイピング

#場管理クラスを作成する

#まだこれから

class jouKanriClass():

def __init__(self):

#dict3 = {'JP':'Tokyo','US':'Washington'} #要素に文字列を入れて初期化

self.jouCode=0

self.jouName=""

#連想配列　print(dict[1])#大村と出力される　びわこだけひらがな

self.dict={1:'桐生',2:'戸田',3:'江戸川',4:'平和島',5:'多摩川',6:'浜名湖',7:'蒲郡',8:'常滑',\

9:'津',10:'三国',11:'びわこ',12:'住之江',13:'尼崎',14:'鳴門',15:'丸亀',16:'児島',17:'宮島',\

18:'徳山',19:'下関',20:'若松',21:'芦屋',22:'福岡',23:'唐津',24:'大村'}

def getJouCode(self,jouName):#場名から数字コードを出力する

for key, value in self.dict.items():

if jouName == value:

return key

return "There is no such Key"

#個別レースクラス 1レースのコンピュータ予想情報を管理する。選手情報を管理するためのものではない

class raceCompuKanriClass():

def __init__(self,jouCode,raceNum,starttime,cdate,neraime,url):

self.jouCode=jouCode

self.raceNum=raceNum

self.time=starttime#時刻

self.date=cdate#日付

self.neraime=neraime#６を狙い目としている

self.kekka=""#レース結果,結果が表示されていれば。時間帯によって結果が表示されている

#以降のデータは随時取得してから挿入する

self.url=url

self.star=""#コンピュータ予想の自信度の星、1-5

self.nirentanyosou=[]#コンピュータ予想２連単予想

self.sanrentanyosou=[]#コンピュータ予想３連単１-６

#個別場クラス、個別レースクラスをオブジェクト配列として管理する

class jouClass():

def __init__(self,jouCode):

self.jouArray=[]#初期化 raceCompuKanriClassオブジェクトを追加する

self.jouCode=jouCode

def getJouCodeHikisuNashi(self):

return self.jouCode

#レース情報クラス、個別の場のレース情報をまとめて管理する

class boatRaceClass():

def __init__(self):

self.tableCount=0#テーブルのカウンター

self.totalJouCount=0

self.zenjouArrayPositionCount=0#全部の場の配列の位置把握のためのカウンター

self.zenjouArray=[]#全部の場の配列

self.neraime=6#狙い目

self.baseurl='https://www.boatrace.jp'

#self.jouCode=jouCode

def seleniumReadPage(self,furl):#selenium版、requestでうまく取得できないClassがあった

# 仮想ブラウザ起動、URL先のサイトにアクセス

driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする

#他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい

driver.get(furl)

soup=driver

return soup

def readPage(self,furl):

#URL読み込み　2021/07/07

r = requests.get(furl)#requestsを使って、webから取得

soup = BeautifulSoup(r.text, 'lxml') #要素を抽出

return soup

def checkFileExist(self,filename,path):

#他にもimport os　os.listdir(path) というのもある

if path[-1]=='/':#文字列の最後の1文字がスラッシュならなにもしない。

pass

else:

path+='/'

files=glob.glob(path+'*.csv')

count=0

for file in files:

#print(file)

if filename in file:#ファイル名を含んでいればTRUE

print('ファイルは存在します')

print(file)

count+=1

return True#見つかれがすぐに抜ける

#ループで探し終わってから判断もいれる

if count>0:

return True

else:

print('ファイルはありません')

return False

#end def

def outputCSV(self,columArray,filename,path):#def checkFileExist()を事前にチェックすると良い

#CSV出力用

#TableColumクラス専用のCSV出力、通常の配列は使用できない。

#path='/Users/toshiromaseda/Documents/2021年/2021年株/yahoofinance_data/'

if filename.find('.csv')==-1:#拡張子.csvがないときは付記する

filename+='.csv'

os.chdir(path)#ディレクトリ変更

print(os.getcwd())#ディレクトリ確認

try:

ofile=open(filename,'tw')

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません", e)

sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

for i in columArray:

ofile.write(i+'\n')#カンマで区切られている配列を出力する

ofile.close()

def tupleBunkai(self,tuple):#タプルtupleを処理するためのものtupleはタプルで配列ではない

tmp=[]

stockStr=""

for inside in tuple:

for m in inside:

stockStr+=str(m)+','

tmp.append(stockStr)

stockStr=""

output=tmp

return output

def neraimeHantei(self,obj):

#6かどうかを判定する。イコール=があった場合も処理する

#今後複数もしくは別の狙い目についてもどうするか考える。

#class raceCompuKanriClass()

#self.star=""#コンピュータ予想の自信度の星、1-5

#self.nirentanyosou=[]#コンピュータ予想２連単予想

#self.sanrentanyosou=[]#コンピュータ予想３連単１-６

tmp=[]

tuple=()#こっちはタプルでタプルをtmp配列に入れる

if self.neraime=="":

print("self.neraimeに値がありません。設定していないと探せません")

exit()

for i in range(0,len(obj)):

print("狙い目作業中------------")

print("場コード："+str(obj[i].jouArray[0].jouCode))

for m in range(0,len(obj[i].jouArray)):

#class jouKanriClass():これに場名があるprint(dict[1])#大村と出力される

jouNameObj=jouKanriClass()

jouName=jouNameObj.dict[obj[i].jouArray[m].jouCode]

print(jouName,str(obj[i].jouArray[m].raceNum),str(obj[i].jouArray[m].kekka),str(obj[i].jouArray[m].url))

#配列　obj[i].jouArray[m].nirentanyosou

stockStrNirentan=""

stockStrSanrentan=""

for f in range(0,len(obj[i].jouArray[m].nirentanyosou)):

stockStrNirentan=obj[i].jouArray[m].nirentanyosou[f]

if stockStrNirentan=="":

pass

else:

print("stockStrNirentan2連単:"+stockStrNirentan)

if (str(self.neraime) in stockStrNirentan):

#タプルで追加する　jouCodeを場名に変える

tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,obj[i].jouArray[m].raceNum,obj[i].jouArray[m].kekka, stockStrNirentan)

tmp.append(tuple)

# #該当のオブジェクトをtmpに入れる。もしかすると該当するレースだけを入れてもよい。

#もし、1-12全部に狙い目があると全部同じ場が入ることになるのでそれを避ける必要がある。

#やっぱりレースごとにするか考える。

tuple=()

#配列　obj[i].jouArray[m].sanrentanyosou

for f in range(0,len(obj[i].jouArray[m].sanrentanyosou)):

stockStrSanrentan=obj[i].jouArray[m].sanrentanyosou[f]

if stockStrSanrentan=="":

pass

else:

print("stockStrSanrentan3連単:"+stockStrSanrentan)

if(str(self.neraime) in stockStrSanrentan):

tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,obj[i].jouArray[m].raceNum,obj[i].jouArray[m].kekka, stockStrSanrentan)

tmp.append(tuple)

#tmp=obj

if len(tmp)==0:

print("狙い目はありませんでした。")

output_tuple=tmp

return output_tuple

def getIchiran(self,ftoday):

#「本日の払戻金一覧」から各場のレースのURLを取得する

#https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707

jouname=""#場名

jouCount=0#場コードではなくて、左上から数えた番号

self.totalJouCount=0#総合的な場数

#場名とコードクラスオブジェクト

jouKanri=jouKanriClass()

print("getIchiran_START")

print("処理中")

if ftoday=='':

print("注意！！日付が設定されていませんのでダミーの日付で処理します")

ftoday='20210707'#ダミーデータ

target_url='https://www.boatrace.jp/owpc/pc/race/pay?hd='

mysoup=self.readPage(target_url+ftoday)#class内のメソッド

main=mysoup.find(class_='l-main')

mainInner=main.find(class_='l-mainInner')

contentsFrame1=mainInner.find(class_='contentsFrame1')

contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')

#table1クラスは複数存在する。そして列が5個ある.その1個が1場分

table1_class=contentsFrame1_inner.find_all(class_='table1')#こっちはクラスのテーブル

print(str(len(table1_class))+"テーブル分、1テーブル5場")

for i in range(0,len(table1_class)):

table1_tag=table1_class[i].find("table")#ここにタグのTableタグ以降の情報が入る

if table1_tag==None:#'該当なし、1件もない場合、中身がない'

print("table情報を取得できませんでした。")

else:

jouCount=0

self.tableCount+=1

thead=table1_tag.find("thead")

#trが2行あるけど1行目のclass指定はない

trs=thead.find_all("tr")

for m in range(0,len(trs)):

if m==0:#TR1行目だけ処理

ths=trs[m].find_all("th")

for l in range(0,len(ths)):

if l>0:

area_type1=ths[l].find('div', class_=lambda s:s.startswith("table1_area type1"))#クラスの空白の場合はこのようにする

#.find_all('div', class_=lambda s:s.startswith('foo bar '))

if area_type1==None:

print("area_type1が見つかりませんでした")

else:

areaName=area_type1.find(class_="table1_areaName")#classのときはclass_=が必要でタグのときは不要

if areaName==None:

print("areaNameが見つかりませんでした")#2021/07/07

else:

jouCount+=1

self.totalJouCount+=1

imgAlt=areaName.find("img")

jouName=imgAlt.get('alt', '')

#ここは配列にして格納する。クラスオブジェクトにカプセルにする

jouCode=jouKanri.getJouCode(jouName)#コードを出力する。びわこはひらがなで登録されている

print(str(jouCount)+jouName+str(jouCode))

tmp=jouClass(jouCode)

self.zenjouArray.append(tmp)#次はraceCompuKanriClassオブジェクトにレース情報を与えて、zenjouArrayに入れる

tmp=""

#次へtbodyレース時刻と個別レースのURLを取得する。ただし、レース後は時刻ではなくて結果が挿入される

tbodys=table1_tag.find_all("tbody")

rCount=0

for n in range(0,len(tbodys)):

if rCount==12:#１２レースでリセット

rCount=0

rCount+=1

tbody_tr=tbodys[n].find("tr")

r_th=tbody_tr.find("th")#レース番号が入る　

#a.rstrip("B")末尾のBを削除

print(r_th.get_text().rstrip("R"))#tag内のテキストを取得、１とか１２とかが出力される

tbody_tds=tbodys[n].find_all("td")#ｔｄは複数存在する。なお列ごとに場が異なる。いわゆるエクセルのセルの列情報みたいな感じ

#tdの数を数えつつ、必要な場にデータを与える感じになる。

tdCount=1#ここは１から

#raceTdCount=0#セル3つごとのためのカウンター

inTableJouCount=0#1-5を数えるためのもの

for f in range(0,len(tbody_tds)):

#if tdCount==jouCount:#Max５件、jouCountはテーブルごとに場の数が変わるのでここで調整

# tdCount=0

#raceTdCount+=1

#tdCount+=1

#if raceTdCount==4:

# raceTdCount=1

#tdCount+=1

if tdCount==4:

tdCount=1

#レース結果の場合はnumberSet1_rowが存在する。朝のレース開始前は時刻が表示される

numberSet1_row=tbody_tds[f].find(class_="numberSet1_row") #次はここから

starttime=""

url=""

if tdCount==1:#1個目だけ処理をする

inTableJouCount+=1

if inTableJouCount>5:

print("inTableJouCountが5を越えたのでインクリメントが間違っています")

#全部の場の配列の位置把握のためのカウンター、テーブルごとに場の情報を入れるので、テーブルループで位置を把握できるようにする。つまり配列の要素数

self.zenjouArrayPositionCount=((self.tableCount-1)*5+inTableJouCount)-1#配列は0からなので1を引いておく

#print("場位置配列の要素位置："+str(self.zenjouArrayPositionCount))

if self.zenjouArrayPositionCount<0:

print("self.zenjouArrayPositionCountの値が間違っています。マイナスです")

if numberSet1_row==None:

#print("レースは開始前でまだ結果が表示されていないのでセルが違います")

#次はここから2021/07/08　午前10時12分

atag=tbody_tds[f].find("a")

if atag==None:

#print("atag　がありません")

pass

else:

starttime=atag.get_text()

tmp=""

tmp=atag.get('href')

#URLは、そのままのリンクでは、コンピュータ予想のURLになっていないので置換が必要replace(before,after)

#racelistをpcexpectに置換する

url=tmp.replace('racelist','pcexpect')

#レースオブジェクト作成　raceCompuKanriClass(jouCode,raceNum,starttime,cdate,neraime,url)

#print(starttime.strip())#.strip()で前後の空白文字を削除

tmpjouCode=self.zenjouArray[self.zenjouArrayPositionCount].getJouCodeHikisuNashi()

raceObj=raceCompuKanriClass(tmpjouCode,rCount,starttime.strip(),ftoday,self.neraime,self.baseurl+url)

self.zenjouArray[self.zenjouArrayPositionCount].jouArray.append(raceObj)

else:

#レース結果

spans=numberSet1_row.find_all("span")

kekkaStr=""

for x in range(0,len(spans)):

kekkaStr+=spans[x].get_text()

#print(str(tdCount)+"結果"+kekkaStr)

tmpjouCode=self.zenjouArray[self.zenjouArrayPositionCount].getJouCodeHikisuNashi()

raceObj=raceCompuKanriClass(tmpjouCode,rCount,"",ftoday,self.neraime,"")

raceObj.kekka=kekkaStr

self.zenjouArray[self.zenjouArrayPositionCount].jouArray.append(raceObj)

print("結果"+kekkaStr)

tdCount+=1

#theadを使うか、それともTRタグでいいのかどうか

print(str(self.totalJouCount)+"場数")

output=self.zenjouArray

return output

def getCompuYosou(self,arrayObj):#arrayObjはgetIchiran()の出力配列オブジェクトのURLを使用する

#レースのコンピュータ予想を取得する

tmp=arrayObj

raceYosou=[]#レース予想の配列

for i in range(0,len(tmp)):

print("場コード："+str(tmp[i].jouArray[0].jouCode))

for m in range(0,len(tmp[i].jouArray)):

#print(str(output[i].jouArray[m].raceNum))

#print(str(output[i].jouArray[m].raceNum),str(output[i].jouArray[m].kekka),str(output[i].jouArray[m].url))

tmpurl=tmp[i].jouArray[m].url

if tmpurl=='':

print("結果を参照してください。")

else:

#self.getCompuYosouSeleniumSub(tmpurl)

raceYosou=self.getCompuYosouSub(tmpurl)#1レース分のコンピュータ予想を登録する。この中で秒待ち設定あり

time.sleep(2)

if len(raceYosou)>0:

#コンピュータ予想を取得して、tmpオブジェクトに入れる

#star

#tmp[i].jouArray[m].star=mstar

for f in range(0,len(raceYosou)):

#次はここから、2021/07/09

if len(raceYosou[f])==3:

#2連単でクラスメソッドに分ける

tmp[i].jouArray[m].nirentanyosou.append(raceYosou[f])

else:#3連

tmp[i].jouArray[m].sanrentanyosou.append(raceYosou[f])

else:

print("コンピュータ予想が取得できませんでした。")

if len(tmp)==0:

print("情報がありません。どこかでエラーが発生したと思われますのでチェックしてください")

output=tmp#全場オブジェクト配列を出力する。次はCSV出力

return output

#requestで正常にHTMLが取得できないClassがあったのでSeleniumにしてみた. しかしうまくいかず。結論は、URLが違ってたのと、findの指定が間違ってた

def getCompuYosouSeleniumSub(self,url):

#selenium版

mysoup=self.seleniumReadPage(url)#selenium

#https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&jcd=05&hd=20210708

print("作業中")

time.sleep(2)

main=mysoup.find_element_by_class_name('l-main')

mainInner=main.find_element_by_class_name('l-mainInner')

contentsFrame1=mainInner.find_element_by_class_name('contentsFrame1')

contentsFrame1_inner=contentsFrame1.find_element_by_class_name('contentsFrame1_inner')

if contentsFrame1_inner==None:

print("contentsFrame1_innerが見つかりません")

else:

grid_is_type3_h_clear=contentsFrame1_inner.find_elements_by_css_selector(".grid.is-type3.h-clear")

#grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)

#test=contentsFrame1_inner.find_all('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)

#print(test)

#grid is-type3 h-clear grid is-type3 h-clear

if grid_is_type3_h_clear==None:

print("grid_is_type3_h_clearが見つかりませんでした code112")

else:

contentsFrame1_inner.text

grid_units=contentsFrame1_inner.find_elements_by_class_name('grid_unit')

print("grid_units:"+str(len(grid_units)))#ここが0だ

for f in range(0,len(grid_units)):

if f==0:#1番目だけあればOK

numberSet2_hclear=grid_units[f].find_elements_by_css_selector('.numberSet2.h-clear')

#numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))

if numberSet2_hclear==None:

print("numberSet2 h-clearが見つかりませんでした")

else:

numberSet2_units=numberSet2_hclear.find_elements_by_class_name('numberSet2_unit')#複数numberSet2_unit

for i in range(0,len(numberSet2_units)):

numberSet2_rows=numberSet2_units[i].find_elements_by_class_name('numberSet2_row')

strSpan=numberSet2_rows.text #spanにはされた文字

print(strSpan)

for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名

spans=numberSet2_rows[m].find_elements_by_tag_name('span')

yosouNumStr=""

for x in range(0,len(spans)):

yosouNumStr+=spans[x].text

print(strSpan,yosouNumStr)

state2=grid_units[f].find_element_by_class_name('state2')

spans=state2.find_elements_by_tag_name('span')

for k in range(0,len(spans)):

if k==1:

print(spans[k])

print("end")

output=""

return output

def getCompuYosouSub(self,url):

mysoup=self.readPage(url)#class内のメソッド

#https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&jcd=05&hd=20210708

#上記を取得するので

#racelistをpcexpectに置換する。このメソッドでは置換しない予定

#https://www.boatrace.jp/owpc/pc/race/pcexpect?rno=10&jcd=05&hd=20210708　こっちだ

#自信度の星数は、クラス名の総当りでNONEでなければありと判断する

print(url)

print("コンピュータ予想ページ読み込み、解析中")

raceYosou=[]#初期化１レース分のコンピュータ予想を格納する配列

print("秒待ち設定少々待ってください。連続取り込みしません。")

time.sleep(3)

main=mysoup.find(class_='l-main')

mainInner=main.find(class_='l-mainInner')

contentsFrame1=mainInner.find(class_='contentsFrame1')

contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')

if contentsFrame1_inner==None:

print("contentsFrame1_innerが見つかりません")

else:

#Classに空白が含まれていた場合の対応

grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)

#test=contentsFrame1_inner.find_all('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)

#print(test)

#grid is-type3 h-clear grid is-type3 h-clear

if grid_is_type3_h_clear==None:

print("grid_is_type3_h_clearが見つかりませんでした code112")

else:

grid_units=contentsFrame1_inner.find_all(class_='grid_unit')

print("grid_unitの数："+str(len(grid_units)))#ここが0だとだめ

for f in range(0,len(grid_units)):

if f==0:#1番目だけあればOK

numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))

#tmpCount=grid_units[f].find_all(class_='numberSet2_unit')

#print('numberSet2_unitのCount'+str(len(tmpCount)))

if numberSet2_hclear==None:

print("numberSet2 h-clearが見つかりませんでした")

else:

numberSet2_units=numberSet2_hclear.find_all(class_='numberSet2_unit')#複数

print("2連単をチェック"+str(len(numberSet2_units)))

for i in range(0,len(numberSet2_units)):

numberSet2_rows=numberSet2_units[i].find_all(class_='numberSet2_row')

#yosouNumStr=""

for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名

spans=numberSet2_rows[m].find_all('span')

divStr=numberSet2_rows[m].get_text()#spanにはされた文字を取得

tmpstr=divStr.strip().replace('\t','')

pStr=tmpstr.replace('\r\n','')#文字化けしてた理由がわかったCRLFの改行になっているから\nだけを消すと文字化けする

print("spanの間の文字"+pStr)

raceYosou.append(pStr)

#配列に入れてoutputすればOK

#星についてはタプルで出力できるか、まだ

print("end")

output=raceYosou#コンピュータ予想配列を出力する

return output

CSVの出力例６コースが予想されている番号を出力

その後、改良したクラスコードはこちら

#class boatRaceclass
#ボートレース公式サイトから情報を取得するスクレイピング
#2021/07/07
#環境：OS：Mac,　言語python,　anaconda,　作業をするときはanaconda jupterのエディタよりMS Codeのほうがやりやすい。
#boatRaceCompuYosou.ipynbで使用
'''
・仕様
ボートレース公式https://www.boatrace.jp/
から「本日の払戻金一覧」のところを
https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707
クリックして、本日開催の場の開催時間をクリックする
出走表から結果までの情報を掲載したページが表示される
コンピュータ予想 https://www.boatrace.jp/owpc/pc/race/racelist?
その中のコンピュータ予想タブをクリック
「予想フォーカス」という項目に予想が表示される。
例
蒲郡　 jcd=07 hd=20210707
1R rno=1
https://www.boatrace.jp/owpc/pc/race/racelist?rno=1&jcd=07&hd=20210707

・目的：予想するレースの当選番号が出現するかもしれないレースを探す。
例えば6-全-全が出現するレースを探したい。その場合コンピュータ予想の予想フォーカスで予想されている番号に
6-全-全に該当しそうな予想が表示されていたら、そのレースを出力したい。
なお、コンピュータ予想は当然ながら、当たるとは限らず確率は低い
すべてのレースの予想を手動で探すのは面倒なので、自動で探したい。

・機能：該当のページから必要な情報を取得して、該当の情報（ここでは予想番号）を取得して
CSV出力する。

作業内容
１．「本日の払戻金一覧」
https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707
から開催される全レースのURLを取得
２．取得したURLを場ごとに取得。ループ
３．レースごとにループする
４１。「予想フォーカス」という項目のところの予想番号を取得する
５．予想する番号、例えば６，１の数字があればリストに追加する
６．CSV出力する。該当する予想がなければ出力しない。

※使用上の注意点
一度のスクレイピングとCSV出力だけに対応していて、前回作成したCSVを読み込んで処理を追記する仕様はない。
一度作成したファイルに、レース結果を追記変更することはしない。
ようするに、朝実行して、夜に実行しても朝作成したファイルを読み込んで処理をするものではない。
朝実行すると、朝のファイルを作成し、その後実行すればそのWebサイトの情報をCSVとして出力する。

＞＞なぜこのように書くかというと、レースが開催されるとレース結果が払戻金一覧ページに表示される。
レースが開催されていない場合は時刻が記載されていて、出力されるCSVの記載が異なるので、後日CSVの内容を
確認すると、「レース結果が後で追記されるのか？」と勘違いするかもしれない。
現時点では、払戻金一覧のレース前の状態で、コンピュータ予想を知りたいだけの機能である。
よってコンピュータ予想を取得してCSV出力して、その後の処理は何もしない。

'''

import os
import re
import sys
import time
import datetime
import glob#ファイル一覧
import shutil#move
from selenium import webdriver
import pandas as pd

import requests#スクレイピング
from bs4 import BeautifulSoup#スクレイピング

#場管理クラスを作成する
#まだこれから
class jouKanriClass():
    def __init__(self):
        #dict3 = {'JP':'Tokyo','US':'Washington'} #要素に文字列を入れて初期化
        self.jouCode=0
        self.jouName=""
        #連想配列　print(dict[1])#大村と出力される　びわこだけひらがな
        self.dict={1:'桐生',2:'戸田',3:'江戸川',4:'平和島',5:'多摩川',6:'浜名湖',7:'蒲郡',8:'常滑',\
            9:'津',10:'三国',11:'びわこ',12:'住之江',13:'尼崎',14:'鳴門',15:'丸亀',16:'児島',17:'宮島',\
                18:'徳山',19:'下関',20:'若松',21:'芦屋',22:'福岡',23:'唐津',24:'大村'}
    
    def getJouCode(self,jouName):#場名から数字コードを出力する
        for key, value in self.dict.items():
            if jouName == value:
                 return key
        return "There is no such Key"


#個別レースクラス 1レースのコンピュータ予想情報を管理する。選手情報を管理するためのものではない
class raceCompuKanriClass():
    def __init__(self,jouCode,raceNum,starttime,cdate,neraime,url):
        self.jouCode=jouCode
        self.raceNum=raceNum
        self.time=starttime#時刻
        self.date=cdate#日付
        self.neraime=neraime#６を狙い目としている
        self.kekka=""#レース結果,結果が表示されていれば。時間帯によって結果が表示されている
        #以降のデータは随時取得してから挿入する
        self.url=url
        self.star=""#コンピュータ予想の自信度の星、1-5
        self.nirentanyosou=[]#コンピュータ予想２連単予想
        self.sanrentanyosou=[]#コンピュータ予想３連単１-６
        self.playerNumAndClass=[]#6人分の入れる

#個別場クラス、個別レースクラスをオブジェクト配列として管理する
class jouClass():
    def __init__(self,jouCode):
        self.jouArray=[]#初期化 raceCompuKanriClassオブジェクトを追加する
        self.jouCode=jouCode
    
    def getJouCodeHikisuNashi(self):
        return self.jouCode


#レース情報クラス、個別の場のレース情報をまとめて管理する
class boatRaceClass():
    def __init__(self):
        self.tableCount=0#テーブルのカウンター
        self.totalJouCount=0
        self.zenjouArrayPositionCount=0#全部の場の配列の位置把握のためのカウンター
        self.zenjouArray=[]#全部の場の配列
        self.neraime=6#狙い目
        self.baseurl='https://www.boatrace.jp'
        #self.jouCode=jouCode
    def seleniumReadPage(self,furl):#selenium版、requestでうまく取得できないClassがあった
       # 仮想ブラウザ起動、URL先のサイトにアクセス
        driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする
        #他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい
        #
        driver.get(furl)
        soup=driver
        return soup
    
    def readPage(self,furl):
        #URL読み込み　2021/07/07
        r = requests.get(furl)#requestsを使って、webから取得
        soup = BeautifulSoup(r.text, 'lxml') #要素を抽出
        return soup

    def checkFileExist(self,filename,path):
        #他にもimport os　os.listdir(path) というのもある
        if path[-1]=='/':#文字列の最後の1文字がスラッシュならなにもしない。
            pass
        else:
            path+='/'
        files=glob.glob(path+'*.csv')
        count=0
        for file in files:
            #print(file)
            if filename in file:#ファイル名を含んでいればTRUE
                print('ファイルは存在します')
                print(file)
                count+=1
                return True#見つかれがすぐに抜ける
        #ループで探し終わってから判断もいれる     
        if count>0:
            return True
        else:
            print('ファイルはありません')
            return False
    #end def

    def outputCSV(self,columArray,filename,path):#def checkFileExist()を事前にチェックすると良い
        #CSV出力用
        #TableColumクラス専用のCSV出力、通常の配列は使用できない。
        #path='/Users/toshiromaseda/Documents/2021年/2021年株/yahoofinance_data/'
        if filename.find('.csv')==-1:#拡張子.csvがないときは付記する
            filename+='.csv'
        os.chdir(path)#ディレクトリ変更
        print(os.getcwd())#ディレクトリ確認
        try:
            ofile=open(filename,'tw') 
        except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
           print("ファイルが見つかりません", e)
           sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい
        except Exception as e: # Exceptionは、それ以外の例外が発生した場合
           print(e)
        
        for i in columArray:
            ofile.write(i+'\n')
        ofile.close() 

    def tupleBunkai(self,tuple):#タプルtupleを処理するためのものtupleはタプルで配列ではない
        tmp=[]
        stockStr=""
        for inside in tuple:
            for m in inside:
                stockStr+=str(m)+','
            tmp.append(stockStr)
            stockStr=""
        output=tmp
        return output

    def neraimeHantei(self,obj):
        #6かどうかを判定する。イコール=があった場合も処理する
        #今後複数もしくは別の狙い目についてもどうするか考える。
        #class raceCompuKanriClass()
        #self.star=""#コンピュータ予想の自信度の星、1-5
        #self.nirentanyosou=[]#コンピュータ予想２連単予想
        #self.sanrentanyosou=[]#コンピュータ予想３連単１-６
        tmp=[]
        tuple=()#こっちはタプルでタプルをtmp配列に入れる
        #見出しを与える　時刻は締め切り時刻、「結果」はレース終了となったときWebに更新されるので実行する時刻によっては空欄になる
        tuple=('日付','時刻','場コード','場名','レース番号','結果','予想')
        tmp.append(tuple)
        if self.neraime=="":
            print("self.neraimeに値がありません。設定していないと探せません")
            exit()
        for i in range(0,len(obj)):
            print("狙い目作業中------------")
            print("場コード："+str(obj[i].jouArray[0].jouCode))
            for m in range(0,len(obj[i].jouArray)):
                #class jouKanriClass():これに場名があるprint(dict[1])#大村と出力される
                jouNameObj=jouKanriClass()
                jouName=jouNameObj.dict[obj[i].jouArray[m].jouCode]
                #print(jouName,str(obj[i].jouArray[m].raceNum),str(obj[i].jouArray[m].kekka),str(obj[i].jouArray[m].url))
                #配列　obj[i].jouArray[m].nirentanyosou
                stockStrNirentan=""
                stockStrSanrentan=""
                for f in range(0,len(obj[i].jouArray[m].nirentanyosou)):
                    stockStrNirentan=obj[i].jouArray[m].nirentanyosou[f]
                    if stockStrNirentan=="":
                        pass
                    else:
                        #print("stockStrNirentan2連単:"+stockStrNirentan)
                        if (str(self.neraime) in stockStrNirentan):
                            #タプルで追加する　jouCodeを場名に変える
                            tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,'R'+str(obj[i].jouArray[m].raceNum),obj[i].jouArray[m].kekka, stockStrNirentan)
                            tmp.append(tuple)
                            # #該当のオブジェクトをtmpに入れる。もしかすると該当するレースだけを入れてもよい。
                            #もし、1-12全部に狙い目があると全部同じ場が入ることになるのでそれを避ける必要がある。
                            #やっぱりレースごとにするか考える。
                tuple=()
                #配列　obj[i].jouArray[m].sanrentanyosou
                for f in range(0,len(obj[i].jouArray[m].sanrentanyosou)):
                    stockStrSanrentan=obj[i].jouArray[m].sanrentanyosou[f]
                    if stockStrSanrentan=="":
                        pass
                    else:
                        #print("stockStrSanrentan3連単:"+stockStrSanrentan)
                        if(str(self.neraime) in stockStrSanrentan):
                            tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,'R'+str(obj[i].jouArray[m].raceNum),obj[i].jouArray[m].kekka, stockStrSanrentan)
                            tmp.append(tuple)
        #tmp=obj
        if len(tmp)==1:#見出し行のみなら狙い目はない
            print("狙い目はありませんでした。")
        output_tuple=tmp
        return output_tuple


    def getIchiran(self,ftoday):
        #「本日の払戻金一覧」から各場のレースのURLを取得する
        #https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707
        jouname=""#場名
        jouCount=0#場コードではなくて、左上から数えた番号
        self.totalJouCount=0#総合的な場数
        #場名とコードクラスオブジェクト
        jouKanri=jouKanriClass()
        
        print("getIchiran_START")
        print("処理中")
        if ftoday=='':
            print("注意！！日付が設定されていませんのでダミーの日付で処理します")
            ftoday='20210707'#ダミーデータ
            
        target_url='https://www.boatrace.jp/owpc/pc/race/pay?hd='
        mysoup=self.readPage(target_url+ftoday)#class内のメソッド
        main=mysoup.find(class_='l-main')
        mainInner=main.find(class_='l-mainInner')
        contentsFrame1=mainInner.find(class_='contentsFrame1')
        contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')
        
        #table1クラスは複数存在する。そして列が5個ある.その1個が1場分
        table1_class=contentsFrame1_inner.find_all(class_='table1')#こっちはクラスのテーブル
        print(str(len(table1_class))+"テーブル分、1テーブル5場")
        
        for i in range(0,len(table1_class)):
        
            table1_tag=table1_class[i].find("table")#ここにタグのTableタグ以降の情報が入る
            if table1_tag==None:#'該当なし、1件もない場合、中身がない'
                print("table情報を取得できませんでした。")
            else:
                jouCount=0
                self.tableCount+=1
                thead=table1_tag.find("thead")
                #trが2行あるけど1行目のclass指定はない
                trs=thead.find_all("tr")
                for m in range(0,len(trs)):
                    if m==0:#TR1行目だけ処理
                        ths=trs[m].find_all("th")
                        for l in range(0,len(ths)):
                            if l>0:
                                area_type1=ths[l].find('div', class_=lambda s:s.startswith("table1_area type1"))#クラスの空白の場合はこのようにする
                                #.find_all('div', class_=lambda s:s.startswith('foo bar '))
                                if area_type1==None:
                                    print("area_type1が見つかりませんでした")
                                else:
                                    areaName=area_type1.find(class_="table1_areaName")#classのときはclass_=が必要でタグのときは不要
                                    if areaName==None:
                                        print("areaNameが見つかりませんでした")#2021/07/07
                                    else:
                                        jouCount+=1
                                        self.totalJouCount+=1
                                        imgAlt=areaName.find("img")
                                        jouName=imgAlt.get('alt', '')
                                        #ここは配列にして格納する。クラスオブジェクトにカプセルにする
                                        jouCode=jouKanri.getJouCode(jouName)#コードを出力する。びわこはひらがなで登録されている
                                        #print(str(jouCount)+jouName+str(jouCode))
                                        tmp=jouClass(jouCode)    
                                        self.zenjouArray.append(tmp)#次はraceCompuKanriClassオブジェクトにレース情報を与えて、zenjouArrayに入れる
                                        tmp=""
                                        
                #次へtbodyレース時刻と個別レースのURLを取得する。ただし、レース後は時刻ではなくて結果が挿入される
                tbodys=table1_tag.find_all("tbody")    
                rCount=0
                for n in range(0,len(tbodys)):
                    if rCount==12:#１２レースでリセット
                        rCount=0
                    rCount+=1
                    tbody_tr=tbodys[n].find("tr")
                    r_th=tbody_tr.find("th")#レース番号が入る　
                    #a.rstrip("B")末尾のBを削除
                    print(r_th.get_text().rstrip("R"))#tag内のテキストを取得、１とか１２とかが出力される
 
                    tbody_tds=tbodys[n].find_all("td")#ｔｄは複数存在する。なお列ごとに場が異なる。いわゆるエクセルのセルの列情報みたいな感じ
                    #tdの数を数えつつ、必要な場にデータを与える感じになる。
                    tdCount=1#ここは１から
                    #raceTdCount=0#セル3つごとのためのカウンター
                    inTableJouCount=0#1-5を数えるためのもの
                    for f in range(0,len(tbody_tds)):
                        #if tdCount==jouCount:#Max５件、jouCountはテーブルごとに場の数が変わるのでここで調整
                        if tdCount==4:
                            tdCount=1
                        #レース結果の場合はnumberSet1_rowが存在する。朝のレース開始前は時刻が表示される
                        numberSet1_row=tbody_tds[f].find(class_="numberSet1_row") #次はここから
                        starttime=""
                        url=""
                        if tdCount==1:#1個目だけ処理をする
                            inTableJouCount+=1
                            if inTableJouCount>5:
                                print("inTableJouCountが5を越えたのでインクリメントが間違っています")
                            #全部の場の配列の位置把握のためのカウンター、テーブルごとに場の情報を入れるので、テーブルループで位置を把握できるようにする。つまり配列の要素数
                            self.zenjouArrayPositionCount=((self.tableCount-1)*5+inTableJouCount)-1#配列は0からなので1を引いておく
                            #print("場位置配列の要素位置："+str(self.zenjouArrayPositionCount))
                            if self.zenjouArrayPositionCount<0:
                                print("self.zenjouArrayPositionCountの値が間違っています。マイナスです")
                            if numberSet1_row==None:
                                #print("レースは開始前でまだ結果が表示されていないのでセルが違います")
                                #次はここから2021/07/08　午前10時12分
                                atag=tbody_tds[f].find("a")
                                if atag==None:
                                    #print("atag　がありません")
                                    pass
                                else:
                                    starttime=atag.get_text()
                                    tmp=""
                                    tmp=atag.get('href')
                                    #URLは、そのままのリンクでは、コンピュータ予想のURLになっていないので置換が必要replace(before,after)
                                    #racelistをpcexpectに置換する
                                    url=tmp.replace('racelist','pcexpect')
                                #レースオブジェクト作成　raceCompuKanriClass(jouCode,raceNum,starttime,cdate,neraime,url)
                                #print(starttime.strip())#.strip()で前後の空白文字を削除 
                                tmpjouCode=self.zenjouArray[self.zenjouArrayPositionCount].getJouCodeHikisuNashi()
                                raceObj=raceCompuKanriClass(tmpjouCode,rCount,starttime.strip(),ftoday,self.neraime,self.baseurl+url)
                                self.zenjouArray[self.zenjouArrayPositionCount].jouArray.append(raceObj)
                            else:
                                #レース結果raceresult
                                td_url=tbody_tds[f].get('data-href')
                                if td_url=="":
                                    pass
                                else:
                                    url=td_url.replace('raceresult','pcexpect')
                                spans=numberSet1_row.find_all("span")
                                kekkaStr=""
                                for x in range(0,len(spans)):
                                    kekkaStr+=spans[x].get_text()
                                #print(str(tdCount)+"結果"+kekkaStr)
                                tmpjouCode=self.zenjouArray[self.zenjouArrayPositionCount].getJouCodeHikisuNashi()
                                if url=="":
                                    raceObj=raceCompuKanriClass(tmpjouCode,rCount,"",ftoday,self.neraime,"")
                                else:
                                    raceObj=raceCompuKanriClass(tmpjouCode,rCount,"",ftoday,self.neraime,self.baseurl+url)
                                raceObj.kekka=kekkaStr
                                self.zenjouArray[self.zenjouArrayPositionCount].jouArray.append(raceObj) 
                                print("結果"+kekkaStr) 
                        tdCount+=1
        #theadを使うか、それともTRタグでいいのかどうか
        print(str(self.totalJouCount)+"場数")
        output=self.zenjouArray
        return output
        
    def getCompuYosou(self,arrayObj):#arrayObjはgetIchiran()の出力配列オブジェクトのURLを使用する
        #レースのコンピュータ予想を取得する
        tmp=arrayObj
        raceYosou=[]#レース予想の配列
        for i in range(0,len(tmp)):
            print("残り："+str(len(tmp)-i))
            print("場コード："+str(tmp[i].jouArray[0].jouCode))
            for m in range(0,len(tmp[i].jouArray)):
                #print(str(output[i].jouArray[m].raceNum))
                #print(str(output[i].jouArray[m].raceNum),str(output[i].jouArray[m].kekka),str(output[i].jouArray[m].url))
                tmpurl=tmp[i].jouArray[m].url
                if tmpurl=='':
                    print("結果を参照してください。")
                    continue
                else:
                    #self.getCompuYosouSeleniumSub(tmpurl)
                    raceYosou=self.getCompuYosouSub(tmpurl)#1レース分のコンピュータ予想を登録する。この中で秒待ち設定あり
                time.sleep(2)
                if len(raceYosou)>0:
                    #コンピュータ予想を取得して、tmpオブジェクトに入れる
                    #star
                    #tmp[i].jouArray[m].star=mstar
                    for f in range(0,len(raceYosou)):
                        #次はここから、2021/07/09
                        if len(raceYosou[f])==3:
                            #2連単でクラスメソッドに分ける
                            tmp[i].jouArray[m].nirentanyosou.append(raceYosou[f])
                        else:#3連
                            tmp[i].jouArray[m].sanrentanyosou.append(raceYosou[f])
                else:
                    print("コンピュータ予想が取得できませんでした。")
        if len(tmp)==0:
            print("情報がありません。どこかでエラーが発生したと思われますのでチェックしてください")
        output=tmp#全場オブジェクト配列を出力する。次はCSV出力
        return output

    #requestで正常にHTMLが取得できないClassがあったのでSeleniumにしてみた. しかしうまくいかず。結論は、URLが違ってたのと、findの指定が間違ってた
    def getCompuYosouSeleniumSub(self,url):
        #selenium版
        mysoup=self.seleniumReadPage(url)#selenium
      #https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&jcd=05&hd=20210708
        print("作業中")
        time.sleep(2)
        main=mysoup.find_element_by_class_name('l-main')
        mainInner=main.find_element_by_class_name('l-mainInner') 
        contentsFrame1=mainInner.find_element_by_class_name('contentsFrame1')        
        contentsFrame1_inner=contentsFrame1.find_element_by_class_name('contentsFrame1_inner')
        if contentsFrame1_inner==None:
            print("contentsFrame1_innerが見つかりません")  
        else:
            grid_is_type3_h_clear=contentsFrame1_inner.find_elements_by_css_selector(".grid.is-type3.h-clear")
            #grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)
            #test=contentsFrame1_inner.find_all('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c) 
            #print(test)
            #grid is-type3 h-clear grid is-type3 h-clear
            if grid_is_type3_h_clear==None:
                print("grid_is_type3_h_clearが見つかりませんでした code112")
            else:
                contentsFrame1_inner.text
                grid_units=contentsFrame1_inner.find_elements_by_class_name('grid_unit')
                print("grid_units:"+str(len(grid_units)))#ここが0だ
                for f in range(0,len(grid_units)):
                    if f==0:#1番目だけあればOK
                        numberSet2_hclear=grid_units[f].find_elements_by_css_selector('.numberSet2.h-clear')
                        #numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))
                        if numberSet2_hclear==None:
                            print("numberSet2 h-clearが見つかりませんでした")
                        else: 
                            numberSet2_units=numberSet2_hclear.find_elements_by_class_name('numberSet2_unit')#複数numberSet2_unit
                            for i in range(0,len(numberSet2_units)):
                                numberSet2_rows=numberSet2_units[i].find_elements_by_class_name('numberSet2_row')
                                strSpan=numberSet2_rows.text #spanにはされた文字
                                print(strSpan)
                                for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名
                                    spans=numberSet2_rows[m].find_elements_by_tag_name('span')
                                    yosouNumStr=""
                                    for x in range(0,len(spans)):
                                        yosouNumStr+=spans[x].text
                                print(strSpan,yosouNumStr)
                        state2=grid_units[f].find_element_by_class_name('state2')
                        spans=state2.find_elements_by_tag_name('span') 
                        for k in range(0,len(spans)):
                            if k==1:
                                print(spans[k])
            
        print("end")
        output=""
        return output


    def getCompuYosouSub(self,url):
        mysoup=self.readPage(url)#class内のメソッド
        #https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&jcd=05&hd=20210708
        #上記を取得するので
        #racelistをpcexpectに置換する。このメソッドでは置換しない予定
        #https://www.boatrace.jp/owpc/pc/race/pcexpect?rno=10&jcd=05&hd=20210708　こっちだ
        
        #自信度の星数は、クラス名の総当りでNONEでなければありと判断する
        #print(url)
        #print("コンピュータ予想ページ読み込み、解析中")
        raceYosou=[]#初期化 １レース分のコンピュータ予想を格納する配列
        #print("秒待ち設定少々待ってください。連続取り込みしません。")
        time.sleep(3)
        main=mysoup.find(class_='l-main')
        mainInner=main.find(class_='l-mainInner') 
        contentsFrame1=mainInner.find(class_='contentsFrame1')        
        contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')
        if contentsFrame1_inner==None:
            print("contentsFrame1_innerが見つかりません")  
        else:
            #Classに空白が含まれていた場合の対応
            grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)
            #test=contentsFrame1_inner.find_all('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c) 
            #print(test)
            #grid is-type3 h-clear grid is-type3 h-clear
            if grid_is_type3_h_clear==None:
                print("grid_is_type3_h_clearが見つかりませんでした code112")
            else:
                grid_units=contentsFrame1_inner.find_all(class_='grid_unit')
                #print("grid_unitの数："+str(len(grid_units)))#ここが0だとだめ
                for f in range(0,len(grid_units)):
                    if f==0:#1番目だけあればOK
                        numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))
                        #tmpCount=grid_units[f].find_all(class_='numberSet2_unit')
                        #print('numberSet2_unitのCount'+str(len(tmpCount)))
                        if numberSet2_hclear==None:
                            print("numberSet2 h-clearが見つかりませんでした")
                        else: 
                            numberSet2_units=numberSet2_hclear.find_all(class_='numberSet2_unit')#複数
                            #print("2連単をチェック"+str(len(numberSet2_units)))
                            for i in range(0,len(numberSet2_units)):
                                numberSet2_rows=numberSet2_units[i].find_all(class_='numberSet2_row')
                                #yosouNumStr=""
                                for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名
                                    spans=numberSet2_rows[m].find_all('span')
                                    divStr=numberSet2_rows[m].get_text()#spanにはされた文字を取得
                                    tmpstr=divStr.strip().replace('\t','')
                                    pStr=tmpstr.replace('\r\n','')#文字化けしてた理由がわかったCRLFの改行になっているから\nだけを消すと文字化けする
                                    #print("spanの間の文字"+pStr)
                                    raceYosou.append(pStr)
                                    #配列に入れてoutputすればOK
                                    #星についてはタプルで出力できるか、まだ
            #選手番号と級別の取得

        print("end")
        output=raceYosou#コンピュータ予想配列を出力する、級別のオブジェクトをタプルで出力する
        return output
#--------------------------------------------------------------------
#--------------------------------------------------------------------
#--------------------------------------------------------------------
#--------------------------------------------------------------------
#--------------------------------------------------------------------
#---ここは継承クラスboatRacePlayerClass() 選手クラスを追加するためのバージョン
#--------------------------------------------------------------------
#--------------------------------------------------------------------
#--------------------------------------------------------------------
#--------------------------------------------------------------------
#--------------------------------------------------------------------
#継承クラスを作る利点は、すでに動いているものは壊さないために別クラスを作成する。手間を省いて、追加したい機能だけを効率よく作りたい
#使用するときはクラス名を変えるだけでメソッドは極力そのままとする。（機能追加や大幅変更は、メソッド名を変更したほうがわかりやすい）
class boatRacePlayerClass(boatRaceClass):
    #基底クラスのboatRaceClassと異なる点は、級別（選手番号）を追加したこと。級別取得スクレイピングとCSVに出力する部分を書き直す
    #オーバーライドの記載は一部変数が追加のときにsuper()を使うと基底クラスのメソッドの一部をそのまま使えて、その分を記載する必要がない
    #今回はsuperを使う必要はないかも
    def allA1Reject(self,tupleObj):
        #1-6コース全員がA1は除外する。タプルが配列に入っているオブジェクト
        print("1-6コース全員がA1は除外するallA1Reject()")
        tmpObj=[]#タプルの入った配列オブジェクトを再編する

        for getstr in tupleObj:
            #今の所、A1という文字が存在するのは選手クラスだけなのでタプル全部のセルを検索してA1があるかをチェックする。
            count=0
            for m in range(0,len(getstr)):
                if ('A1' in str(getstr[m])):
                    count+=1
            if count>=6:
                pass
                #print("みんなA1だったのでリストに入れない:"+getstr)
            else:
                tmpObj.append(getstr)

        output_tuple=tmpObj
        return output_tuple
        
    def playerClassGet(self,soup):
        #ここは継承クラス　boatRacePlayerClass
        #選手番号と級別の取得 getCompuYosouSub()の中で使用する
        playerClassObj=[]
        classTables=soup.find_all(class_='table1')#class名で[tabel1]と[table1 aaa]が存在するとtable1は複数あるとみなされる 
        #print(len(classTables))
        for x in range(0,len(classTables)):
            table=classTables[x].find("table")
            tbodys=table.find_all("tbody")
            #print("playerClassGet処理中")
            for i in range(0,len(tbodys)):
                trs=tbodys[i].find_all("tr")
                #print("tr取得")
                for f in range(0,len(trs)):
                    if f==0:#f=0のときだけ
                        tds=trs[f].find_all("td")
                        for m in range(0,len(tds)):
                            #print("td処理中")OK
                            is_fs11=tds[m].find_all(class_='is-fs11')
                            #ここで正常にis-fs11が取得できていない。2021/07/11、12:13、なんで？　table1クラスが実は同名を含む複数が存在したから。
                            #print(str(m)+"番目"+str(len(is_fs11)))
                            for l in range(0,len(is_fs11)):
                                #print("is_fs_112処理中")
                                if l==0:#選手クラスは0要素の1番目
                                    #単体テスト用の確認用メソッドを作る必要があるな。統合して実行すると15分以上かかるから。2021/07/11
                                    #print(is_fs11[l].get_text().strip().replace('\t','').replace('\r\n',''))
                                    #左から順に処理が進む、stripしてreplaceしてまたreplaceして、、、
                                    playerClassObj.append(is_fs11[l].get_text().strip().replace('\t','').replace('\r\n',''))
        if len(playerClassObj)==0:
            print("playerClassObjの数が0です。")                            
        output=playerClassObj
        return output

    #オーバーライド   
    def neraimeHantei(self,obj):
        #6かどうかを判定する。イコール=があった場合も処理する
        #今後複数もしくは別の狙い目についてもどうするか考える。
        #class raceCompuKanriClass()
        #self.star=""#コンピュータ予想の自信度の星、1-5
        #self.nirentanyosou=[]#コンピュータ予想２連単予想
        #self.sanrentanyosou=[]#コンピュータ予想３連単１-６
        #選手クラスを追加した。
        tmp=[]
        tuple=()#こっちはタプルでタプルをtmp配列に入れる
        #見出しを与える　時刻は締め切り時刻、「結果」はレース終了となったときWebに更新されるので実行する時刻によっては空欄になる
        tuple=('日付','時刻','場コード','場名','レース番号','結果','予想','枠1','枠2','枠3','枠4','枠5','枠6')
        tmp.append(tuple)
        if self.neraime=="":
            print("self.neraimeに値がありません。設定していないと探せません")
            exit()
        for i in range(0,len(obj)):
            print("狙い目作業中------------")
            print("場コード："+str(obj[i].jouArray[0].jouCode))
            for m in range(0,len(obj[i].jouArray)):
                #class jouKanriClass():これに場名があるprint(dict[1])#大村と出力される
                jouNameObj=jouKanriClass()
                jouName=jouNameObj.dict[obj[i].jouArray[m].jouCode]
                #print(jouName,str(obj[i].jouArray[m].raceNum),str(obj[i].jouArray[m].kekka),str(obj[i].jouArray[m].url))
                #配列　obj[i].jouArray[m].nirentanyosou
                stockStrNirentan=""
                stockStrSanrentan=""
                for f in range(0,len(obj[i].jouArray[m].nirentanyosou)):
                    stockStrNirentan=obj[i].jouArray[m].nirentanyosou[f]
                    if stockStrNirentan=="":
                        pass
                    else:
                        #print("stockStrNirentan2連単:"+stockStrNirentan)
                        if (str(self.neraime) in stockStrNirentan):
                            tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,\
                                'R'+str(obj[i].jouArray[m].raceNum),obj[i].jouArray[m].kekka, stockStrNirentan,\
                                    obj[i].jouArray[m].playerNumAndClass[0],obj[i].jouArray[m].playerNumAndClass[1],\
                                        obj[i].jouArray[m].playerNumAndClass[2],obj[i].jouArray[m].playerNumAndClass[3],\
                                            obj[i].jouArray[m].playerNumAndClass[4],obj[i].jouArray[m].playerNumAndClass[5])
                            tmp.append(tuple)
                tuple=()
                #配列　obj[i].jouArray[m].sanrentanyosou
                for f in range(0,len(obj[i].jouArray[m].sanrentanyosou)):
                    stockStrSanrentan=obj[i].jouArray[m].sanrentanyosou[f]
                    if stockStrSanrentan=="":
                        pass
                    else:
                        #print("stockStrSanrentan3連単:"+stockStrSanrentan)
                        if(str(self.neraime) in stockStrSanrentan):
                            tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,\
                                'R'+str(obj[i].jouArray[m].raceNum),obj[i].jouArray[m].kekka, stockStrSanrentan,\
                                    obj[i].jouArray[m].playerNumAndClass[0],obj[i].jouArray[m].playerNumAndClass[1],\
                                        obj[i].jouArray[m].playerNumAndClass[2],obj[i].jouArray[m].playerNumAndClass[3],\
                                            obj[i].jouArray[m].playerNumAndClass[4],obj[i].jouArray[m].playerNumAndClass[5])
                            tmp.append(tuple)
        #tmp=obj
        if len(tmp)==1:#見出し行のみなら狙い目はない
            print("狙い目はありませんでした。")
        output_tuple=tmp
        return output_tuple

    #getCompuYosouはオーバーライド
    def getCompuYosou(self,arrayObj):#arrayObjを入れる。getIchiran()の出力配列オブジェクトのURLを使用する
        #ここは継承クラス　boatRacePlayerClass
        #レースのコンピュータ予想を取得する
        #追加機能、選手クラス追加
        tmp=arrayObj
        raceYosou=[]#レース予想の配列
        for i in range(0,len(tmp)):
            print("場コード："+str(tmp[i].jouArray[0].jouCode))
            for m in range(0,len(tmp[i].jouArray)):
                #print(str(output[i].jouArray[m].raceNum),str(output[i].jouArray[m].kekka),str(output[i].jouArray[m].url))
                tmpurl=tmp[i].jouArray[m].url
                if tmpurl=='':
                    print("結果を参照してください。")
                    continue
                else:
                    #ここは継承クラス　boatRacePlayerClass
                    #タプルの配列オブジェクトを受け取る
                    raceYosou=self.getCompuYosouSub(tmpurl)#1レース分のコンピュータ予想、選手クラスを登録する。この中で秒待ち設定あり
                    #0番目タプルと1番目タプルで処理を行う。2021/07/11
                time.sleep(2)
                if len(raceYosou)>0:
                    #コンピュータ予想を取得して、tmpオブジェクトに入れる
                    #star
                    #tmp[i].jouArray[m].star=mstar
                    #0番目タプル、予想
                    for f in range(0,len(raceYosou[0])):
                        #次はここから、2021/07/09
                        if len(raceYosou[0][f])==3:
                            #2連単でクラスメソッドに分ける
                            tmp[i].jouArray[m].nirentanyosou.append(raceYosou[0][f])
                        else:#3連
                            tmp[i].jouArray[m].sanrentanyosou.append(raceYosou[0][f])
                    #1番目タプル、選手クラス
                    for x in range(0,len(raceYosou[1])):#6人分が入っている。「選手番号/クラス」となっている。
                        tmp[i].jouArray[m].playerNumAndClass.append(raceYosou[1][x].split('/')[1])#1234/B1のときにsplitして、2番めのB1を取得する
                else:
                    print("コンピュータ予想が取得できませんでした。")
        if len(tmp)==0:
            print("情報がありません。どこかでエラーが発生したと思われますのでチェックしてください")
        output=tmp#全場オブジェクト配列を出力する。次はCSV出力
        return output

    #オーバーライド
    def getCompuYosouSub(self,url):#スクレイピング部分
        #ここは継承クラス　boatRacePlayerClass、基底クラスはboatRaceClass()
        #基底クラスとの違いは選手クラスを追加したこと
        mysoup=self.readPage(url)#class内のメソッド
        #https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&jcd=05&hd=20210708
        #上記を取得するので
        #racelistをpcexpectに置換する。このメソッドでは置換しない予定
        #https://www.boatrace.jp/owpc/pc/race/pcexpect?rno=10&jcd=05&hd=20210708　こっちだ
        
        #自信度の星数は、クラス名の総当りでNONEでなければありと判断する
        #print(url)
        #print("コンピュータ予想ページ読み込み、解析中")
        raceYosou=[]#初期化 １レース分のコンピュータ予想を格納する配列
        playerObj=[]
        #print("秒待ち設定少々待ってください。連続取り込みしません。")
        time.sleep(3)
        main=mysoup.find(class_='l-main')
        mainInner=main.find(class_='l-mainInner') 
        contentsFrame1=mainInner.find(class_='contentsFrame1')        
        contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')
        if contentsFrame1_inner==None:
            print("contentsFrame1_innerが見つかりません")  
        else:
            #Classに空白が含まれていた場合の対応
            grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)
            #grid is-type3 h-clear grid is-type3 h-clear
            if grid_is_type3_h_clear==None:
                print("grid_is_type3_h_clearが見つかりませんでした code112")
            else:
                grid_units=contentsFrame1_inner.find_all(class_='grid_unit')
                #print("grid_unitの数："+str(len(grid_units)))#ここが0だとだめ
                for f in range(0,len(grid_units)):
                    if f==0:#1番目だけあればOK
                        numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))
                        #tmpCount=grid_units[f].find_all(class_='numberSet2_unit')
                        #print('numberSet2_unitのCount'+str(len(tmpCount)))
                        if numberSet2_hclear==None:
                            print("numberSet2 h-clearが見つかりませんでした")
                        else: 
                            numberSet2_units=numberSet2_hclear.find_all(class_='numberSet2_unit')#複数
                            #print("2連単をチェック"+str(len(numberSet2_units)))
                            for i in range(0,len(numberSet2_units)):
                                numberSet2_rows=numberSet2_units[i].find_all(class_='numberSet2_row')
                                #yosouNumStr=""
                                for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名
                                    spans=numberSet2_rows[m].find_all('span')
                                    divStr=numberSet2_rows[m].get_text()#spanにはされた文字を取得
                                    tmpstr=divStr.strip().replace('\t','')
                                    pStr=tmpstr.replace('\r\n','')#文字化けしてた理由がわかったCRLFの改行になっているから\nだけを消すと文字化けする
                                    #print("spanの間の文字"+pStr)
                                    raceYosou.append(pStr)
                                    #配列に入れてoutputすればOK
                                    #星についてはタプルで出力できるか、まだ
            #選手番号と級別の取得
            #ここは継承クラス　boatRacePlayerClass
            #これから2021/07/11
            #playerClassGet()メソッドを作成してコードの視認性を上げる
            #table1はクラス名として複数存在している[table1 aaa]みたいなだからこっちを見てるなので,
            playerObj=self.playerClassGet(contentsFrame1_inner)#レースごとの出場選手のクラス情報を追加する。1レース6名となる
        #print("end")
        output=(raceYosou,playerObj)#コンピュータ予想配列を出力する、級別のオブジェクトをタプルで出力する
        return output

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

368

369

370

371

372

373

374

375

376

377

378

379

380

381

382

383

384

385

386

387

388

389

390

391

392

393

394

395

396

397

398

399

400

401

402

403

404

405

406

407

408

409

410

411

412

413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431

432

433

434

435

436

437

438

439

440

441

442

443

444

445

446

447

448

449

450

451

452

453

454

455

456

457

458

459

460

461

462

463

464

465

466

467

468

469

470

471

472

473

474

475

476

477

478

479

480

481

482

483

484

485

486

487

488

489

490

491

492

493

494

495

496

497

498

499

500

501

502

503

504

505

506

507

508

509

510

511

512

513

514

515

516

517

518

519

520

521

522

523

524

525

526

527

528

529

530

531

532

533

534

535

536

537

538

539

540

541

542

543

544

545

546

547

548

549

550

551

552

553

554

555

556

557

558

559

560

561

562

563

564

565

566

567

568

569

570

571

572

573

574

575

576

577

578

579

580

581

582

583

584

585

586

587

588

589

590

591

592

593

594

595

596

597

598

599

600

601

602

603

604

605

606

607

608

609

610

611

612

613

614

615

616

617

618

619

620

621

622

623

624

625

626

627

628

629

630

631

632

633

634

635

636

637

638

639

640

641

642

643

644

645

646

647

648

649

650

651

652

653

654

655

656

657

658

659

660

661

662

663

664

665

666

667

668

669

670

671

672

673

674

675

676

677

678

679

680

681

682

683

684

685

686

687

688

689

690

691

692

693

694

695

696

697

698

699

700

701

702

703

704

705

706

707

708

709

710

711

712

713

714

715

716

717

718

719

720

721

722

723

724

725

726

727

728

729

730

731

732

733

734

735

736

737

738

739

740

741

742

743

744

745

746

747

748

749

750

751

752

753

754

755

756

757

758

759

760

761

762

763

764

765

766

767

768

769

770

771

772

773

#class boatRaceclass

#ボートレース公式サイトから情報を取得するスクレイピング

#2021/07/07

#環境：OS：Mac,　言語python,　anaconda,　作業をするときはanaconda jupterのエディタよりMS Codeのほうがやりやすい。

#boatRaceCompuYosou.ipynbで使用

'''

・仕様

ボートレース公式https://www.boatrace.jp/

から「本日の払戻金一覧」のところを

https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707

クリックして、本日開催の場の開催時間をクリックする

出走表から結果までの情報を掲載したページが表示される

コンピュータ予想 https://www.boatrace.jp/owpc/pc/race/racelist?

その中のコンピュータ予想タブをクリック

「予想フォーカス」という項目に予想が表示される。

例

蒲郡　 jcd=07 hd=20210707

1R rno=1

https://www.boatrace.jp/owpc/pc/race/racelist?rno=1&jcd=07&hd=20210707

・目的：予想するレースの当選番号が出現するかもしれないレースを探す。

例えば6-全-全が出現するレースを探したい。その場合コンピュータ予想の予想フォーカスで予想されている番号に

6-全-全に該当しそうな予想が表示されていたら、そのレースを出力したい。

なお、コンピュータ予想は当然ながら、当たるとは限らず確率は低い

すべてのレースの予想を手動で探すのは面倒なので、自動で探したい。

・機能：該当のページから必要な情報を取得して、該当の情報（ここでは予想番号）を取得して

CSV出力する。

作業内容

１．「本日の払戻金一覧」

https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707

から開催される全レースのURLを取得

２．取得したURLを場ごとに取得。ループ

３．レースごとにループする

４１。「予想フォーカス」という項目のところの予想番号を取得する

５．予想する番号、例えば６，１の数字があればリストに追加する

６．CSV出力する。該当する予想がなければ出力しない。

※使用上の注意点

一度のスクレイピングとCSV出力だけに対応していて、前回作成したCSVを読み込んで処理を追記する仕様はない。

一度作成したファイルに、レース結果を追記変更することはしない。

ようするに、朝実行して、夜に実行しても朝作成したファイルを読み込んで処理をするものではない。

朝実行すると、朝のファイルを作成し、その後実行すればそのWebサイトの情報をCSVとして出力する。

＞＞なぜこのように書くかというと、レースが開催されるとレース結果が払戻金一覧ページに表示される。

レースが開催されていない場合は時刻が記載されていて、出力されるCSVの記載が異なるので、後日CSVの内容を

確認すると、「レース結果が後で追記されるのか？」と勘違いするかもしれない。

現時点では、払戻金一覧のレース前の状態で、コンピュータ予想を知りたいだけの機能である。

よってコンピュータ予想を取得してCSV出力して、その後の処理は何もしない。

'''

import os

import re

import sys

import time

import datetime

import glob#ファイル一覧

import shutil#move

from selenium import webdriver

import pandas as pd

import requests#スクレイピング

from bs4 import BeautifulSoup#スクレイピング

#場管理クラスを作成する

#まだこれから

class jouKanriClass():

def __init__(self):

#dict3 = {'JP':'Tokyo','US':'Washington'} #要素に文字列を入れて初期化

self.jouCode=0

self.jouName=""

#連想配列　print(dict[1])#大村と出力される　びわこだけひらがな

self.dict={1:'桐生',2:'戸田',3:'江戸川',4:'平和島',5:'多摩川',6:'浜名湖',7:'蒲郡',8:'常滑',\

9:'津',10:'三国',11:'びわこ',12:'住之江',13:'尼崎',14:'鳴門',15:'丸亀',16:'児島',17:'宮島',\

18:'徳山',19:'下関',20:'若松',21:'芦屋',22:'福岡',23:'唐津',24:'大村'}

def getJouCode(self,jouName):#場名から数字コードを出力する

for key, value in self.dict.items():

if jouName == value:

return key

return "There is no such Key"

#個別レースクラス 1レースのコンピュータ予想情報を管理する。選手情報を管理するためのものではない

class raceCompuKanriClass():

def __init__(self,jouCode,raceNum,starttime,cdate,neraime,url):

self.jouCode=jouCode

self.raceNum=raceNum

self.time=starttime#時刻

self.date=cdate#日付

self.neraime=neraime#６を狙い目としている

self.kekka=""#レース結果,結果が表示されていれば。時間帯によって結果が表示されている

#以降のデータは随時取得してから挿入する

self.url=url

self.star=""#コンピュータ予想の自信度の星、1-5

self.nirentanyosou=[]#コンピュータ予想２連単予想

self.sanrentanyosou=[]#コンピュータ予想３連単１-６

self.playerNumAndClass=[]#6人分の入れる

#個別場クラス、個別レースクラスをオブジェクト配列として管理する

class jouClass():

def __init__(self,jouCode):

self.jouArray=[]#初期化 raceCompuKanriClassオブジェクトを追加する

self.jouCode=jouCode

def getJouCodeHikisuNashi(self):

return self.jouCode

#レース情報クラス、個別の場のレース情報をまとめて管理する

class boatRaceClass():

def __init__(self):

self.tableCount=0#テーブルのカウンター

self.totalJouCount=0

self.zenjouArrayPositionCount=0#全部の場の配列の位置把握のためのカウンター

self.zenjouArray=[]#全部の場の配列

self.neraime=6#狙い目

self.baseurl='https://www.boatrace.jp'

#self.jouCode=jouCode

def seleniumReadPage(self,furl):#selenium版、requestでうまく取得できないClassがあった

# 仮想ブラウザ起動、URL先のサイトにアクセス

driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする

#他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい

driver.get(furl)

soup=driver

return soup

def readPage(self,furl):

#URL読み込み　2021/07/07

r = requests.get(furl)#requestsを使って、webから取得

soup = BeautifulSoup(r.text, 'lxml') #要素を抽出

return soup

def checkFileExist(self,filename,path):

#他にもimport os　os.listdir(path) というのもある

if path[-1]=='/':#文字列の最後の1文字がスラッシュならなにもしない。

pass

else:

path+='/'

files=glob.glob(path+'*.csv')

count=0

for file in files:

#print(file)

if filename in file:#ファイル名を含んでいればTRUE

print('ファイルは存在します')

print(file)

count+=1

return True#見つかれがすぐに抜ける

#ループで探し終わってから判断もいれる

if count>0:

return True

else:

print('ファイルはありません')

return False

#end def

def outputCSV(self,columArray,filename,path):#def checkFileExist()を事前にチェックすると良い

#CSV出力用

#TableColumクラス専用のCSV出力、通常の配列は使用できない。

#path='/Users/toshiromaseda/Documents/2021年/2021年株/yahoofinance_data/'

if filename.find('.csv')==-1:#拡張子.csvがないときは付記する

filename+='.csv'

os.chdir(path)#ディレクトリ変更

print(os.getcwd())#ディレクトリ確認

try:

ofile=open(filename,'tw')

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません", e)

sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

for i in columArray:

ofile.write(i+'\n')

ofile.close()

def tupleBunkai(self,tuple):#タプルtupleを処理するためのものtupleはタプルで配列ではない

tmp=[]

stockStr=""

for inside in tuple:

for m in inside:

stockStr+=str(m)+','

tmp.append(stockStr)

stockStr=""

output=tmp

return output

def neraimeHantei(self,obj):

#6かどうかを判定する。イコール=があった場合も処理する

#今後複数もしくは別の狙い目についてもどうするか考える。

#class raceCompuKanriClass()

#self.star=""#コンピュータ予想の自信度の星、1-5

#self.nirentanyosou=[]#コンピュータ予想２連単予想

#self.sanrentanyosou=[]#コンピュータ予想３連単１-６

tmp=[]

tuple=()#こっちはタプルでタプルをtmp配列に入れる

#見出しを与える　時刻は締め切り時刻、「結果」はレース終了となったときWebに更新されるので実行する時刻によっては空欄になる

tuple=('日付','時刻','場コード','場名','レース番号','結果','予想')

tmp.append(tuple)

if self.neraime=="":

print("self.neraimeに値がありません。設定していないと探せません")

exit()

for i in range(0,len(obj)):

print("狙い目作業中------------")

print("場コード："+str(obj[i].jouArray[0].jouCode))

for m in range(0,len(obj[i].jouArray)):

#class jouKanriClass():これに場名があるprint(dict[1])#大村と出力される

jouNameObj=jouKanriClass()

jouName=jouNameObj.dict[obj[i].jouArray[m].jouCode]

#print(jouName,str(obj[i].jouArray[m].raceNum),str(obj[i].jouArray[m].kekka),str(obj[i].jouArray[m].url))

#配列　obj[i].jouArray[m].nirentanyosou

stockStrNirentan=""

stockStrSanrentan=""

for f in range(0,len(obj[i].jouArray[m].nirentanyosou)):

stockStrNirentan=obj[i].jouArray[m].nirentanyosou[f]

if stockStrNirentan=="":

pass

else:

#print("stockStrNirentan2連単:"+stockStrNirentan)

if (str(self.neraime) in stockStrNirentan):

#タプルで追加する　jouCodeを場名に変える

tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,'R'+str(obj[i].jouArray[m].raceNum),obj[i].jouArray[m].kekka, stockStrNirentan)

tmp.append(tuple)

# #該当のオブジェクトをtmpに入れる。もしかすると該当するレースだけを入れてもよい。

#もし、1-12全部に狙い目があると全部同じ場が入ることになるのでそれを避ける必要がある。

#やっぱりレースごとにするか考える。

tuple=()

#配列　obj[i].jouArray[m].sanrentanyosou

for f in range(0,len(obj[i].jouArray[m].sanrentanyosou)):

stockStrSanrentan=obj[i].jouArray[m].sanrentanyosou[f]

if stockStrSanrentan=="":

pass

else:

#print("stockStrSanrentan3連単:"+stockStrSanrentan)

if(str(self.neraime) in stockStrSanrentan):

tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,'R'+str(obj[i].jouArray[m].raceNum),obj[i].jouArray[m].kekka, stockStrSanrentan)

tmp.append(tuple)

#tmp=obj

if len(tmp)==1:#見出し行のみなら狙い目はない

print("狙い目はありませんでした。")

output_tuple=tmp

return output_tuple

def getIchiran(self,ftoday):

#「本日の払戻金一覧」から各場のレースのURLを取得する

#https://www.boatrace.jp/owpc/pc/race/pay?hd=20210707

jouname=""#場名

jouCount=0#場コードではなくて、左上から数えた番号

self.totalJouCount=0#総合的な場数

#場名とコードクラスオブジェクト

jouKanri=jouKanriClass()

print("getIchiran_START")

print("処理中")

if ftoday=='':

print("注意！！日付が設定されていませんのでダミーの日付で処理します")

ftoday='20210707'#ダミーデータ

target_url='https://www.boatrace.jp/owpc/pc/race/pay?hd='

mysoup=self.readPage(target_url+ftoday)#class内のメソッド

main=mysoup.find(class_='l-main')

mainInner=main.find(class_='l-mainInner')

contentsFrame1=mainInner.find(class_='contentsFrame1')

contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')

#table1クラスは複数存在する。そして列が5個ある.その1個が1場分

table1_class=contentsFrame1_inner.find_all(class_='table1')#こっちはクラスのテーブル

print(str(len(table1_class))+"テーブル分、1テーブル5場")

for i in range(0,len(table1_class)):

table1_tag=table1_class[i].find("table")#ここにタグのTableタグ以降の情報が入る

if table1_tag==None:#'該当なし、1件もない場合、中身がない'

print("table情報を取得できませんでした。")

else:

jouCount=0

self.tableCount+=1

thead=table1_tag.find("thead")

#trが2行あるけど1行目のclass指定はない

trs=thead.find_all("tr")

for m in range(0,len(trs)):

if m==0:#TR1行目だけ処理

ths=trs[m].find_all("th")

for l in range(0,len(ths)):

if l>0:

area_type1=ths[l].find('div', class_=lambda s:s.startswith("table1_area type1"))#クラスの空白の場合はこのようにする

#.find_all('div', class_=lambda s:s.startswith('foo bar '))

if area_type1==None:

print("area_type1が見つかりませんでした")

else:

areaName=area_type1.find(class_="table1_areaName")#classのときはclass_=が必要でタグのときは不要

if areaName==None:

print("areaNameが見つかりませんでした")#2021/07/07

else:

jouCount+=1

self.totalJouCount+=1

imgAlt=areaName.find("img")

jouName=imgAlt.get('alt', '')

#ここは配列にして格納する。クラスオブジェクトにカプセルにする

jouCode=jouKanri.getJouCode(jouName)#コードを出力する。びわこはひらがなで登録されている

#print(str(jouCount)+jouName+str(jouCode))

tmp=jouClass(jouCode)

self.zenjouArray.append(tmp)#次はraceCompuKanriClassオブジェクトにレース情報を与えて、zenjouArrayに入れる

tmp=""

#次へtbodyレース時刻と個別レースのURLを取得する。ただし、レース後は時刻ではなくて結果が挿入される

tbodys=table1_tag.find_all("tbody")

rCount=0

for n in range(0,len(tbodys)):

if rCount==12:#１２レースでリセット

rCount=0

rCount+=1

tbody_tr=tbodys[n].find("tr")

r_th=tbody_tr.find("th")#レース番号が入る　

#a.rstrip("B")末尾のBを削除

print(r_th.get_text().rstrip("R"))#tag内のテキストを取得、１とか１２とかが出力される

tbody_tds=tbodys[n].find_all("td")#ｔｄは複数存在する。なお列ごとに場が異なる。いわゆるエクセルのセルの列情報みたいな感じ

#tdの数を数えつつ、必要な場にデータを与える感じになる。

tdCount=1#ここは１から

#raceTdCount=0#セル3つごとのためのカウンター

inTableJouCount=0#1-5を数えるためのもの

for f in range(0,len(tbody_tds)):

#if tdCount==jouCount:#Max５件、jouCountはテーブルごとに場の数が変わるのでここで調整

if tdCount==4:

tdCount=1

#レース結果の場合はnumberSet1_rowが存在する。朝のレース開始前は時刻が表示される

numberSet1_row=tbody_tds[f].find(class_="numberSet1_row") #次はここから

starttime=""

url=""

if tdCount==1:#1個目だけ処理をする

inTableJouCount+=1

if inTableJouCount>5:

print("inTableJouCountが5を越えたのでインクリメントが間違っています")

self.zenjouArrayPositionCount=((self.tableCount-1)*5+inTableJouCount)-1#配列は0からなので1を引いておく

#print("場位置配列の要素位置："+str(self.zenjouArrayPositionCount))

if self.zenjouArrayPositionCount<0:

print("self.zenjouArrayPositionCountの値が間違っています。マイナスです")

if numberSet1_row==None:

#print("レースは開始前でまだ結果が表示されていないのでセルが違います")

#次はここから2021/07/08　午前10時12分

atag=tbody_tds[f].find("a")

if atag==None:

#print("atag　がありません")

pass

else:

starttime=atag.get_text()

tmp=""

tmp=atag.get('href')

#URLは、そのままのリンクでは、コンピュータ予想のURLになっていないので置換が必要replace(before,after)

#racelistをpcexpectに置換する

url=tmp.replace('racelist','pcexpect')

#レースオブジェクト作成　raceCompuKanriClass(jouCode,raceNum,starttime,cdate,neraime,url)

#print(starttime.strip())#.strip()で前後の空白文字を削除

tmpjouCode=self.zenjouArray[self.zenjouArrayPositionCount].getJouCodeHikisuNashi()

raceObj=raceCompuKanriClass(tmpjouCode,rCount,starttime.strip(),ftoday,self.neraime,self.baseurl+url)

self.zenjouArray[self.zenjouArrayPositionCount].jouArray.append(raceObj)

else:

#レース結果raceresult

td_url=tbody_tds[f].get('data-href')

if td_url=="":

pass

else:

url=td_url.replace('raceresult','pcexpect')

spans=numberSet1_row.find_all("span")

kekkaStr=""

for x in range(0,len(spans)):

kekkaStr+=spans[x].get_text()

#print(str(tdCount)+"結果"+kekkaStr)

tmpjouCode=self.zenjouArray[self.zenjouArrayPositionCount].getJouCodeHikisuNashi()

if url=="":

raceObj=raceCompuKanriClass(tmpjouCode,rCount,"",ftoday,self.neraime,"")

else:

raceObj=raceCompuKanriClass(tmpjouCode,rCount,"",ftoday,self.neraime,self.baseurl+url)

raceObj.kekka=kekkaStr

self.zenjouArray[self.zenjouArrayPositionCount].jouArray.append(raceObj)

print("結果"+kekkaStr)

tdCount+=1

#theadを使うか、それともTRタグでいいのかどうか

print(str(self.totalJouCount)+"場数")

output=self.zenjouArray

return output

def getCompuYosou(self,arrayObj):#arrayObjはgetIchiran()の出力配列オブジェクトのURLを使用する

#レースのコンピュータ予想を取得する

tmp=arrayObj

raceYosou=[]#レース予想の配列

for i in range(0,len(tmp)):

print("残り："+str(len(tmp)-i))

print("場コード："+str(tmp[i].jouArray[0].jouCode))

for m in range(0,len(tmp[i].jouArray)):

#print(str(output[i].jouArray[m].raceNum))

#print(str(output[i].jouArray[m].raceNum),str(output[i].jouArray[m].kekka),str(output[i].jouArray[m].url))

tmpurl=tmp[i].jouArray[m].url

if tmpurl=='':

print("結果を参照してください。")

continue

else:

#self.getCompuYosouSeleniumSub(tmpurl)

raceYosou=self.getCompuYosouSub(tmpurl)#1レース分のコンピュータ予想を登録する。この中で秒待ち設定あり

time.sleep(2)

if len(raceYosou)>0:

#コンピュータ予想を取得して、tmpオブジェクトに入れる

#star

#tmp[i].jouArray[m].star=mstar

for f in range(0,len(raceYosou)):

#次はここから、2021/07/09

if len(raceYosou[f])==3:

#2連単でクラスメソッドに分ける

tmp[i].jouArray[m].nirentanyosou.append(raceYosou[f])

else:#3連

tmp[i].jouArray[m].sanrentanyosou.append(raceYosou[f])

else:

print("コンピュータ予想が取得できませんでした。")

if len(tmp)==0:

print("情報がありません。どこかでエラーが発生したと思われますのでチェックしてください")

output=tmp#全場オブジェクト配列を出力する。次はCSV出力

return output

#requestで正常にHTMLが取得できないClassがあったのでSeleniumにしてみた. しかしうまくいかず。結論は、URLが違ってたのと、findの指定が間違ってた

def getCompuYosouSeleniumSub(self,url):

#selenium版

mysoup=self.seleniumReadPage(url)#selenium

#https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&jcd=05&hd=20210708

print("作業中")

time.sleep(2)

main=mysoup.find_element_by_class_name('l-main')

mainInner=main.find_element_by_class_name('l-mainInner')

contentsFrame1=mainInner.find_element_by_class_name('contentsFrame1')

contentsFrame1_inner=contentsFrame1.find_element_by_class_name('contentsFrame1_inner')

if contentsFrame1_inner==None:

print("contentsFrame1_innerが見つかりません")

else:

grid_is_type3_h_clear=contentsFrame1_inner.find_elements_by_css_selector(".grid.is-type3.h-clear")

#grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)

#test=contentsFrame1_inner.find_all('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)

#print(test)

#grid is-type3 h-clear grid is-type3 h-clear

if grid_is_type3_h_clear==None:

print("grid_is_type3_h_clearが見つかりませんでした code112")

else:

contentsFrame1_inner.text

grid_units=contentsFrame1_inner.find_elements_by_class_name('grid_unit')

print("grid_units:"+str(len(grid_units)))#ここが0だ

for f in range(0,len(grid_units)):

if f==0:#1番目だけあればOK

numberSet2_hclear=grid_units[f].find_elements_by_css_selector('.numberSet2.h-clear')

#numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))

if numberSet2_hclear==None:

print("numberSet2 h-clearが見つかりませんでした")

else:

numberSet2_units=numberSet2_hclear.find_elements_by_class_name('numberSet2_unit')#複数numberSet2_unit

for i in range(0,len(numberSet2_units)):

numberSet2_rows=numberSet2_units[i].find_elements_by_class_name('numberSet2_row')

strSpan=numberSet2_rows.text #spanにはされた文字

print(strSpan)

for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名

spans=numberSet2_rows[m].find_elements_by_tag_name('span')

yosouNumStr=""

for x in range(0,len(spans)):

yosouNumStr+=spans[x].text

print(strSpan,yosouNumStr)

state2=grid_units[f].find_element_by_class_name('state2')

spans=state2.find_elements_by_tag_name('span')

for k in range(0,len(spans)):

if k==1:

print(spans[k])

print("end")

output=""

return output

def getCompuYosouSub(self,url):

mysoup=self.readPage(url)#class内のメソッド

#https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&jcd=05&hd=20210708

#上記を取得するので

#racelistをpcexpectに置換する。このメソッドでは置換しない予定

#https://www.boatrace.jp/owpc/pc/race/pcexpect?rno=10&jcd=05&hd=20210708　こっちだ

#自信度の星数は、クラス名の総当りでNONEでなければありと判断する

#print(url)

#print("コンピュータ予想ページ読み込み、解析中")

raceYosou=[]#初期化１レース分のコンピュータ予想を格納する配列

#print("秒待ち設定少々待ってください。連続取り込みしません。")

time.sleep(3)

main=mysoup.find(class_='l-main')

mainInner=main.find(class_='l-mainInner')

contentsFrame1=mainInner.find(class_='contentsFrame1')

contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')

if contentsFrame1_inner==None:

print("contentsFrame1_innerが見つかりません")

else:

#Classに空白が含まれていた場合の対応

grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)

#test=contentsFrame1_inner.find_all('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)

#print(test)

#grid is-type3 h-clear grid is-type3 h-clear

if grid_is_type3_h_clear==None:

print("grid_is_type3_h_clearが見つかりませんでした code112")

else:

grid_units=contentsFrame1_inner.find_all(class_='grid_unit')

#print("grid_unitの数："+str(len(grid_units)))#ここが0だとだめ

for f in range(0,len(grid_units)):

if f==0:#1番目だけあればOK

numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))

#tmpCount=grid_units[f].find_all(class_='numberSet2_unit')

#print('numberSet2_unitのCount'+str(len(tmpCount)))

if numberSet2_hclear==None:

print("numberSet2 h-clearが見つかりませんでした")

else:

numberSet2_units=numberSet2_hclear.find_all(class_='numberSet2_unit')#複数

#print("2連単をチェック"+str(len(numberSet2_units)))

for i in range(0,len(numberSet2_units)):

numberSet2_rows=numberSet2_units[i].find_all(class_='numberSet2_row')

#yosouNumStr=""

for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名

spans=numberSet2_rows[m].find_all('span')

divStr=numberSet2_rows[m].get_text()#spanにはされた文字を取得

tmpstr=divStr.strip().replace('\t','')

pStr=tmpstr.replace('\r\n','')#文字化けしてた理由がわかったCRLFの改行になっているから\nだけを消すと文字化けする

#print("spanの間の文字"+pStr)

raceYosou.append(pStr)

#配列に入れてoutputすればOK

#星についてはタプルで出力できるか、まだ

#選手番号と級別の取得

print("end")

output=raceYosou#コンピュータ予想配列を出力する、級別のオブジェクトをタプルで出力する

return output

#--------------------------------------------------------------------

#---ここは継承クラスboatRacePlayerClass() 選手クラスを追加するためのバージョン

#--------------------------------------------------------------------

#継承クラスを作る利点は、すでに動いているものは壊さないために別クラスを作成する。手間を省いて、追加したい機能だけを効率よく作りたい

#使用するときはクラス名を変えるだけでメソッドは極力そのままとする。（機能追加や大幅変更は、メソッド名を変更したほうがわかりやすい）

class boatRacePlayerClass(boatRaceClass):

#基底クラスのboatRaceClassと異なる点は、級別（選手番号）を追加したこと。級別取得スクレイピングとCSVに出力する部分を書き直す

#オーバーライドの記載は一部変数が追加のときにsuper()を使うと基底クラスのメソッドの一部をそのまま使えて、その分を記載する必要がない

#今回はsuperを使う必要はないかも

def allA1Reject(self,tupleObj):

#1-6コース全員がA1は除外する。タプルが配列に入っているオブジェクト

print("1-6コース全員がA1は除外するallA1Reject()")

tmpObj=[]#タプルの入った配列オブジェクトを再編する

for getstr in tupleObj:

#今の所、A1という文字が存在するのは選手クラスだけなのでタプル全部のセルを検索してA1があるかをチェックする。

count=0

for m in range(0,len(getstr)):

if ('A1' in str(getstr[m])):

count+=1

if count>=6:

pass

#print("みんなA1だったのでリストに入れない:"+getstr)

else:

tmpObj.append(getstr)

output_tuple=tmpObj

return output_tuple

def playerClassGet(self,soup):

#ここは継承クラス　boatRacePlayerClass

#選手番号と級別の取得 getCompuYosouSub()の中で使用する

playerClassObj=[]

classTables=soup.find_all(class_='table1')#class名で[tabel1]と[table1 aaa]が存在するとtable1は複数あるとみなされる

#print(len(classTables))

for x in range(0,len(classTables)):

table=classTables[x].find("table")

tbodys=table.find_all("tbody")

#print("playerClassGet処理中")

for i in range(0,len(tbodys)):

trs=tbodys[i].find_all("tr")

#print("tr取得")

for f in range(0,len(trs)):

if f==0:#f=0のときだけ

tds=trs[f].find_all("td")

for m in range(0,len(tds)):

#print("td処理中")OK

is_fs11=tds[m].find_all(class_='is-fs11')

#ここで正常にis-fs11が取得できていない。2021/07/11、12:13、なんで？　table1クラスが実は同名を含む複数が存在したから。

#print(str(m)+"番目"+str(len(is_fs11)))

for l in range(0,len(is_fs11)):

#print("is_fs_112処理中")

if l==0:#選手クラスは0要素の1番目

#単体テスト用の確認用メソッドを作る必要があるな。統合して実行すると15分以上かかるから。2021/07/11

#print(is_fs11[l].get_text().strip().replace('\t','').replace('\r\n',''))

#左から順に処理が進む、stripしてreplaceしてまたreplaceして、、、

playerClassObj.append(is_fs11[l].get_text().strip().replace('\t','').replace('\r\n',''))

if len(playerClassObj)==0:

print("playerClassObjの数が0です。")

output=playerClassObj

return output

#オーバーライド

def neraimeHantei(self,obj):

#6かどうかを判定する。イコール=があった場合も処理する

#今後複数もしくは別の狙い目についてもどうするか考える。

#class raceCompuKanriClass()

#self.star=""#コンピュータ予想の自信度の星、1-5

#self.nirentanyosou=[]#コンピュータ予想２連単予想

#self.sanrentanyosou=[]#コンピュータ予想３連単１-６

#選手クラスを追加した。

tmp=[]

tuple=()#こっちはタプルでタプルをtmp配列に入れる

#見出しを与える　時刻は締め切り時刻、「結果」はレース終了となったときWebに更新されるので実行する時刻によっては空欄になる

tuple=('日付','時刻','場コード','場名','レース番号','結果','予想','枠1','枠2','枠3','枠4','枠5','枠6')

tmp.append(tuple)

if self.neraime=="":

print("self.neraimeに値がありません。設定していないと探せません")

exit()

for i in range(0,len(obj)):

print("狙い目作業中------------")

print("場コード："+str(obj[i].jouArray[0].jouCode))

for m in range(0,len(obj[i].jouArray)):

#class jouKanriClass():これに場名があるprint(dict[1])#大村と出力される

jouNameObj=jouKanriClass()

jouName=jouNameObj.dict[obj[i].jouArray[m].jouCode]

#print(jouName,str(obj[i].jouArray[m].raceNum),str(obj[i].jouArray[m].kekka),str(obj[i].jouArray[m].url))

#配列　obj[i].jouArray[m].nirentanyosou

stockStrNirentan=""

stockStrSanrentan=""

for f in range(0,len(obj[i].jouArray[m].nirentanyosou)):

stockStrNirentan=obj[i].jouArray[m].nirentanyosou[f]

if stockStrNirentan=="":

pass

else:

#print("stockStrNirentan2連単:"+stockStrNirentan)

if (str(self.neraime) in stockStrNirentan):

tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,\

'R'+str(obj[i].jouArray[m].raceNum),obj[i].jouArray[m].kekka, stockStrNirentan,\

obj[i].jouArray[m].playerNumAndClass[0],obj[i].jouArray[m].playerNumAndClass[1],\

obj[i].jouArray[m].playerNumAndClass[2],obj[i].jouArray[m].playerNumAndClass[3],\

obj[i].jouArray[m].playerNumAndClass[4],obj[i].jouArray[m].playerNumAndClass[5])

tmp.append(tuple)

tuple=()

#配列　obj[i].jouArray[m].sanrentanyosou

for f in range(0,len(obj[i].jouArray[m].sanrentanyosou)):

stockStrSanrentan=obj[i].jouArray[m].sanrentanyosou[f]

if stockStrSanrentan=="":

pass

else:

#print("stockStrSanrentan3連単:"+stockStrSanrentan)

if(str(self.neraime) in stockStrSanrentan):

tuple=(obj[i].jouArray[m].date,obj[i].jouArray[m].time,obj[i].jouArray[m].jouCode,jouName,\

'R'+str(obj[i].jouArray[m].raceNum),obj[i].jouArray[m].kekka, stockStrSanrentan,\

obj[i].jouArray[m].playerNumAndClass[0],obj[i].jouArray[m].playerNumAndClass[1],\

obj[i].jouArray[m].playerNumAndClass[2],obj[i].jouArray[m].playerNumAndClass[3],\

obj[i].jouArray[m].playerNumAndClass[4],obj[i].jouArray[m].playerNumAndClass[5])

tmp.append(tuple)

#tmp=obj

if len(tmp)==1:#見出し行のみなら狙い目はない

print("狙い目はありませんでした。")

output_tuple=tmp

return output_tuple

#getCompuYosouはオーバーライド

def getCompuYosou(self,arrayObj):#arrayObjを入れる。getIchiran()の出力配列オブジェクトのURLを使用する

#ここは継承クラス　boatRacePlayerClass

#レースのコンピュータ予想を取得する

#追加機能、選手クラス追加

tmp=arrayObj

raceYosou=[]#レース予想の配列

for i in range(0,len(tmp)):

print("場コード："+str(tmp[i].jouArray[0].jouCode))

for m in range(0,len(tmp[i].jouArray)):

#print(str(output[i].jouArray[m].raceNum),str(output[i].jouArray[m].kekka),str(output[i].jouArray[m].url))

tmpurl=tmp[i].jouArray[m].url

if tmpurl=='':

print("結果を参照してください。")

continue

else:

#ここは継承クラス　boatRacePlayerClass

#タプルの配列オブジェクトを受け取る

raceYosou=self.getCompuYosouSub(tmpurl)#1レース分のコンピュータ予想、選手クラスを登録する。この中で秒待ち設定あり

#0番目タプルと1番目タプルで処理を行う。2021/07/11

time.sleep(2)

if len(raceYosou)>0:

#コンピュータ予想を取得して、tmpオブジェクトに入れる

#star

#tmp[i].jouArray[m].star=mstar

#0番目タプル、予想

for f in range(0,len(raceYosou[0])):

#次はここから、2021/07/09

if len(raceYosou[0][f])==3:

#2連単でクラスメソッドに分ける

tmp[i].jouArray[m].nirentanyosou.append(raceYosou[0][f])

else:#3連

tmp[i].jouArray[m].sanrentanyosou.append(raceYosou[0][f])

#1番目タプル、選手クラス

for x in range(0,len(raceYosou[1])):#6人分が入っている。「選手番号/クラス」となっている。

tmp[i].jouArray[m].playerNumAndClass.append(raceYosou[1][x].split('/')[1])#1234/B1のときにsplitして、2番めのB1を取得する

else:

print("コンピュータ予想が取得できませんでした。")

if len(tmp)==0:

print("情報がありません。どこかでエラーが発生したと思われますのでチェックしてください")

output=tmp#全場オブジェクト配列を出力する。次はCSV出力

return output

#オーバーライド

def getCompuYosouSub(self,url):#スクレイピング部分

#ここは継承クラス　boatRacePlayerClass、基底クラスはboatRaceClass()

#基底クラスとの違いは選手クラスを追加したこと

mysoup=self.readPage(url)#class内のメソッド

#https://www.boatrace.jp/owpc/pc/race/racelist?rno=10&jcd=05&hd=20210708

#上記を取得するので

#racelistをpcexpectに置換する。このメソッドでは置換しない予定

#https://www.boatrace.jp/owpc/pc/race/pcexpect?rno=10&jcd=05&hd=20210708　こっちだ

#自信度の星数は、クラス名の総当りでNONEでなければありと判断する

#print(url)

#print("コンピュータ予想ページ読み込み、解析中")

raceYosou=[]#初期化１レース分のコンピュータ予想を格納する配列

playerObj=[]

#print("秒待ち設定少々待ってください。連続取り込みしません。")

time.sleep(3)

main=mysoup.find(class_='l-main')

mainInner=main.find(class_='l-mainInner')

contentsFrame1=mainInner.find(class_='contentsFrame1')

contentsFrame1_inner=contentsFrame1.find(class_='contentsFrame1_inner')

if contentsFrame1_inner==None:

print("contentsFrame1_innerが見つかりません")

else:

#Classに空白が含まれていた場合の対応

grid_is_type3_h_clear=contentsFrame1_inner.find('div', class_=lambda c:"grid" in c and "is-type3" in c and "h-clear" in c)

#grid is-type3 h-clear grid is-type3 h-clear

if grid_is_type3_h_clear==None:

print("grid_is_type3_h_clearが見つかりませんでした code112")

else:

grid_units=contentsFrame1_inner.find_all(class_='grid_unit')

#print("grid_unitの数："+str(len(grid_units)))#ここが0だとだめ

for f in range(0,len(grid_units)):

if f==0:#1番目だけあればOK

numberSet2_hclear=grid_units[f].find('div', class_=lambda s:s.startswith("numberSet2 h-clear"))

#tmpCount=grid_units[f].find_all(class_='numberSet2_unit')

#print('numberSet2_unitのCount'+str(len(tmpCount)))

if numberSet2_hclear==None:

print("numberSet2 h-clearが見つかりませんでした")

else:

numberSet2_units=numberSet2_hclear.find_all(class_='numberSet2_unit')#複数

#print("2連単をチェック"+str(len(numberSet2_units)))

for i in range(0,len(numberSet2_units)):

numberSet2_rows=numberSet2_units[i].find_all(class_='numberSet2_row')

#yosouNumStr=""

for m in range(0,len(numberSet2_rows)):#2単も3単も同じクラス名

spans=numberSet2_rows[m].find_all('span')

divStr=numberSet2_rows[m].get_text()#spanにはされた文字を取得

tmpstr=divStr.strip().replace('\t','')

pStr=tmpstr.replace('\r\n','')#文字化けしてた理由がわかったCRLFの改行になっているから\nだけを消すと文字化けする

#print("spanの間の文字"+pStr)

raceYosou.append(pStr)

#配列に入れてoutputすればOK

#星についてはタプルで出力できるか、まだ

#選手番号と級別の取得

#ここは継承クラス　boatRacePlayerClass

#これから2021/07/11

#playerClassGet()メソッドを作成してコードの視認性を上げる

#table1はクラス名として複数存在している[table1 aaa]みたいなだからこっちを見てるなので,

playerObj=self.playerClassGet(contentsFrame1_inner)#レースごとの出場選手のクラス情報を追加する。1レース6名となる

#print("end")

output=(raceYosou,playerObj)#コンピュータ予想配列を出力する、級別のオブジェクトをタプルで出力する

return output

今日のエラー、Python,JupyterLab「ChromeDriver only supports」

環境MacOS,Python,Chrome,JupyterLab、Mysql

症状：JupyterLab上でPythonを実行したらエラーが表示

エラー「

<span class="ansi-red-fg">SessionNotCreatedException</span>: Message: session not created: This version of ChromeDriver only supports Chrome version 89
Current browser version is 91.0.4472.114 with binary path /Applications/Google Chrome.app/Contents/MacOS/Google Chrome

1 2	<span class="ansi-red-fg">SessionNotCreatedException</span>: Message: session not created: This version of ChromeDriver only supports Chrome version 89 Current browser version is 91.0.4472.114 with binary path /Applications/Google Chrome.app/Contents/MacOS/Google Chrome

」

原因：Chromeドライバーのバージョンが異なる。

対応：ドライバーを最新に更新する　最新のバージョンを入れるpipとBrew

ターミナルでバージョンを確認するバージョンをチェックする　たぶん古いものが入っている
chromedriver –version

https://sites.google.com/a/chromium.org/chromedriver/downloads
にアクセスして最新の番号を取得する。以下の＝＝の右の方にバージョン番号を入れる。そしてMacのターミナルに以下を実行する

pip install chromedriver-binary==91.0.4472.101
brew reinstall chromedriver
#再度

chromedriver –versionを実行してダイアログエラーが表示された、セキュリティとプライバシーで許可する

Google Colaboratory python df.head 出力されない printで囲め

こんな感じでGoogle Colaboratoryでpythonを実行してheadの中身が表示されなかった。Colabでは単にprintで囲めばよいだけだった。

誤り

dflist=[6050,

3546

]

for list in dflist:

nlist=str(list)+’.T’

df=data.DataReader(nlist,’yahoo’,start,end)

df.head(2)

↓

正しくは

dflist=[]

dflist=[6050,

3546

]

for list in dflist:

nlist=str(list)+’.T’

df=data.DataReader(nlist,’yahoo’,start,end)

print(df.head(2))

症状：Mac Blender3.0、 Python3.0を使用してフォント指定して３Dテキスト作成でエラーが発生

原因：

エラー内容：

調査：

（２）次のエラー

今後の対応：

結論

やったこと

（１）pipのインストール

（２）次にget-pip.pyを実行

（3）pandas_datareaderをpipでインストール

（１）ライブラリ、モジュールインストール

（２）間違い

（３）他のJsonファイルを作成

（４）不要

（５）ターミナルコンソールでPython

(6)承認エラー

(7)承認エラー エラー 403: access_denied

（８）エラー

＞ （１０）成功、アップロードできた

参考URL

Python♪次は理屈で覚えよう「参照渡し」「浅いコピー」「深いコピー」 https://snowtree-injune.com/2019/09/16/shallow-copy/#toc7

【Python】参照渡しと値渡しの違い

・目的：予想するレースの当選番号が出現するかもしれないレースを探す。

・機能：該当のページから必要な情報を取得して、該当の情報（ここでは予想番号）を取得して

・予想が当たったか？

作業内容

※使用上の注意点

症状：Mac　Blender3.0、　Python3.0を使用してフォント指定して３Dテキスト作成でエラーが発生

(7)承認エラー　エラー 403: access_denied

＞
（１０）成功、アップロードできた

Python♪次は理屈で覚えよう「参照渡し」「浅いコピー」「深いコピー」
https://snowtree-injune.com/2019/09/16/shallow-copy/#toc7