「python」タグアーカイブ

python　勉強中、文字列　改行ごとに配列にしたい

テストコード、2022/05/03

#python　勉強中、 文字列　改行ごとに配列にしたい
import os
import re
import sys
import datetime
import glob#ファイル一覧
import shutil#move


#トリプルクォート(3つ）で改行状態で文字列を設定できる。注意するのは'''のすぐ次に文字列を入れないと
#改行も配列として扱われてしまう。'''1で1行、
#'''
#1
#とすると、「改行」、1のようになって2つの配列数となる
s='''1
2
'''
tmpList=[]
tmpList=s.splitlines()
print(tmpList)#['1', '2']

tmpStr='''1
namae,tete

2
tetete,aaa,aaa
'''
tmpList=[]
tmpList=tmpStr.splitlines()
print(tmpList)

#python　勉強中、文字列　改行ごとに配列にしたい

import os

import re

import sys

import datetime

import glob#ファイル一覧

import shutil#move

#トリプルクォート(3つ）で改行状態で文字列を設定できる。注意するのは'''のすぐ次に文字列を入れないと

#改行も配列として扱われてしまう。'''1で1行、

#'''

#とすると、「改行」、1のようになって2つの配列数となる

s='''1

'''

tmpList=[]

tmpList=s.splitlines()

print(tmpList)#['1', '2']

tmpStr='''1

namae,tete

tetete,aaa,aaa

'''

tmpList=[]

tmpList=tmpStr.splitlines()

print(tmpList)

出力結果

['1', '2']
['1', 'namae,tete', '', '2', 'tetete,aaa,aaa']

1 2	['1', '2'] ['1', 'namae,tete', '', '2', 'tetete,aaa,aaa']

MacのBlender3.0で、pythonのpandas_datareaderを実行したらNo module namedというエラーが発生

環境：MacOS、Blender3.0
Macにて、Pythonスクリプトを使用してBlender3.0からPythonスクリプトを実行すると
エラー内容：
ModuleNotFoundError: No module named ‘pandas_datareader’
Error: Python script failed, check the message in the system console

やったこと
ターミナルから
pip uninstall pandas_datareader
pip install pandas_datareader
pip3 install pandas_datareader

でもだめ

結論

以前使用したのはBlender2.91から、新しく3.0にした。そうなると当然Blender3.0のPythonに置き換わってしまう。
よって2.91のときにインストールしたpandas_datareaderは消去されているので、3.0用に
またインストールする必要がある。頻繁にBlenderのPython使わないから忘れている。

やったこと

自分でメモしてた
Mac版BlenderのPythonにPip、pandas_datareaderインストールしたメモ
https://pikucha.sakura.ne.jp/blog/2020/12/27/mac%E7%89%88blender%E3%81%AEpython%E3%81%ABpip%E3%80%81pandas_datareader%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%97%E3%81%9F%E3%83%A1%E3%83%A2/

MacOSのPythonとBlenderのPythonが存在する。つまりBlenderのPythonにpandas_datareaderを個別に
インストール必要がある。Pipもインストールする

以下はターミナルにて、Blenderディレクトリで実行した例である

（１）pipのインストール

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py

1	curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py

—

(base) ToshironoiMac:bin toshiromaseda$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2596k 100 2596k 0 0 5256k 0 --:--:-- --:--:-- --:--:-- 5256k
curl: (3) URL using bad/illegal format or missing URL
curl: (6) Could not resolve host: get-pip.py

(base) ToshironoiMac:bin toshiromaseda$ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 get-pip.py

% Total % Received % Xferd Average Speed Time Time Time Current

Dload Upload Total Spent Left Speed

100 2596k 100 2596k 0 0 5256k 0 --:--:-- --:--:-- --:--:-- 5256k

curl: (3) URL using bad/illegal format or missing URL

curl: (6) Could not resolve host: get-pip.py

—

ディレクトリのファイルを確認する
get-pip.pyがあるはず。なければBlenderのバージョンディレクトリ(2.9とか3.0とか）が違うか、グーグル先生に聞く。
>あった
(base) ToshironoiMac:bin toshiromaseda$ ls
get-pip.py python3.9

（２）次にget-pip.pyを実行

/Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py

1	/Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py

—

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py
Collecting pip
Downloading pip-22.0.4-py3-none-any.whl (2.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.1/2.1 MB 6.2 MB/s eta 0:00:00
Collecting wheel
Downloading wheel-0.37.1-py2.py3-none-any.whl (35 kB)
Installing collected packages: wheel, pip
Attempting uninstall: pip
Found existing installation: pip 21.2.3
Uninstalling pip-21.2.3:
Successfully uninstalled pip-21.2.3
Successfully installed pip-22.0.4 wheel-0.37.1

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/python3.9 /Applications/Blender.app/Contents/Resources/3.0/python/bin/get-pip.py

Collecting pip

Downloading pip-22.0.4-py3-none-any.whl (2.1 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.1/2.1 MB 6.2 MB/s eta 0:00:00

Collecting wheel

Downloading wheel-0.37.1-py2.py3-none-any.whl (35 kB)

Installing collected packages: wheel, pip

Attempting uninstall: pip

Found existing installation: pip 21.2.3

Uninstalling pip-21.2.3:

Successfully uninstalled pip-21.2.3

Successfully installed pip-22.0.4 wheel-0.37.1

—

（3）pandas_datareaderをpipでインストール

/Applications/Blender.app/Contents/Resources/3.0/python/bin/pip install pandas_datareader
—

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/pip install pandas_datareader
Collecting pandas_datareader
Using cached pandas_datareader-0.10.0-py3-none-any.whl (109 kB)
Requirement already satisfied: requests>=2.19.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas_datareader) (2.26.0)
Collecting lxml
Downloading lxml-4.8.0-cp39-cp39-macosx_10_15_x86_64.whl (4.6 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 4.6/4.6 MB 8.1 MB/s eta 0:00:00
Collecting pandas>=0.23
Downloading pandas-1.4.2-cp39-cp39-macosx_10_9_x86_64.whl (11.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.1/11.1 MB 10.7 MB/s eta 0:00:00
Collecting python-dateutil>=2.8.1
Using cached python_dateutil-2.8.2-py2.py3-none-any.whl (247 kB)
Requirement already satisfied: numpy>=1.18.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas>=0.23->pandas_datareader) (1.21.2)
Collecting pytz>=2020.1
Downloading pytz-2022.1-py2.py3-none-any.whl (503 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 503.5/503.5 KB 10.1 MB/s eta 0:00:00
Requirement already satisfied: urllib3<1.27,>=1.21.1 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (1.26.7)
Requirement already satisfied: certifi>=2017.4.17 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2021.10.8)
Requirement already satisfied: charset_normalizer~=2.0.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2.0.6)
Requirement already satisfied: idna<4,>=2.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (3.2)
Collecting six>=1.5
Using cached six-1.16.0-py2.py3-none-any.whl (11 kB)
Installing collected packages: pytz, six, lxml, python-dateutil, pandas, pandas_datareader
Successfully installed lxml-4.8.0 pandas-1.4.2 pandas_datareader-0.10.0 python-dateutil-2.8.2 pytz-2022.1 six-1.16.0
(base) ToshironoiMac:bin toshiromaseda$

(base) ToshironoiMac:bin toshiromaseda$ /Applications/Blender.app/Contents/Resources/3.0/python/bin/pip install pandas_datareader

Collecting pandas_datareader

Using cached pandas_datareader-0.10.0-py3-none-any.whl (109 kB)

Requirement already satisfied: requests>=2.19.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas_datareader) (2.26.0)

Collecting lxml

Downloading lxml-4.8.0-cp39-cp39-macosx_10_15_x86_64.whl (4.6 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 4.6/4.6 MB 8.1 MB/s eta 0:00:00

Collecting pandas>=0.23

Downloading pandas-1.4.2-cp39-cp39-macosx_10_9_x86_64.whl (11.1 MB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.1/11.1 MB 10.7 MB/s eta 0:00:00

Collecting python-dateutil>=2.8.1

Using cached python_dateutil-2.8.2-py2.py3-none-any.whl (247 kB)

Requirement already satisfied: numpy>=1.18.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from pandas>=0.23->pandas_datareader) (1.21.2)

Collecting pytz>=2020.1

Downloading pytz-2022.1-py2.py3-none-any.whl (503 kB)

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 503.5/503.5 KB 10.1 MB/s eta 0:00:00

Requirement already satisfied: urllib3<1.27,>=1.21.1 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (1.26.7)

Requirement already satisfied: certifi>=2017.4.17 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2021.10.8)

Requirement already satisfied: charset_normalizer~=2.0.0 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (2.0.6)

Requirement already satisfied: idna<4,>=2.5 in /Applications/Blender.app/Contents/Resources/3.0/python/lib/python3.9/site-packages (from requests>=2.19.0->pandas_datareader) (3.2)

Collecting six>=1.5

Using cached six-1.16.0-py2.py3-none-any.whl (11 kB)

Installing collected packages: pytz, six, lxml, python-dateutil, pandas, pandas_datareader

Successfully installed lxml-4.8.0 pandas-1.4.2 pandas_datareader-0.10.0 python-dateutil-2.8.2 pytz-2022.1 six-1.16.0

(base) ToshironoiMac:bin toshiromaseda$

—

Pythonを使って、株探のWEBスクレイピング

環境：MacOS、Python、インターネット
用途：複数の企業コードリストCSVから、企業名、概要をリストにしたい
目的：株探サイトの企業概要の文字列を取得

参考サイト
https://kabutan.jp/stock/?code=3431

概要のHTML

Pythonスクリプト

＞これから

python スクレイピング、BeautifulSoupライブラリ

#株探先物オプションのスクレイピング。取得した文字列をコピペしてTEXTにして、
#CSVに出力してMysqlにインサートするコード
#URLと日付と月限は手動で毎回入力する必要がある。

#以前はファイル作成まで手動で作業していた。
#WEBページを開き
#先物オプションの出来高データを取得して
#テキストファイルにする
#所定のフォルダにコピー、移動する
#個人用クラスメソッドを使う。

いままでWebdriverライブラリを使用していたが、空白部分が自動で削除されてしまった。
削除してほしくなかったので、BeautifulSoupライブラリを使用した。こちらのほうはクロムは起動しないし純粋にhtmlの文字を空白を含めて取得してくれた。
以下は今回作ったコードの一部。class cGetOption()
なおdef returnDriver(self,lurl)はwebdriverを使用したもので実際には採用しなかった。
株探の先物オプションのURLを取得して
そのページの文字列を取得。このとき、ある文字列Aと文字列Bの間の文字を取得（findFirstStrのところ）
そしてタプルで、文字列とファイル名文字列を出力する

https://github.com/maseda1030/yahoofinance_python.git

import MySQLdb
import os
import re
import sys
import time
import datetime
import glob#ファイル一覧
import shutil#move
from selenium import webdriver
import importlib#再読み込みのためのライブラリ

import requests#スクレイピング
from bs4 import BeautifulSoup#スクレイピング

import methodMysql#個人用メソッド pyファイル

###START
importlib.reload(methodMysql)

##以下は毎回手動で確認すること
#株探の市況の先物オプション、市場が開いている当日のPM4：06分頃と、翌日の朝AM6:30以降に更新される。
#土日祝は更新されないが、前日が市場が開いていると更新される。
optionUrl='https://kabutan.jp/news/marketnews/?b=n202103010692'#都度修正、毎日
useDate='2021/3/1'#オプション取り込みの日付　　　　　　　　　　　　　　　#都度修正、毎日
useMonth=3#月限　１２月の作業はたいてい翌月である１月　　　　　　　　　　　　#都度修正、月
useTable='Table_StockOption'#テーブルは固定

#
print('START')
print('chrome起動')
obj=methodMysql.cGetOption()
#このURLは手動でコピペする
#BeautifulSoup版
tupleArray=obj.getOptionDataByBeautifulSoup(optionUrl)

#webdriver版
#tupleArray=obj.getOptionData(optionUrl)
a,b=tupleArray
print(a)#text
print(b)#年月日時分


path='/Users/toshiromaseda/Documents/2020年株関連/kabu_python/'
obj.outputText(path,tupleArray)
#file名は、年月日時分.txtになって保存される。

#ファイルの存在チェックで拡張子をつけてチェックする
if b.find('.txt')&gt;=0:
    pass
else:
    ifile=b+'.txt'

##--
checkFlag='nashi'
files=glob.glob(path+'*.txt')
for file in files:
    if ifile in file:#ファイル名を含んでいればTRUE
        print(file)
        checkFlag='ari'
        break
    else:
        #print(file)
        checkFlag='nashi'
if checkFlag=='nashi':
    print('ファイルが存在しないか、ファイル名が間違っています')
    sys.exit()

        
csvfile='c_'+ifile.split('.')[0]+'.csv'

methodMysql.checkFile(ifile)#check 取り込み済みのファイルかどうかを調べる

try:
    ofile=open(csvfile,'tw') 
except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
   print("ファイルが見つかりません", e)
   #print("強制終了")
   sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい
except Exception as e: # Exceptionは、それ以外の例外が発生した場合
   print(e)

try:#ファイルが存在しないときのエラー処理try
    with open(ifile,'tr') as fin:
        for iline in fin:
            #ilineに、”コール”、”出来高”の文字がある行は無視するようにする
            #countで探すか　1行目、2行目は不要なのでDBにインサートしないための処理
            if iline.count('コール')&gt;=1 or iline.count('出来高')&gt;=1:
                continue#以下は実行されない
            if len(iline)==1:#1文字は改行コードだろうから何もしない
                continue
            try:
                ofile.write(methodMysql.outMojiMKIII(iline)+'\n')#MKIII改良版2020/12/18
                #次はMysqlに直接インサートするバージョンを作業する
            except Exception:
                print("do not")
        ofile.close()
except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
    print("ファイルが見つかりません。パス、ファイル名を確認してください", e)
    ofile.close()
    print("強制終了")
    sys._exit()#ファイルがなければ終了 #tryのときは_exit()が良いらしい
except Exception as e: # Exceptionは、それ以外の例外が発生した場合
   print(e)

#CSVからMysqlへ　CSVファイルがないと実行できない。重複チェックなし
#csvToMysql(difileはCSVファイル名,dtablename、doptionDate日付、dmonth月限)
#テスト用テーブルTest_Table_StockOption
print("csvtoMysql")
methodMysql.csvToMysql(csvfile,useTable,useDate,useMonth)

#Testが終わったら試す。 単独実行可能 但し、ファイルの移動先チェックがないので、他で移動がないことをチェックする必要あり
methodMysql.fileMove(ifile,'./option_python_execute')
methodMysql.fileMove(csvfile,'./option_python_execute')

#表、グラフを出力する 単独実行可能
##methodMysql.selectMysql('Table_StockOption')

print("終わりました。")
print('+++++++')
print('chrome終了')
print('END')


'''
mysql&gt; mysql&gt; SELECT SUM(Volume1) as callVolume1, ExercisePrice,  SUM(Volume2) as putVolume2 
FROM Table_StockOption WHERE Month=3 GROUP BY ExercisePrice ORDER BY Exerce Desc;
'''

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

import MySQLdb

import os

import re

import sys

import time

import datetime

import glob#ファイル一覧

import shutil#move

from selenium import webdriver

import importlib#再読み込みのためのライブラリ

import requests#スクレイピング

from bs4 import BeautifulSoup#スクレイピング

import methodMysql#個人用メソッド pyファイル

###START

importlib.reload(methodMysql)

##以下は毎回手動で確認すること

#株探の市況の先物オプション、市場が開いている当日のPM4：06分頃と、翌日の朝AM6:30以降に更新される。

#土日祝は更新されないが、前日が市場が開いていると更新される。

optionUrl='https://kabutan.jp/news/marketnews/?b=n202103010692'#都度修正、毎日

useDate='2021/3/1'#オプション取り込みの日付　　　　　　　　　　　　　　　#都度修正、毎日

useMonth=3#月限　１２月の作業はたいてい翌月である１月　　　　　　　　　　　　#都度修正、月

useTable='Table_StockOption'#テーブルは固定

print('START')

print('chrome起動')

obj=methodMysql.cGetOption()

#このURLは手動でコピペする

#BeautifulSoup版

tupleArray=obj.getOptionDataByBeautifulSoup(optionUrl)

#webdriver版

#tupleArray=obj.getOptionData(optionUrl)

a,b=tupleArray

print(a)#text

print(b)#年月日時分

path='/Users/toshiromaseda/Documents/2020年株関連/kabu_python/'

obj.outputText(path,tupleArray)

#file名は、年月日時分.txtになって保存される。

#ファイルの存在チェックで拡張子をつけてチェックする

if b.find('.txt')>=0:

pass

else:

ifile=b+'.txt'

##--

checkFlag='nashi'

files=glob.glob(path+'*.txt')

for file in files:

if ifile in file:#ファイル名を含んでいればTRUE

print(file)

checkFlag='ari'

break

else:

#print(file)

checkFlag='nashi'

if checkFlag=='nashi':

print('ファイルが存在しないか、ファイル名が間違っています')

sys.exit()

csvfile='c_'+ifile.split('.')[0]+'.csv'

methodMysql.checkFile(ifile)#check 取り込み済みのファイルかどうかを調べる

try:

ofile=open(csvfile,'tw')

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません", e)

#print("強制終了")

sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

try:#ファイルが存在しないときのエラー処理try

with open(ifile,'tr') as fin:

for iline in fin:

#ilineに、”コール”、”出来高”の文字がある行は無視するようにする

#countで探すか　1行目、2行目は不要なのでDBにインサートしないための処理

if iline.count('コール')>=1 or iline.count('出来高')>=1:

continue#以下は実行されない

if len(iline)==1:#1文字は改行コードだろうから何もしない

continue

try:

ofile.write(methodMysql.outMojiMKIII(iline)+'\n')#MKIII改良版2020/12/18

#次はMysqlに直接インサートするバージョンを作業する

except Exception:

print("do not")

ofile.close()

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません。パス、ファイル名を確認してください", e)

ofile.close()

print("強制終了")

sys._exit()#ファイルがなければ終了 #tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

#CSVからMysqlへ　CSVファイルがないと実行できない。重複チェックなし

#csvToMysql(difileはCSVファイル名,dtablename、doptionDate日付、dmonth月限)

#テスト用テーブルTest_Table_StockOption

print("csvtoMysql")

methodMysql.csvToMysql(csvfile,useTable,useDate,useMonth)

#Testが終わったら試す。単独実行可能但し、ファイルの移動先チェックがないので、他で移動がないことをチェックする必要あり

methodMysql.fileMove(ifile,'./option_python_execute')

methodMysql.fileMove(csvfile,'./option_python_execute')

#表、グラフを出力する単独実行可能

##methodMysql.selectMysql('Table_StockOption')

print("終わりました。")

print('+++++++')

print('chrome終了')

print('END')

'''

mysql> mysql> SELECT SUM(Volume1) as callVolume1, ExercisePrice, SUM(Volume2) as putVolume2

FROM Table_StockOption WHERE Month=3 GROUP BY ExercisePrice ORDER BY Exerce Desc;

'''

#先物オプションテキストコピペ　2021/02/28
class cGetOption():
    def __init__(self):
        pass

    def returnDriver(self,lurl):
        # 仮想ブラウザ起動、URL先のサイトにアクセス
        driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする
        #他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい
        url=lurl
        driver.get(url)
        mydriver=driver
        return mydriver
    #BeautifulSoup版はクロムは起動しない
    def getOptionDataByBeautifulSoup(self,lurl):#BeautifulSoup対応版、別途Importが必要、2021/03/01
        target_url = lurl
        r = requests.get(target_url)         #requestsを使って、webから取得
        soup = BeautifulSoup(r.text, 'lxml') #要素を抽出
        shijyounews=soup.find(id="shijyounews")#id
        article=shijyounews.find("article")#tag
        tagTime=article.find("time")#tag
        mono=article.find(class_="mono")#class

        print("BeautifulSoup")
        #print(mono.text)
        outputFileName=tagTime.text#年月日時分
        #ここに処理を入れる。
        #2021/03/01
        findFirstStr='コール　　　　　　プット'#を探して
        findSecondStr='株探ニュース'#の前までを取得する
        findFirstPosition=mono.text.find(findFirstStr)
        findSecondPosition=mono.text.find(findSecondStr)
        if(findFirstPosition&gt;=0 and findSecondPosition&gt;=0):
            print('search success.')
            outputText=mono.text[findFirstPosition:findSecondPosition]
        else:
            print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')
            sys.exit()       

        output=()#初期化
        output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。
        time.sleep(1)       
        return output

    #webdriver版は、クロムが起動する。こっちは文字の先頭に空白を自動で削除する。この処理がよいときもあるが、今回は空白が必要だったのでB4にした
    def getOptionData(self,lurl):
        driver=self.returnDriver(lurl)
        time.sleep(1)
        #tag,id,css
        main = driver.find_element_by_id("wrapper_main")
        container=main.find_element_by_id("container")
        container_main=container.find_element_by_id("main")
        shijyounews=container_main.find_element_by_id("shijyounews")
        article=shijyounews.find_element_by_tag_name("article")

        tagTime=article.find_element_by_tag_name("time")
        mono=article.find_element_by_class_name("mono")
        #brs=mono.find_elements_by_tag_name("br")
        print(tagTime.text)
        outputFileName=tagTime.text#年月日時分
        #tagTimePosition=tagTime.text.find('日')
        #print(tagTime.text[0:tagTimePosition+1])#年月日
        #print(mono.text)

        findFirstStr='コール　　　　　　プット'#を探して
        findSecondStr='株探ニュース'#の前までを取得する
        findFirstPosition=mono.text.find(findFirstStr)
        findSecondPosition=mono.text.find(findSecondStr)
        if(findFirstPosition&gt;=0 and findSecondPosition&gt;=0):
            print('search success.')
            outputText=mono.text[findFirstPosition:findSecondPosition]
        else:
            print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')
            sys.exit()
        output=()#初期化
        output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。
        time.sleep(1)
        driver.close()#起動したウィンドウを閉じる
        return output

    def outputText(self,path,tupleArray):#ここで受け取るタプルは２つ
        #getOptionData()からテキストとファイル名をタプルを受け取る
        outputText,filename = tupleArray
        if outputText=='' or filename=='' or path=='':
            print("パスかファイル名かテキストがありませんでした。filename,outputText")
            sys.exit()
        os.chdir(path)#ディレクトリ変更
        print(os.getcwd())#ディレクトリ確認
        if filename.find('.txt')&gt;=0:
            pass
        else:
            filename+='.txt'
        try:
            ofile=open(filename,'tw') 
        except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
           print("ファイルが見つかりません", e)
           sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい
        except Exception as e: # Exceptionは、それ以外の例外が発生した場合
           print(e) 
        
        ofile.write(outputText)
        ofile.close()

100

101

102

#先物オプションテキストコピペ　2021/02/28

class cGetOption():

def __init__(self):

pass

def returnDriver(self,lurl):

# 仮想ブラウザ起動、URL先のサイトにアクセス

driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする

#他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい

url=lurl

driver.get(url)

mydriver=driver

return mydriver

#BeautifulSoup版はクロムは起動しない

def getOptionDataByBeautifulSoup(self,lurl):#BeautifulSoup対応版、別途Importが必要、2021/03/01

target_url = lurl

r = requests.get(target_url) #requestsを使って、webから取得

soup = BeautifulSoup(r.text, 'lxml') #要素を抽出

shijyounews=soup.find(id="shijyounews")#id

article=shijyounews.find("article")#tag

tagTime=article.find("time")#tag

mono=article.find(class_="mono")#class

print("BeautifulSoup")

#print(mono.text)

outputFileName=tagTime.text#年月日時分

#ここに処理を入れる。

#2021/03/01

findFirstStr='コール　　　　　　プット'#を探して

findSecondStr='株探ニュース'#の前までを取得する

findFirstPosition=mono.text.find(findFirstStr)

findSecondPosition=mono.text.find(findSecondStr)

if(findFirstPosition>=0 and findSecondPosition>=0):

print('search success.')

outputText=mono.text[findFirstPosition:findSecondPosition]

else:

print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')

sys.exit()

output=()#初期化

output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。

time.sleep(1)

return output

#webdriver版は、クロムが起動する。こっちは文字の先頭に空白を自動で削除する。この処理がよいときもあるが、今回は空白が必要だったのでB4にした

def getOptionData(self,lurl):

driver=self.returnDriver(lurl)

time.sleep(1)

#tag,id,css

main = driver.find_element_by_id("wrapper_main")

container=main.find_element_by_id("container")

container_main=container.find_element_by_id("main")

shijyounews=container_main.find_element_by_id("shijyounews")

article=shijyounews.find_element_by_tag_name("article")

tagTime=article.find_element_by_tag_name("time")

mono=article.find_element_by_class_name("mono")

#brs=mono.find_elements_by_tag_name("br")

print(tagTime.text)

outputFileName=tagTime.text#年月日時分

#tagTimePosition=tagTime.text.find('日')

#print(tagTime.text[0:tagTimePosition+1])#年月日

#print(mono.text)

findFirstStr='コール　　　　　　プット'#を探して

findSecondStr='株探ニュース'#の前までを取得する

findFirstPosition=mono.text.find(findFirstStr)

findSecondPosition=mono.text.find(findSecondStr)

if(findFirstPosition>=0 and findSecondPosition>=0):

print('search success.')

outputText=mono.text[findFirstPosition:findSecondPosition]

else:

print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')

sys.exit()

output=()#初期化

output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。

time.sleep(1)

driver.close()#起動したウィンドウを閉じる

return output

def outputText(self,path,tupleArray):#ここで受け取るタプルは２つ

#getOptionData()からテキストとファイル名をタプルを受け取る

outputText,filename = tupleArray

if outputText=='' or filename=='' or path=='':

print("パスかファイル名かテキストがありませんでした。filename,outputText")

sys.exit()

os.chdir(path)#ディレクトリ変更

print(os.getcwd())#ディレクトリ確認

if filename.find('.txt')>=0:

pass

else:

filename+='.txt'

try:

ofile=open(filename,'tw')

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません", e)

sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

ofile.write(outputText)

ofile.close()

MySqlでDB、テーブル作成メモ　備忘録

MySqlでDB、テーブル作成メモ（条件はユーザはすでに作成済）
株式市場の企業の株価と出来高を登録する。
pythonを使ったスクレイピング処理をこれから行う。この記事にはPythonの記載はない。
mysqldbを使用していたがmysql-connector-pythonが良いらしいのでpip install済

ターミナルでの作業

最近忘れっぽくて、使っていないコマンドをどんどん忘れている。SQL文も忘れてるので、備忘録メモとして記載しておく。記憶力の低下に抵抗せずに、メモをしていつでも思い出せるかメモを見ながら作業するようにする。

・ユーザはmaseda
mysql -u maseda -p
psssはTes*****にした。上に記載。このパスワードはデモ用なので知られてOK

・DBを作成
CREATE DATABASE YahooFinance DEFAULT CHARACTER SET utf8mb4;

・DBを指定する
use YahooFinance;

重複を避けるときはUNIQUEを使う
UNIQUE uni_Code int(5) NOT NULL,
＞＞今回は使用せず
mysqlのコメントは　#,--（ハイフン2つ） /*　　*/ がある
CodeについてはUNIQUEユニークにしない、毎回同じ企業コードが入るかも

・テーブルを作成
CREATE TABLE Table_Dekidaka(
ID int(11) NOT NULL AUTO_INCREMENT,
Code int(5) NOT NULL,
Market text,
Name text,
Price int(11) ,
Volume int(14),
PreviousVolume int(14),
VolumePer float,
StockDate DATE,
CreateDate DATETIME,
Yobi text,
PRIMARY KEY (ID)
)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

&gt;&gt;オートインクリメントのIDは、PRIMARY KEY(ID)が必要。ないとエラーになる。

mysql&gt; show tables;
mysql&gt; show columns from Table_Dekidaka;

+----------------+----------+------+-----+---------+----------------+
| Field          | Type     | Null | Key | Default | Extra          |
+----------------+----------+------+-----+---------+----------------+
| ID             | int      | NO   | PRI | NULL    | auto_increment |
| Code           | int      | NO   |     | NULL    |                |
| Market         | text     | YES  |     | NULL    |                |
| Name           | text     | YES  |     | NULL    |                |
| Price          | int      | YES  |     | NULL    |                |
| Volume         | int      | YES  |     | NULL    |                |
| PreviousVolume | int      | YES  |     | NULL    |                |
| VolumePer      | float    | YES  |     | NULL    |                |
| StockDate      | date     | YES  |     | NULL    |                |
| CreateDate     | datetime | YES  |     | NULL    |                |
| Yobi           | text     | YES  |     | NULL    |                |
+----------------+----------+------+-----+---------+----------------+
11 rows in set (0.03 sec)

mysql&gt; 
権限がないときは、権限を与える。
GRANT SHOW DATABASES ON *.* to maseda@localhost;
これでいいはず。もしこれでだめな場合は、必要な権限を与えて。

---
python
mysqldbを使用していたがmysql-connector-pythonが良いらしい。
pip install mysql-connector-python

pip list 一覧表示 OK

・ユーザはmaseda

mysql -u maseda -p

psssはTes*****にした。上に記載。このパスワードはデモ用なので知られてOK

・DBを作成

CREATE DATABASE YahooFinance DEFAULT CHARACTER SET utf8mb4;

・DBを指定する

use YahooFinance;

重複を避けるときはUNIQUEを使う

UNIQUE uni_Code int(5) NOT NULL,

＞＞今回は使用せず

mysqlのコメントは　#,--（ハイフン2つ） /*　　*/ がある

CodeについてはUNIQUEユニークにしない、毎回同じ企業コードが入るかも

・テーブルを作成

CREATE TABLE Table_Dekidaka(

ID int(11) NOT NULL AUTO_INCREMENT,

Code int(5) NOT NULL,

Market text,

Name text,

Price int(11) ,

Volume int(14),

PreviousVolume int(14),

VolumePer float,

StockDate DATE,

CreateDate DATETIME,

Yobi text,

PRIMARY KEY (ID)

)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

>>オートインクリメントのIDは、PRIMARY KEY(ID)が必要。ないとエラーになる。

mysql> show tables;

mysql> show columns from Table_Dekidaka;

+----------------+----------+------+-----+---------+----------------+

+----------------+----------+------+-----+---------+----------------+

| ID | int | NO | PRI | NULL | auto_increment |

| Code | int | NO | | NULL | |

| Price | int | YES | | NULL | |

| Volume | int | YES | | NULL | |

| PreviousVolume | int | YES | | NULL | |

+----------------+----------+------+-----+---------+----------------+

11 rows in set (0.03 sec)

mysql>

権限がないときは、権限を与える。

GRANT SHOW DATABASES ON *.* to maseda@localhost;

これでいいはず。もしこれでだめな場合は、必要な権限を与えて。

---

python

mysqldbを使用していたがmysql-connector-pythonが良いらしい。

pip install mysql-connector-python

pip list 一覧表示 OK

python、テキストファイル出力、配列に文字を連結するだけ

#python、トレーディングビューのリストに追加するテキストファイル出力、配列に文字を連結するだけ
#必要な情報は、リスト名（テキストファイル名）、企業コード（このコードは調べたい企業コードなので、これだけは自分で探さないといけない）

トレーディングビューでインポートtxt 作り方

「TSE:」と銘柄コードをあわせる。例　TSE:2345

複数の銘柄コードを追加するときは以下のようにカンマで追加すればよい

TSE:2345,TSE:2670

pythonスクレイピング,yahooふぁいファイナンス

#トレーディングビューのウォッチリスト（右側）のインポート（、、、のようなアイコン）で取り込める。テキスト名がリスト名になる
#複数企業の登録が楽になるのでチャートを選ぶのが楽になる。

import os
import re
import sys
import datetime
import glob#ファイル一覧
import shutil#move


class twList:
    def __init__(self):
        print()
    def outputText(self,codeList,filename):
        print("文字列処理開始")
        path='/Users/toshiromaseda/Documents/2021年/2021年株/トレーディングビュー/'
        os.chdir(path)#ディレクトリ変更
        print(os.getcwd())#ディレクトリ確認
        try:
            ofile=open(filename+'.txt','tw') 
        except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
            print("ファイルが見つかりません", e)
        except Exception as e: # Exceptionは、それ以外の例外が発生した場合
            print(e)
        #ここで処理する
        #
        addStr="TSE:"
        outputStr=""

        i=0
        for f in codeList:
            if i==len(codeList)-1:
                outputStr+=addStr+str(f)#最後の配列の要素にはカンマを付けない。
            else:    
                outputStr+=addStr+str(f)+','#配列の要素ごとにカンマを付ける
            i+=1    
        print(outputStr)    
        print("文字列処理終了")
        i=0
        #OUTPUT
        ofile.write(outputStr)
        ofile.close()
        
###START
print("START#####################################")
codeList=[2345,
         2670,
         2700,
         3486,
         3646,
         3696,
         4004,
         4544,
         4587,
         4619]#0217記事
fileName="0217記事"#.txtなしで記載すること

if fileName!='' and len(codeList)!=0:
    cList=twList()
    cList.outputText(codeList,fileName)
    print(fileName)


print("End#####################################")

import os

import re

import sys

import datetime

import glob#ファイル一覧

import shutil#move

class twList:

def __init__(self):

print()

def outputText(self,codeList,filename):

print("文字列処理開始")

path='/Users/toshiromaseda/Documents/2021年/2021年株/トレーディングビュー/'

os.chdir(path)#ディレクトリ変更

print(os.getcwd())#ディレクトリ確認

try:

ofile=open(filename+'.txt','tw')

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません", e)

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

#ここで処理する

addStr="TSE:"

outputStr=""

i=0

for f in codeList:

if i==len(codeList)-1:

outputStr+=addStr+str(f)#最後の配列の要素にはカンマを付けない。

else:

outputStr+=addStr+str(f)+','#配列の要素ごとにカンマを付ける

i+=1

print(outputStr)

print("文字列処理終了")

i=0

#OUTPUT

ofile.write(outputStr)

ofile.close()

###START

print("START#####################################")

codeList=[2345,

2670,

2700,

3486,

3646,

3696,

4004,

4544,

4587,

4619]#0217記事

fileName="0217記事"#.txtなしで記載すること

if fileName!='' and len(codeList)!=0:

cList=twList()

cList.outputText(codeList,fileName)

print(fileName)

print("End#####################################")

出力例

START#####################################

文字列処理開始
/Users/toshiromaseda/Documents/2021年/2021年株/トレーディングビュー
TSE:2345,TSE:2670,TSE:2700,TSE:3486,TSE:3646,TSE:3696,TSE:4004,TSE:4544,TSE:4587,TSE:4619
文字列処理終了
0217記事
End#####################################

START#####################################

文字列処理開始

/Users/toshiromaseda/Documents/2021年/2021年株/トレーディングビュー

TSE:2345,TSE:2670,TSE:2700,TSE:3486,TSE:3646,TSE:3696,TSE:4004,TSE:4544,TSE:4587,TSE:4619

文字列処理終了

0217記事

End#####################################

更に複数のリストまとめて作るPythonスクリプトは

Pythonを使ってヤフーファイナンス日経平均株価の時系列を取得、スクレイピング

＞追記、2022/02/19、ヤフーファイナンスのデザイン変更により、Pythonスクリプト変更。変更内容は姉妹ブログへ

Python を使ってヤフーファイナンス日経平均株価の時系列を取得、スクレイピング
#https://stocks.finance.yahoo.co.jp/stocks/history/?code=998407.O
#日経平均株価の時系列のテーブル表から該当の文字列を取得する、日付始値高値安値終値

https://github.com/maseda1030/yahoofinance_python.git

import time
from selenium import webdriver
import csv
import datetime
import os

class jikeiretsu:
    def __init__(self,day,kopen,khigh,klow,kclose):
        self.day=day
        self.kopen=kopen
        self.khigh=khigh
        self.klow=klow
        self.kclose=kclose
        
class yahooFinanceTimeline:
    def __init__(self):
        self.hello="yahoo Finace"
        
    def getTimeline(self):
        #print("カプセルにして取得")
         #動作確認のためのメソッド
        # 仮想ブラウザ起動、URL先のサイトにアクセス
        driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする
        #他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい
        url='https://stocks.finance.yahoo.co.jp/stocks/history/?code=998407.O'
        driver.get(url)
        time.sleep(1)
        #title = driver.title
        #print(title)
        main = driver.find_element_by_id("main")
        el = main.find_element_by_css_selector(".padT12.marB10.clearFix")
        tableElem = el.find_element_by_tag_name("table")
        trs = tableElem.find_elements_by_tag_name("tr")
        ths = trs[0].find_elements_by_tag_name("th")
        kabuka=""
        #thタグは１行目のTRにだけ存在する。
        for f in range(0,len(ths)):#日付	始値	高値	安値	終値
            ths[f].text
            kabuka+=ths[f].text+" "
        print(kabuka)
        jikeiretsuArray=[]
        for i in range(0,len(trs)):
            tds = trs[i].find_elements_by_tag_name("td")
            if len(tds)&gt;=5:
                getJikeiretsu=jikeiretsu(tds[0].text,tds[1].text,tds[2].text,tds[3].text,tds[4].text)
                jikeiretsuArray.append(getJikeiretsu)
            else: 
                print("tdsの数が足りない行があるので無視")
        time.sleep(1)    
        driver.close()#起動したウィンドウを閉じる
        print("通常出力日付	始値	高値	安値	終値")
        for f in range(0,len(jikeiretsuArray)):
            print(jikeiretsuArray[f].day,jikeiretsuArray[f].kopen,jikeiretsuArray[f].khigh,jikeiretsuArray[f].klow,jikeiretsuArray[f].kclose)
        print('+----------------------+')
        print("個人的出力順、CSVカンマ区切りで　桁区切りのカンマは削除、昇順day,High,Low,Open,Close,AdjClose")#（"個人的な利用の出力順、昇順day,High,Low,Open,Close,AdjClose"）    
        count=len(jikeiretsuArray)
        tmpstr=""    
        for n in reversed(range(count)):#).replace(',','') カンマを削除
            tmpstr=jikeiretsuArray[n].day+","+jikeiretsuArray[n].khigh.replace(',','')+","+jikeiretsuArray[n].klow.replace(',','')+","+\
                  jikeiretsuArray[n].kopen.replace(',','')+","+jikeiretsuArray[n].kclose.replace(',','')+","+\
                  jikeiretsuArray[n].kclose.replace(',','')
            print(tmpstr)

    #テスト用のメソッドなので実際は不要なメソッド        
    def getTimelineTest(self):
        print("test")
        #動作確認のためのメソッド
        # 仮想ブラウザ起動、URL先のサイトにアクセス
        driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする
        #他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい
        url='https://stocks.finance.yahoo.co.jp/stocks/history/?code=998407.O'
        #driver.get(url+str(code)+'.T')
        driver.get(url)
        time.sleep(1)
        #title = driver.title
        #print(title)
        main = driver.find_element_by_id("main")
        #el = main.find_element_by_id("stockinf")
        #nextClass = el.find_element_by_css_selector(".stocksDtl.clearFix")
        el = main.find_element_by_css_selector(".padT12.marB10.clearFix")
        tableElem = el.find_element_by_tag_name("table")
        trs = tableElem.find_elements_by_tag_name("tr")
        ths = trs[0].find_elements_by_tag_name("th")
        kabuka=""
        #thタグは１行目のTRにだけ存在する。
        for f in range(0,len(ths)):#日付	始値	高値	安値	終値
            ths[f].text
            kabuka+=ths[f].text+" "
        print(kabuka)
        kabuka=""
        for i in range(0,len(trs)):
            tds = trs[i].find_elements_by_tag_name("td")
            for m in range(0,len(tds)):
                kabuka+=tds[m].text+" "#ここはカプセルにしてクラスオブジェクトを配列に入れたほうがいいかも
                #print(kabuka)
            print(kabuka)
            kabuka=""
        time.sleep(1)    
        driver.close()#起動したウィンドウを閉じる
###START
print("START#####################################")
print("Japan yahoo financeの日経平均株価の時系列")
getstock=yahooFinanceTimeline()
getstock.getTimeline()

print("End#####################################")

100

101

102

103

104

105

106

import time

from selenium import webdriver

import csv

import datetime

import os

class jikeiretsu:

def __init__(self,day,kopen,khigh,klow,kclose):

self.day=day

self.kopen=kopen

self.khigh=khigh

self.klow=klow

self.kclose=kclose

class yahooFinanceTimeline:

def __init__(self):

self.hello="yahoo Finace"

def getTimeline(self):

#print("カプセルにして取得")

#動作確認のためのメソッド

# 仮想ブラウザ起動、URL先のサイトにアクセス

driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする

#他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい

url='https://stocks.finance.yahoo.co.jp/stocks/history/?code=998407.O'

driver.get(url)

time.sleep(1)

#title = driver.title

#print(title)

main = driver.find_element_by_id("main")

el = main.find_element_by_css_selector(".padT12.marB10.clearFix")

tableElem = el.find_element_by_tag_name("table")

trs = tableElem.find_elements_by_tag_name("tr")

ths = trs[0].find_elements_by_tag_name("th")

kabuka=""

#thタグは１行目のTRにだけ存在する。

for f in range(0,len(ths)):#日付始値高値安値終値

ths[f].text

kabuka+=ths[f].text+" "

print(kabuka)

jikeiretsuArray=[]

for i in range(0,len(trs)):

tds = trs[i].find_elements_by_tag_name("td")

if len(tds)>=5:

getJikeiretsu=jikeiretsu(tds[0].text,tds[1].text,tds[2].text,tds[3].text,tds[4].text)

jikeiretsuArray.append(getJikeiretsu)

else:

print("tdsの数が足りない行があるので無視")

time.sleep(1)

driver.close()#起動したウィンドウを閉じる

print("通常出力日付始値高値安値終値")

for f in range(0,len(jikeiretsuArray)):

print(jikeiretsuArray[f].day,jikeiretsuArray[f].kopen,jikeiretsuArray[f].khigh,jikeiretsuArray[f].klow,jikeiretsuArray[f].kclose)

print('+----------------------+')

print("個人的出力順、CSVカンマ区切りで　桁区切りのカンマは削除、昇順day,High,Low,Open,Close,AdjClose")#（"個人的な利用の出力順、昇順day,High,Low,Open,Close,AdjClose"）

count=len(jikeiretsuArray)

tmpstr=""

for n in reversed(range(count)):#).replace(',','') カンマを削除

tmpstr=jikeiretsuArray[n].day+","+jikeiretsuArray[n].khigh.replace(',','')+","+jikeiretsuArray[n].klow.replace(',','')+","+\

jikeiretsuArray[n].kopen.replace(',','')+","+jikeiretsuArray[n].kclose.replace(',','')+","+\

jikeiretsuArray[n].kclose.replace(',','')

print(tmpstr)

#テスト用のメソッドなので実際は不要なメソッド

def getTimelineTest(self):

print("test")

#動作確認のためのメソッド

# 仮想ブラウザ起動、URL先のサイトにアクセス

driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする

#他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい

url='https://stocks.finance.yahoo.co.jp/stocks/history/?code=998407.O'

#driver.get(url+str(code)+'.T')

driver.get(url)

time.sleep(1)

#title = driver.title

#print(title)

main = driver.find_element_by_id("main")

#el = main.find_element_by_id("stockinf")

#nextClass = el.find_element_by_css_selector(".stocksDtl.clearFix")

el = main.find_element_by_css_selector(".padT12.marB10.clearFix")

tableElem = el.find_element_by_tag_name("table")

trs = tableElem.find_elements_by_tag_name("tr")

ths = trs[0].find_elements_by_tag_name("th")

kabuka=""

#thタグは１行目のTRにだけ存在する。

for f in range(0,len(ths)):#日付始値高値安値終値

ths[f].text

kabuka+=ths[f].text+" "

print(kabuka)

kabuka=""

for i in range(0,len(trs)):

tds = trs[i].find_elements_by_tag_name("td")

for m in range(0,len(tds)):

kabuka+=tds[m].text+" "#ここはカプセルにしてクラスオブジェクトを配列に入れたほうがいいかも

#print(kabuka)

print(kabuka)

kabuka=""

time.sleep(1)

driver.close()#起動したウィンドウを閉じる

###START

print("START#####################################")

print("Japan yahoo financeの日経平均株価の時系列")

getstock=yahooFinanceTimeline()

getstock.getTimeline()

print("End#####################################")

出力例

START#####################################
Japan yahoo financeの日経平均株価の時系列
カプセルにして取得
日付 始値 高値 安値 終値 
tdsの数が足りない行があるので無視
通常出力日付	始値	高値	安値	終値
2021年2月16日 30,229.46 30,714.52 30,191.65 30,467.75
2021年2月15日 29,662.41 30,092.34 29,662.41 30,084.15
2021年2月12日 29,635.88 29,650.51 29,417.32 29,520.07
2021年2月10日 29,412.55 29,562.93 29,368.18 29,562.93
2021年2月9日 29,435.61 29,585.75 29,350.48 29,505.93
2021年2月8日 28,831.58 29,400.56 28,817.6 29,388.5
2021年2月5日 28,631.46 28,785.71 28,548.27 28,779.19
2021年2月4日 28,557.46 28,600.22 28,325.89 28,341.95
2021年2月3日 28,482.71 28,669.95 28,402.3 28,646.5
2021年2月2日 28,207.48 28,379.31 28,089.12 28,362.17
2021年2月1日 27,649.07 28,107.1 27,649.07 28,091.05
2021年1月29日 28,320.72 28,320.72 27,629.8 27,663.39
2021年1月28日 28,169.27 28,360.48 27,975.85 28,197.42
2021年1月27日 28,665.34 28,754.99 28,542 28,635.21
2021年1月26日 28,696.3 28,740.71 28,527.81 28,546.18
2021年1月25日 28,698.89 28,822.29 28,566.85 28,822.29
2021年1月22日 28,580.2 28,698.18 28,527.16 28,631.45
2021年1月21日 28,710.41 28,846.15 28,677.61 28,756.86
2021年1月20日 28,798.74 28,801.19 28,402.11 28,523.26
2021年1月19日 28,405.49 28,720.91 28,373.34 28,633.46
+----------------------+
個人的出力順、カンマを削除、昇順day,High,Low,Open,Close,AdjClose
2021年1月19日,28720.91,28373.34,28405.49,28633.46,28633.46
2021年1月20日,28801.19,28402.11,28798.74,28523.26,28523.26
2021年1月21日,28846.15,28677.61,28710.41,28756.86,28756.86
2021年1月22日,28698.18,28527.16,28580.2,28631.45,28631.45
2021年1月25日,28822.29,28566.85,28698.89,28822.29,28822.29
2021年1月26日,28740.71,28527.81,28696.3,28546.18,28546.18
2021年1月27日,28754.99,28542,28665.34,28635.21,28635.21
2021年1月28日,28360.48,27975.85,28169.27,28197.42,28197.42
2021年1月29日,28320.72,27629.8,28320.72,27663.39,27663.39
2021年2月1日,28107.1,27649.07,27649.07,28091.05,28091.05
2021年2月2日,28379.31,28089.12,28207.48,28362.17,28362.17
2021年2月3日,28669.95,28402.3,28482.71,28646.5,28646.5
2021年2月4日,28600.22,28325.89,28557.46,28341.95,28341.95
2021年2月5日,28785.71,28548.27,28631.46,28779.19,28779.19
2021年2月8日,29400.56,28817.6,28831.58,29388.5,29388.5
2021年2月9日,29585.75,29350.48,29435.61,29505.93,29505.93
2021年2月10日,29562.93,29368.18,29412.55,29562.93,29562.93
2021年2月12日,29650.51,29417.32,29635.88,29520.07,29520.07
2021年2月15日,30092.34,29662.41,29662.41,30084.15,30084.15
2021年2月16日,30714.52,30191.65,30229.46,30467.75,30467.75
End#####################################

START#####################################

Japan yahoo financeの日経平均株価の時系列

カプセルにして取得

日付始値高値安値終値

tdsの数が足りない行があるので無視

通常出力日付始値高値安値終値

2021年2月16日 30,229.46 30,714.52 30,191.65 30,467.75

2021年2月15日 29,662.41 30,092.34 29,662.41 30,084.15

2021年2月12日 29,635.88 29,650.51 29,417.32 29,520.07

2021年2月10日 29,412.55 29,562.93 29,368.18 29,562.93

2021年2月9日 29,435.61 29,585.75 29,350.48 29,505.93

2021年2月8日 28,831.58 29,400.56 28,817.6 29,388.5

2021年2月5日 28,631.46 28,785.71 28,548.27 28,779.19

2021年2月4日 28,557.46 28,600.22 28,325.89 28,341.95

2021年2月3日 28,482.71 28,669.95 28,402.3 28,646.5

2021年2月2日 28,207.48 28,379.31 28,089.12 28,362.17

2021年2月1日 27,649.07 28,107.1 27,649.07 28,091.05

2021年1月29日 28,320.72 28,320.72 27,629.8 27,663.39

2021年1月28日 28,169.27 28,360.48 27,975.85 28,197.42

2021年1月27日 28,665.34 28,754.99 28,542 28,635.21

2021年1月26日 28,696.3 28,740.71 28,527.81 28,546.18

2021年1月25日 28,698.89 28,822.29 28,566.85 28,822.29

2021年1月22日 28,580.2 28,698.18 28,527.16 28,631.45

2021年1月21日 28,710.41 28,846.15 28,677.61 28,756.86

2021年1月20日 28,798.74 28,801.19 28,402.11 28,523.26

2021年1月19日 28,405.49 28,720.91 28,373.34 28,633.46

+----------------------+

個人的出力順、カンマを削除、昇順day,High,Low,Open,Close,AdjClose

2021年1月19日,28720.91,28373.34,28405.49,28633.46,28633.46

2021年1月20日,28801.19,28402.11,28798.74,28523.26,28523.26

2021年1月21日,28846.15,28677.61,28710.41,28756.86,28756.86

2021年1月22日,28698.18,28527.16,28580.2,28631.45,28631.45

2021年1月25日,28822.29,28566.85,28698.89,28822.29,28822.29

2021年1月26日,28740.71,28527.81,28696.3,28546.18,28546.18

2021年1月27日,28754.99,28542,28665.34,28635.21,28635.21

2021年1月28日,28360.48,27975.85,28169.27,28197.42,28197.42

2021年1月29日,28320.72,27629.8,28320.72,27663.39,27663.39

2021年2月1日,28107.1,27649.07,27649.07,28091.05,28091.05

2021年2月2日,28379.31,28089.12,28207.48,28362.17,28362.17

2021年2月3日,28669.95,28402.3,28482.71,28646.5,28646.5

2021年2月4日,28600.22,28325.89,28557.46,28341.95,28341.95

2021年2月5日,28785.71,28548.27,28631.46,28779.19,28779.19

2021年2月8日,29400.56,28817.6,28831.58,29388.5,29388.5

2021年2月9日,29585.75,29350.48,29435.61,29505.93,29505.93

2021年2月10日,29562.93,29368.18,29412.55,29562.93,29562.93

2021年2月12日,29650.51,29417.32,29635.88,29520.07,29520.07

2021年2月15日,30092.34,29662.41,29662.41,30084.15,30084.15

2021年2月16日,30714.52,30191.65,30229.46,30467.75,30467.75

End#####################################

今日のPythonエラー　クラスを作ったときにtakes 0 positional arguments but 1 was given

Pythonで
クラスを作ってメソッドを作ったらエラーになった。
takes 0 positional arguments but 1 was given

https://qiita.com/matsuida55/items/4188430631353a7a1194
「pythonはクラスメソッドの引数1つ目に必ず self を取らなければならない。」

・結論
クラスのメソッドの引数は必要なくても、引数selfを入れなくてはならない。

誤り：エラーになるtakes 0 positional arguments but 1 was given

#python class　サンプル
class nikkeiClass: 
    def __init__(self, cindex, chigh):
        self.index = cindex 
        self.high = chigh 

    def sample():#引数はないのでブランクにした＞＞　ここが誤り
        print(self.index)
        
##START
test=nikkeiClass("aa","bb")
test.sample()
＞＞＞エラー発生　takes 0 positional arguments but 1 was given

#python class　サンプル

class nikkeiClass:

def __init__(self, cindex, chigh):

self.index = cindex

self.high = chigh

def sample():#引数はないのでブランクにした＞＞　ここが誤り

print(self.index)

##START

test=nikkeiClass("aa","bb")

test.sample()

＞＞＞エラー発生　takes 0 positional arguments but 1 was given

↓

正しい

#python class　サンプル
class nikkeiClass: 
    def __init__(self, cindex, chigh):
        self.index = cindex 
        self.high = chigh 

    def sample(self):#引数にselfがないとエラーになる
        print(self.index)
        
##START
test=nikkeiClass("aa","bb")
test.sample()
出力結果
aa

#python class　サンプル

class nikkeiClass:

def __init__(self, cindex, chigh):

self.index = cindex

self.high = chigh

def sample(self):#引数にselfがないとエラーになる

print(self.index)

##START

test=nikkeiClass("aa","bb")

test.sample()

出力結果

Pythonを使ってヤフーファイナンス情報を取得、スクレイピング

#複数企業コード対応版　企業コードから企業名と株価を取得する
#Anaconda JupyterLabによる動作　Shift＋Enterで実行になる

動作環境：MacOS　、Python、Anaconda JupyterLab

https://github.com/maseda1030/yahoofinance_python.git

面倒だった点は、複数タグが存在するタグ名tr,td,ddの扱い。複数の場合forで回して配列みたいにしてデータを取得する必要があるし、スペースが含まれるクラス名は別のプロパティ？で読み込む必要がある。

find_element_by_class_nameでスペースを含むクラス名はエラーとなるので、find_element_by_css_selectorとしてドット.で接続する。

誤り：el.find_element_by_class_name(‘stocksDtl clearFix’)

正：el.find_element_by_css_selector(“.stocksDtl.clearFix”)

以下はサンプルコード。使い方は、codelistに企業コードを入力すると、ヤフーファイナンスからスクレイピングして「コード、企業名、終値株価、前日比、日付」を半角スペース区切りで出力するだけ。ヤフーファイナンスに接続するときは、取得間隔を１，２秒程度空けている。連続で取得するとサーバ負荷が増えるから強制切断とかアクセスをブロックされてしまうかもしれない。

＞＞コード修正、Spanタグが存在しない時間帯があるみたいなので、存在するかどうかのチェックを追記した。2021年2月8日、12時06分

import time
from selenium import webdriver
import csv
import datetime
import os

codelist=[]
codelist=[6315,2207,6928,5724,2702]#企業コード、複数

def getName(code):
    # 仮想ブラウザ起動、URL先のサイトにアクセス
    driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする
    #他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい
    url='https://stocks.finance.yahoo.co.jp/stocks/detail/?code='
    driver.get(url+str(code)+'.T')
    #time.sleep(1)
    #title = driver.title
    #print(title)
    main = driver.find_element_by_id("main")
    el = main.find_element_by_id("stockinf")

    #エラー、nextClass = el.find_element_by_class_name('stocksDtl clearFix') Classにスペースが含まれるとエラーになるので別のメソッドにする
    nextClass = el.find_element_by_css_selector(".stocksDtl.clearFix")
    subNextClass = nextClass.find_element_by_class_name("forAddPortfolio")
    tableElem = subNextClass.find_element_by_class_name("stocksTable")
    dlElem = subNextClass.find_element_by_css_selector(".stocksInfo.clearFix")
    
    dds = dlElem.find_elements_by_tag_name("dd")
    trs = tableElem.find_element_by_tag_name("tr")
    symbol = trs.find_element_by_class_name("symbol")
    name = symbol.find_element_by_tag_name("h1")
    stockinfo = []
    stockinfo.append(str(code))
    stockinfo.append(name.text)
    tds = trs.find_elements_by_tag_name("td")
    
    for j in range(0,len(tds)):
        if tds[j].text != "":
            stockinfo.append(tds[j].text)

    ##ddタグの中に spanタグがあって、他に文字がある。spanタグのテキストだけが取得したかった。
    ##＞＞追記　2021年2月8日エラー処理を追加
    if len(dds[1].find_elements_by_tag_name("span"))&gt;0:#存在チェック elementでなくてelementsにする
        stockinfo.append(dds[1].find_element_by_tag_name("span").text)#日付
    output=stockinfo
    driver.close()#起動したウィンドウを閉じる
    return output

###START
print("START#####################################")
tmpStr=""
f=0
for i in codelist:
    outputStr=getName(i)
    #コード、企業名、終値株価,前日比、日付
    for m in outputStr:
        if f==2:
            tmpStr+=m+'円'+' '
        else:
            tmpStr+=m+' '
        f+=1
        #print(outputStr[0],outputStr[1],outputStr[2]+"円",outputStr[3],outputStr[4])
    print(tmpStr)
    tmpStr=""
    f=0
    time.sleep(2)
print("End#####################################")

import time

from selenium import webdriver

import csv

import datetime

import os

codelist=[]

codelist=[6315,2207,6928,5724,2702]#企業コード、複数

def getName(code):

# 仮想ブラウザ起動、URL先のサイトにアクセス

driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする

#他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい

url='https://stocks.finance.yahoo.co.jp/stocks/detail/?code='

driver.get(url+str(code)+'.T')

#time.sleep(1)

#title = driver.title

#print(title)

main = driver.find_element_by_id("main")

el = main.find_element_by_id("stockinf")

#エラー、nextClass = el.find_element_by_class_name('stocksDtl clearFix') Classにスペースが含まれるとエラーになるので別のメソッドにする

nextClass = el.find_element_by_css_selector(".stocksDtl.clearFix")

subNextClass = nextClass.find_element_by_class_name("forAddPortfolio")

tableElem = subNextClass.find_element_by_class_name("stocksTable")

dlElem = subNextClass.find_element_by_css_selector(".stocksInfo.clearFix")

dds = dlElem.find_elements_by_tag_name("dd")

trs = tableElem.find_element_by_tag_name("tr")

symbol = trs.find_element_by_class_name("symbol")

name = symbol.find_element_by_tag_name("h1")

stockinfo = []

stockinfo.append(str(code))

stockinfo.append(name.text)

tds = trs.find_elements_by_tag_name("td")

for j in range(0,len(tds)):

if tds[j].text != "":

stockinfo.append(tds[j].text)

##ddタグの中に spanタグがあって、他に文字がある。spanタグのテキストだけが取得したかった。

##＞＞追記　2021年2月8日エラー処理を追加

if len(dds[1].find_elements_by_tag_name("span"))>0:#存在チェック elementでなくてelementsにする

stockinfo.append(dds[1].find_element_by_tag_name("span").text)#日付

output=stockinfo

driver.close()#起動したウィンドウを閉じる

return output

###START

print("START#####################################")

tmpStr=""

f=0

for i in codelist:

outputStr=getName(i)

#コード、企業名、終値株価,前日比、日付

for m in outputStr:

if f==2:

tmpStr+=m+'円'+' '

else:

tmpStr+=m+' '

f+=1

#print(outputStr[0],outputStr[1],outputStr[2]+"円",outputStr[3],outputStr[4])

print(tmpStr)

tmpStr=""

f=0

time.sleep(2)

print("End#####################################")

更に修正した。メソッドをクラスにした。また始値、高値、安値を入れた。2021/02/12

#Python を使って#ヤフーファイナンス 情報を取得、#スクレイピング 
#複数企業コード対応版　企業コードから企業名と株価を取得する
#Anaconda JupyterLabによる動作　Shift＋Enterで実行になる
#修正、クラスに変更
#修正2021/02/12、始値、高値、安値を入れた

#手作業はcodelistにコードを入れる
import time
from selenium import webdriver
import csv
import datetime
import os

codelist=[]
codelist=[6134,7952,6462
         ]#企業コード、複数
#これからは、どんなに小さなプログラムでもクラスを使用する。そのほうが汎用性がある。
#同じメソッド名でもクラス名が異なればコピペして使用できる
class yahooFinanceClass():
        def __init__(self):
            self.hello="yahoo Finace"
        
        def getName(self,code):
            # 仮想ブラウザ起動、URL先のサイトにアクセス
            driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする
            #他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい
            url='https://stocks.finance.yahoo.co.jp/stocks/detail/?code='
            driver.get(url+str(code)+'.T')
            time.sleep(1)
            #title = driver.title
            #print(title)
            main = driver.find_element_by_id("main")
            el = main.find_element_by_id("stockinf")

            #エラー、nextClass = el.find_element_by_class_name('stocksDtl clearFix') Classにスペースが含まれるとエラーになるので別のメソッドにする
            nextClass = el.find_element_by_css_selector(".stocksDtl.clearFix")
            subNextClass = nextClass.find_element_by_class_name("forAddPortfolio")
            tableElem = subNextClass.find_element_by_class_name("stocksTable")
            dlElem = subNextClass.find_element_by_css_selector(".stocksInfo.clearFix")

            dds = dlElem.find_elements_by_tag_name("dd")
            trs = tableElem.find_element_by_tag_name("tr")
            symbol = trs.find_element_by_class_name("symbol")
            name = symbol.find_element_by_tag_name("h1")
            stockinfo = []
            stockinfo.append(str(code))
            stockinfo.append(name.text)
            tds = trs.find_elements_by_tag_name("td")

            for j in range(0,len(tds)):
                if tds[j].text != "":
                    stockinfo.append(tds[j].text)

            ##始値、高値、安値を取得
            detail = main.find_element_by_id("detail")
            innerDate = detail.find_element_by_class_name("innerDate")
            innerDate_divs = innerDate.find_elements_by_css_selector(".lineFi.clearfix")#S複数
            for n in range(0,len(innerDate_divs)):
                if len(innerDate_divs[n].find_elements_by_class_name("tseDtl"))&gt;0:#存在確認は複数形
                    tseDtl = innerDate_divs[n].find_element_by_class_name("tseDtl")#こっちは単数
                    kubun=tseDtl.find_element_by_class_name("title").text
                    #共通の処理をまとめた
                    if kubun=="安値" or kubun=="高値" or kubun=="始値":
                        ymuiEditLink=tseDtl.find_element_by_css_selector(".ymuiEditLink.mar0")
                        kabuka=ymuiEditLink.find_element_by_tag_name("strong").text
                    #配列に追加    
                    if kubun=="安値":
                        stockinfo.append("安値:"+kabuka)
                    elif kubun=="高値":
                        stockinfo.append("高値:"+kabuka)
                    elif kubun=="始値":  
                        stockinfo.append("始値:"+kabuka)
                              
            ##ddタグの中に spanタグがあって、他に文字がある。spanタグのテキストだけが取得したかった。
            ##＞＞追記　2021年2月8日エラー処理を追加
            if len(dds[1].find_elements_by_tag_name("span"))&gt;0:#存在チェック elementでなくてelements（複数S）にする
                stockinfo.append(dds[1].find_element_by_tag_name("span").text)#日付　こっちは単数のelement  
            output=stockinfo
            driver.close()#起動したウィンドウを閉じる
            return output
        
###START
print("START#####################################")
tmpStr=""
f=0
obj=yahooFinanceClass()
for i in codelist:
    outputStr=obj.getName(i)
    #コード、企業名、終値株価,前日比、日付
    for m in outputStr:
        if f==2:
            tmpStr+=m+'円'+' '
        else:
            tmpStr+=m+' '
        f+=1
        #print(outputStr[0],outputStr[1],outputStr[2]+"円",outputStr[3],outputStr[4])
    print(tmpStr)
    tmpStr=""
    f=0
    time.sleep(2)
print("End#####################################")    
'''出力例
START#####################################
6134 (株)ＦＵＪＩ 2,795円 前日比+51（+1.86%） 始値:2,794 高値:2,832 安値:2,777 14:08 
7952 (株)河合楽器製作所 3,510円 前日比+380（+12.14%） 始値:3,200 高値:3,540 安値:3,155 14:06 
6462 (株)リケン 2,400円 前日比+114（+4.99%） 始値:2,449 高値:2,449 安値:2,329 14:07 
End#####################################  
'''

100

101

102

103

104

105

106

107

108

#Python を使って#ヤフーファイナンス情報を取得、#スクレイピング

#複数企業コード対応版　企業コードから企業名と株価を取得する

#Anaconda JupyterLabによる動作　Shift＋Enterで実行になる

#修正、クラスに変更

#修正2021/02/12、始値、高値、安値を入れた

#手作業はcodelistにコードを入れる

import time

from selenium import webdriver

import csv

import datetime

import os

codelist=[]

codelist=[6134,7952,6462

]#企業コード、複数

#これからは、どんなに小さなプログラムでもクラスを使用する。そのほうが汎用性がある。

#同じメソッド名でもクラス名が異なればコピペして使用できる

class yahooFinanceClass():

def __init__(self):

self.hello="yahoo Finace"

def getName(self,code):

# 仮想ブラウザ起動、URL先のサイトにアクセス

driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする

#他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい

url='https://stocks.finance.yahoo.co.jp/stocks/detail/?code='

driver.get(url+str(code)+'.T')

time.sleep(1)

#title = driver.title

#print(title)

main = driver.find_element_by_id("main")

el = main.find_element_by_id("stockinf")

#エラー、nextClass = el.find_element_by_class_name('stocksDtl clearFix') Classにスペースが含まれるとエラーになるので別のメソッドにする

nextClass = el.find_element_by_css_selector(".stocksDtl.clearFix")

subNextClass = nextClass.find_element_by_class_name("forAddPortfolio")

tableElem = subNextClass.find_element_by_class_name("stocksTable")

dlElem = subNextClass.find_element_by_css_selector(".stocksInfo.clearFix")

dds = dlElem.find_elements_by_tag_name("dd")

trs = tableElem.find_element_by_tag_name("tr")

symbol = trs.find_element_by_class_name("symbol")

name = symbol.find_element_by_tag_name("h1")

stockinfo = []

stockinfo.append(str(code))

stockinfo.append(name.text)

tds = trs.find_elements_by_tag_name("td")

for j in range(0,len(tds)):

if tds[j].text != "":

stockinfo.append(tds[j].text)

##始値、高値、安値を取得

detail = main.find_element_by_id("detail")

innerDate = detail.find_element_by_class_name("innerDate")

innerDate_divs = innerDate.find_elements_by_css_selector(".lineFi.clearfix")#S複数

for n in range(0,len(innerDate_divs)):

if len(innerDate_divs[n].find_elements_by_class_name("tseDtl"))>0:#存在確認は複数形

tseDtl = innerDate_divs[n].find_element_by_class_name("tseDtl")#こっちは単数

kubun=tseDtl.find_element_by_class_name("title").text

#共通の処理をまとめた

if kubun=="安値" or kubun=="高値" or kubun=="始値":

ymuiEditLink=tseDtl.find_element_by_css_selector(".ymuiEditLink.mar0")

kabuka=ymuiEditLink.find_element_by_tag_name("strong").text

#配列に追加

if kubun=="安値":

stockinfo.append("安値:"+kabuka)

elif kubun=="高値":

stockinfo.append("高値:"+kabuka)

elif kubun=="始値":

stockinfo.append("始値:"+kabuka)

##ddタグの中に spanタグがあって、他に文字がある。spanタグのテキストだけが取得したかった。

##＞＞追記　2021年2月8日エラー処理を追加

if len(dds[1].find_elements_by_tag_name("span"))>0:#存在チェック elementでなくてelements（複数S）にする

stockinfo.append(dds[1].find_element_by_tag_name("span").text)#日付　こっちは単数のelement

output=stockinfo

driver.close()#起動したウィンドウを閉じる

return output

###START

print("START#####################################")

tmpStr=""

f=0

obj=yahooFinanceClass()

for i in codelist:

outputStr=obj.getName(i)

#コード、企業名、終値株価,前日比、日付

for m in outputStr:

if f==2:

tmpStr+=m+'円'+' '

else:

tmpStr+=m+' '

f+=1

#print(outputStr[0],outputStr[1],outputStr[2]+"円",outputStr[3],outputStr[4])

print(tmpStr)

tmpStr=""

f=0

time.sleep(2)

print("End#####################################")

'''出力例

START#####################################

6134 (株)ＦＵＪＩ 2,795円前日比+51（+1.86%）始値:2,794 高値:2,832 安値:2,777 14:08

7952 (株)河合楽器製作所 3,510円前日比+380（+12.14%）始値:3,200 高値:3,540 安値:3,155 14:06

6462 (株)リケン 2,400円前日比+114（+4.99%）始値:2,449 高値:2,449 安値:2,329 14:07

End#####################################

'''

pythonでCSVを読み込みクラスオブジェクトを配列に入れる

CSVを読み込みクラスオブジェクトを配列に入れる

CSV例,6列必要。1行目は除外する。米ヤフーファイナンスから日経平均株価データを取得すると、今日の分は取得できるのに、なぜか前日のデータが時間帯によって取得できない。そのため、取得できたデータと取得できないデータをCSVにしておいて使用する。

日付,高値,安値,始値,終値,調整終値

となっている。

index      High      Low    Open   Close    AdjClose  列数チェックが必要                                                               
2021-01-07,27624.730469,27340.460938,27340.460938,27490.130859,27490.130859
2021-01-08,28139.029297,27667.750000,27720.140625,28139.029297,28139.029297
2021-01-12,28287.369141,27899.449219,28004.369141,28164.339844,28164.339844
2021-01-13,28140.10,28503.43,28139.66,28456.59,28456.59
2021-01-14,28979.529297,28411.580078,28442.730469,28698.259766,28698.259766

index High Low Open Close AdjClose 列数チェックが必要

2021-01-07,27624.730469,27340.460938,27340.460938,27490.130859,27490.130859

2021-01-08,28139.029297,27667.750000,27720.140625,28139.029297,28139.029297

2021-01-12,28287.369141,27899.449219,28004.369141,28164.339844,28164.339844

2021-01-13,28140.10,28503.43,28139.66,28456.59,28456.59

2021-01-14,28979.529297,28411.580078,28442.730469,28698.259766,28698.259766

クラスから実際のデータを取得するときは

df[0].indexとかdf[0].closeみたいにして取得する。つまり1行分が1オブジェクトの配列として登録されている。

#CSVにするときは、列数があっているかをチェックする。ヤフーファイナンスはAdjCloseがあるが、ほかはCloseしかない。
import os
import pandas_datareader.data as data
from datetime import datetime,timedelta

#日経平均株価データのクラスオブジェクト、カプセルデータ
class nikkeiClass:
    def __init__(self, cindex, chigh,clow,copen,cclose,cadjclose):
        self.index = cindex
        self.high = chigh
        self.low = clow
        self.open = copen
        self.close = cclose
        self.adjclose = cadjclose
#########################
end = datetime.now()
#start = datetime(end.year, end.month, end.day-8)#こっちだと月マタギでエラーになる。
start = end - timedelta(days=7)
print('start:',start.strftime("%Y/%m/%d"))
print('today:',end.strftime("%Y/%m/%d"))

df=[]
checkLineCount=0
#CSVを読み込む
ifile='/Users/toshiromaseda/Documents/blender/script/2021年1月14日日経.csv'
try:#ファイルが存在しないときのエラー処理try
    with open(ifile,'tr') as fin:
        for iline in fin:
            #try:
                tmp=iline.strip().split(",")#stripしてからsplit()だと理解している。
                if 'High' in tmp[0]:
                    continue
                if len(tmp) &lt; 6:#全部で6列存在する。
                    print('ERROR 列の数があっていません。少ないようです。行数：',checkLineCount)
                    break
                #here
                df.append(nikkeiClass(tmp[0],tmp[1],tmp[2],tmp[3],tmp[4],tmp[5]))
                checkLineCount+=1
except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
    print("ファイルが見つかりません。パス、ファイル名を確認してください", e)
    ifile.close()
    sys._exit()#ファイルがなければ終了

print(df[0].index) 
for f in df:
    print('日付：',f.index)


print('END')

#CSVにするときは、列数があっているかをチェックする。ヤフーファイナンスはAdjCloseがあるが、ほかはCloseしかない。

import os

import pandas_datareader.data as data

from datetime import datetime,timedelta

#日経平均株価データのクラスオブジェクト、カプセルデータ

class nikkeiClass:

def __init__(self, cindex, chigh,clow,copen,cclose,cadjclose):

self.index = cindex

self.high = chigh

self.low = clow

self.open = copen

self.close = cclose

self.adjclose = cadjclose

#########################

end = datetime.now()

#start = datetime(end.year, end.month, end.day-8)#こっちだと月マタギでエラーになる。

start = end - timedelta(days=7)

print('start:',start.strftime("%Y/%m/%d"))

print('today:',end.strftime("%Y/%m/%d"))

df=[]

checkLineCount=0

#CSVを読み込む

ifile='/Users/toshiromaseda/Documents/blender/script/2021年1月14日日経.csv'

try:#ファイルが存在しないときのエラー処理try

with open(ifile,'tr') as fin:

for iline in fin:

#try:

tmp=iline.strip().split(",")#stripしてからsplit()だと理解している。

if 'High' in tmp[0]:

continue

if len(tmp) < 6:#全部で6列存在する。

print('ERROR 列の数があっていません。少ないようです。行数：',checkLineCount)

break

#here

df.append(nikkeiClass(tmp[0],tmp[1],tmp[2],tmp[3],tmp[4],tmp[5]))

checkLineCount+=1

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません。パス、ファイル名を確認してください", e)

ピクチャ

ピクチャは海外ドラマ、漫画、英単語語呂合わせ法、アイフォンアプリ等の記事を紹介します

「python」タグアーカイブ

python　勉強中、文字列　改行ごとに配列にしたい

MacのBlender3.0で、pythonのpandas_datareaderを実行したらNo module namedというエラーが発生

結論

やったこと

（１）pipのインストール

（２）次にget-pip.pyを実行

（3）pandas_datareaderをpipでインストール

Pythonを使って、株探のWEBスクレイピング

python スクレイピング、BeautifulSoupライブラリ

MySqlでDB、テーブル作成メモ　備忘録

python、テキストファイル出力、配列に文字を連結するだけ

トレーディングビューでインポートtxt 作り方

Pythonを使ってヤフーファイナンス日経平均株価の時系列を取得、スクレイピング

今日のPythonエラー　クラスを作ったときにtakes 0 positional arguments but 1 was given

Pythonを使ってヤフーファイナンス情報を取得、スクレイピング

pythonでCSVを読み込みクラスオブジェクトを配列に入れる