python スクレイピング、BeautifulSoupライブラリ

#株探先物オプションのスクレイピング。取得した文字列をコピペしてTEXTにして、
#CSVに出力してMysqlにインサートするコード
#URLと日付と月限は手動で毎回入力する必要がある。

#以前はファイル作成まで手動で作業していた。
#WEBページを開き
#先物オプションの出来高データを取得して
#テキストファイルにする
#所定のフォルダにコピー、移動する
#個人用クラスメソッドを使う。

いままでWebdriverライブラリを使用していたが、空白部分が自動で削除されてしまった。
削除してほしくなかったので、BeautifulSoupライブラリを使用した。こちらのほうはクロムは起動しないし純粋にhtmlの文字を空白を含めて取得してくれた。
以下は今回作ったコードの一部。class cGetOption()
なおdef returnDriver(self,lurl)はwebdriverを使用したもので実際には採用しなかった。
株探の先物オプションのURLを取得して
そのページの文字列を取得。このとき、ある文字列Aと文字列Bの間の文字を取得（findFirstStrのところ）
そしてタプルで、文字列とファイル名文字列を出力する

https://github.com/maseda1030/yahoofinance_python.git

import MySQLdb
import os
import re
import sys
import time
import datetime
import glob#ファイル一覧
import shutil#move
from selenium import webdriver
import importlib#再読み込みのためのライブラリ

import requests#スクレイピング
from bs4 import BeautifulSoup#スクレイピング

import methodMysql#個人用メソッド pyファイル

###START
importlib.reload(methodMysql)

##以下は毎回手動で確認すること
#株探の市況の先物オプション、市場が開いている当日のPM4：06分頃と、翌日の朝AM6:30以降に更新される。
#土日祝は更新されないが、前日が市場が開いていると更新される。
optionUrl='https://kabutan.jp/news/marketnews/?b=n202103010692'#都度修正、毎日
useDate='2021/3/1'#オプション取り込みの日付　　　　　　　　　　　　　　　#都度修正、毎日
useMonth=3#月限　１２月の作業はたいてい翌月である１月　　　　　　　　　　　　#都度修正、月
useTable='Table_StockOption'#テーブルは固定

#
print('START')
print('chrome起動')
obj=methodMysql.cGetOption()
#このURLは手動でコピペする
#BeautifulSoup版
tupleArray=obj.getOptionDataByBeautifulSoup(optionUrl)

#webdriver版
#tupleArray=obj.getOptionData(optionUrl)
a,b=tupleArray
print(a)#text
print(b)#年月日時分


path='/Users/toshiromaseda/Documents/2020年株関連/kabu_python/'
obj.outputText(path,tupleArray)
#file名は、年月日時分.txtになって保存される。

#ファイルの存在チェックで拡張子をつけてチェックする
if b.find('.txt')&gt;=0:
    pass
else:
    ifile=b+'.txt'

##--
checkFlag='nashi'
files=glob.glob(path+'*.txt')
for file in files:
    if ifile in file:#ファイル名を含んでいればTRUE
        print(file)
        checkFlag='ari'
        break
    else:
        #print(file)
        checkFlag='nashi'
if checkFlag=='nashi':
    print('ファイルが存在しないか、ファイル名が間違っています')
    sys.exit()

        
csvfile='c_'+ifile.split('.')[0]+'.csv'

methodMysql.checkFile(ifile)#check 取り込み済みのファイルかどうかを調べる

try:
    ofile=open(csvfile,'tw') 
except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
   print("ファイルが見つかりません", e)
   #print("強制終了")
   sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい
except Exception as e: # Exceptionは、それ以外の例外が発生した場合
   print(e)

try:#ファイルが存在しないときのエラー処理try
    with open(ifile,'tr') as fin:
        for iline in fin:
            #ilineに、”コール”、”出来高”の文字がある行は無視するようにする
            #countで探すか　1行目、2行目は不要なのでDBにインサートしないための処理
            if iline.count('コール')&gt;=1 or iline.count('出来高')&gt;=1:
                continue#以下は実行されない
            if len(iline)==1:#1文字は改行コードだろうから何もしない
                continue
            try:
                ofile.write(methodMysql.outMojiMKIII(iline)+'\n')#MKIII改良版2020/12/18
                #次はMysqlに直接インサートするバージョンを作業する
            except Exception:
                print("do not")
        ofile.close()
except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
    print("ファイルが見つかりません。パス、ファイル名を確認してください", e)
    ofile.close()
    print("強制終了")
    sys._exit()#ファイルがなければ終了 #tryのときは_exit()が良いらしい
except Exception as e: # Exceptionは、それ以外の例外が発生した場合
   print(e)

#CSVからMysqlへ　CSVファイルがないと実行できない。重複チェックなし
#csvToMysql(difileはCSVファイル名,dtablename、doptionDate日付、dmonth月限)
#テスト用テーブルTest_Table_StockOption
print("csvtoMysql")
methodMysql.csvToMysql(csvfile,useTable,useDate,useMonth)

#Testが終わったら試す。 単独実行可能 但し、ファイルの移動先チェックがないので、他で移動がないことをチェックする必要あり
methodMysql.fileMove(ifile,'./option_python_execute')
methodMysql.fileMove(csvfile,'./option_python_execute')

#表、グラフを出力する 単独実行可能
##methodMysql.selectMysql('Table_StockOption')

print("終わりました。")
print('+++++++')
print('chrome終了')
print('END')


'''
mysql&gt; mysql&gt; SELECT SUM(Volume1) as callVolume1, ExercisePrice,  SUM(Volume2) as putVolume2 
FROM Table_StockOption WHERE Month=3 GROUP BY ExercisePrice ORDER BY Exerce Desc;
'''

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

import MySQLdb

import os

import re

import sys

import time

import datetime

import glob#ファイル一覧

import shutil#move

from selenium import webdriver

import importlib#再読み込みのためのライブラリ

import requests#スクレイピング

from bs4 import BeautifulSoup#スクレイピング

import methodMysql#個人用メソッド pyファイル

###START

importlib.reload(methodMysql)

##以下は毎回手動で確認すること

#株探の市況の先物オプション、市場が開いている当日のPM4：06分頃と、翌日の朝AM6:30以降に更新される。

#土日祝は更新されないが、前日が市場が開いていると更新される。

optionUrl='https://kabutan.jp/news/marketnews/?b=n202103010692'#都度修正、毎日

useDate='2021/3/1'#オプション取り込みの日付　　　　　　　　　　　　　　　#都度修正、毎日

useMonth=3#月限　１２月の作業はたいてい翌月である１月　　　　　　　　　　　　#都度修正、月

useTable='Table_StockOption'#テーブルは固定

print('START')

print('chrome起動')

obj=methodMysql.cGetOption()

#このURLは手動でコピペする

#BeautifulSoup版

tupleArray=obj.getOptionDataByBeautifulSoup(optionUrl)

#webdriver版

#tupleArray=obj.getOptionData(optionUrl)

a,b=tupleArray

print(a)#text

print(b)#年月日時分

path='/Users/toshiromaseda/Documents/2020年株関連/kabu_python/'

obj.outputText(path,tupleArray)

#file名は、年月日時分.txtになって保存される。

#ファイルの存在チェックで拡張子をつけてチェックする

if b.find('.txt')>=0:

pass

else:

ifile=b+'.txt'

##--

checkFlag='nashi'

files=glob.glob(path+'*.txt')

for file in files:

if ifile in file:#ファイル名を含んでいればTRUE

print(file)

checkFlag='ari'

break

else:

#print(file)

checkFlag='nashi'

if checkFlag=='nashi':

print('ファイルが存在しないか、ファイル名が間違っています')

sys.exit()

csvfile='c_'+ifile.split('.')[0]+'.csv'

methodMysql.checkFile(ifile)#check 取り込み済みのファイルかどうかを調べる

try:

ofile=open(csvfile,'tw')

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません", e)

#print("強制終了")

sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

try:#ファイルが存在しないときのエラー処理try

with open(ifile,'tr') as fin:

for iline in fin:

#ilineに、”コール”、”出来高”の文字がある行は無視するようにする

#countで探すか　1行目、2行目は不要なのでDBにインサートしないための処理

if iline.count('コール')>=1 or iline.count('出来高')>=1:

continue#以下は実行されない

if len(iline)==1:#1文字は改行コードだろうから何もしない

continue

try:

ofile.write(methodMysql.outMojiMKIII(iline)+'\n')#MKIII改良版2020/12/18

#次はMysqlに直接インサートするバージョンを作業する

except Exception:

print("do not")

ofile.close()

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません。パス、ファイル名を確認してください", e)

ofile.close()

print("強制終了")

sys._exit()#ファイルがなければ終了 #tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

#CSVからMysqlへ　CSVファイルがないと実行できない。重複チェックなし

#csvToMysql(difileはCSVファイル名,dtablename、doptionDate日付、dmonth月限)

#テスト用テーブルTest_Table_StockOption

print("csvtoMysql")

methodMysql.csvToMysql(csvfile,useTable,useDate,useMonth)

#Testが終わったら試す。単独実行可能但し、ファイルの移動先チェックがないので、他で移動がないことをチェックする必要あり

methodMysql.fileMove(ifile,'./option_python_execute')

methodMysql.fileMove(csvfile,'./option_python_execute')

#表、グラフを出力する単独実行可能

##methodMysql.selectMysql('Table_StockOption')

print("終わりました。")

print('+++++++')

print('chrome終了')

print('END')

'''

mysql> mysql> SELECT SUM(Volume1) as callVolume1, ExercisePrice, SUM(Volume2) as putVolume2

FROM Table_StockOption WHERE Month=3 GROUP BY ExercisePrice ORDER BY Exerce Desc;

'''

#先物オプションテキストコピペ　2021/02/28
class cGetOption():
    def __init__(self):
        pass

    def returnDriver(self,lurl):
        # 仮想ブラウザ起動、URL先のサイトにアクセス
        driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする
        #他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい
        url=lurl
        driver.get(url)
        mydriver=driver
        return mydriver
    #BeautifulSoup版はクロムは起動しない
    def getOptionDataByBeautifulSoup(self,lurl):#BeautifulSoup対応版、別途Importが必要、2021/03/01
        target_url = lurl
        r = requests.get(target_url)         #requestsを使って、webから取得
        soup = BeautifulSoup(r.text, 'lxml') #要素を抽出
        shijyounews=soup.find(id="shijyounews")#id
        article=shijyounews.find("article")#tag
        tagTime=article.find("time")#tag
        mono=article.find(class_="mono")#class

        print("BeautifulSoup")
        #print(mono.text)
        outputFileName=tagTime.text#年月日時分
        #ここに処理を入れる。
        #2021/03/01
        findFirstStr='コール　　　　　　プット'#を探して
        findSecondStr='株探ニュース'#の前までを取得する
        findFirstPosition=mono.text.find(findFirstStr)
        findSecondPosition=mono.text.find(findSecondStr)
        if(findFirstPosition&gt;=0 and findSecondPosition&gt;=0):
            print('search success.')
            outputText=mono.text[findFirstPosition:findSecondPosition]
        else:
            print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')
            sys.exit()       

        output=()#初期化
        output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。
        time.sleep(1)       
        return output

    #webdriver版は、クロムが起動する。こっちは文字の先頭に空白を自動で削除する。この処理がよいときもあるが、今回は空白が必要だったのでB4にした
    def getOptionData(self,lurl):
        driver=self.returnDriver(lurl)
        time.sleep(1)
        #tag,id,css
        main = driver.find_element_by_id("wrapper_main")
        container=main.find_element_by_id("container")
        container_main=container.find_element_by_id("main")
        shijyounews=container_main.find_element_by_id("shijyounews")
        article=shijyounews.find_element_by_tag_name("article")

        tagTime=article.find_element_by_tag_name("time")
        mono=article.find_element_by_class_name("mono")
        #brs=mono.find_elements_by_tag_name("br")
        print(tagTime.text)
        outputFileName=tagTime.text#年月日時分
        #tagTimePosition=tagTime.text.find('日')
        #print(tagTime.text[0:tagTimePosition+1])#年月日
        #print(mono.text)

        findFirstStr='コール　　　　　　プット'#を探して
        findSecondStr='株探ニュース'#の前までを取得する
        findFirstPosition=mono.text.find(findFirstStr)
        findSecondPosition=mono.text.find(findSecondStr)
        if(findFirstPosition&gt;=0 and findSecondPosition&gt;=0):
            print('search success.')
            outputText=mono.text[findFirstPosition:findSecondPosition]
        else:
            print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')
            sys.exit()
        output=()#初期化
        output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。
        time.sleep(1)
        driver.close()#起動したウィンドウを閉じる
        return output

    def outputText(self,path,tupleArray):#ここで受け取るタプルは２つ
        #getOptionData()からテキストとファイル名をタプルを受け取る
        outputText,filename = tupleArray
        if outputText=='' or filename=='' or path=='':
            print("パスかファイル名かテキストがありませんでした。filename,outputText")
            sys.exit()
        os.chdir(path)#ディレクトリ変更
        print(os.getcwd())#ディレクトリ確認
        if filename.find('.txt')&gt;=0:
            pass
        else:
            filename+='.txt'
        try:
            ofile=open(filename,'tw') 
        except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名
           print("ファイルが見つかりません", e)
           sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい
        except Exception as e: # Exceptionは、それ以外の例外が発生した場合
           print(e) 
        
        ofile.write(outputText)
        ofile.close()

100

101

102

#先物オプションテキストコピペ　2021/02/28

class cGetOption():

def __init__(self):

pass

def returnDriver(self,lurl):

# 仮想ブラウザ起動、URL先のサイトにアクセス

driver = webdriver.Chrome('/usr/local/bin/chromedriver')#ここでエラーになったらパスが違うかchromedriverをインストールする

#他のエラーで、「unexpectedly exited. Status code was：-9」だったら、Macの場合はシステム環境設定　→　セキュリティとプライバシー　で許可すればよい

url=lurl

driver.get(url)

mydriver=driver

return mydriver

#BeautifulSoup版はクロムは起動しない

def getOptionDataByBeautifulSoup(self,lurl):#BeautifulSoup対応版、別途Importが必要、2021/03/01

target_url = lurl

r = requests.get(target_url) #requestsを使って、webから取得

soup = BeautifulSoup(r.text, 'lxml') #要素を抽出

shijyounews=soup.find(id="shijyounews")#id

article=shijyounews.find("article")#tag

tagTime=article.find("time")#tag

mono=article.find(class_="mono")#class

print("BeautifulSoup")

#print(mono.text)

outputFileName=tagTime.text#年月日時分

#ここに処理を入れる。

#2021/03/01

findFirstStr='コール　　　　　　プット'#を探して

findSecondStr='株探ニュース'#の前までを取得する

findFirstPosition=mono.text.find(findFirstStr)

findSecondPosition=mono.text.find(findSecondStr)

if(findFirstPosition>=0 and findSecondPosition>=0):

print('search success.')

outputText=mono.text[findFirstPosition:findSecondPosition]

else:

print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')

sys.exit()

output=()#初期化

output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。

time.sleep(1)

return output

#webdriver版は、クロムが起動する。こっちは文字の先頭に空白を自動で削除する。この処理がよいときもあるが、今回は空白が必要だったのでB4にした

def getOptionData(self,lurl):

driver=self.returnDriver(lurl)

time.sleep(1)

#tag,id,css

main = driver.find_element_by_id("wrapper_main")

container=main.find_element_by_id("container")

container_main=container.find_element_by_id("main")

shijyounews=container_main.find_element_by_id("shijyounews")

article=shijyounews.find_element_by_tag_name("article")

tagTime=article.find_element_by_tag_name("time")

mono=article.find_element_by_class_name("mono")

#brs=mono.find_elements_by_tag_name("br")

print(tagTime.text)

outputFileName=tagTime.text#年月日時分

#tagTimePosition=tagTime.text.find('日')

#print(tagTime.text[0:tagTimePosition+1])#年月日

#print(mono.text)

findFirstStr='コール　　　　　　プット'#を探して

findSecondStr='株探ニュース'#の前までを取得する

findFirstPosition=mono.text.find(findFirstStr)

findSecondPosition=mono.text.find(findSecondStr)

if(findFirstPosition>=0 and findSecondPosition>=0):

print('search success.')

outputText=mono.text[findFirstPosition:findSecondPosition]

else:

print('先物オプションが見つかりませんでした。URLが正しいか確認してください。')

sys.exit()

output=()#初期化

output=(outputText,outputFileName)#タプルで出力する,この時点で拡張子.txtは付記していない。

time.sleep(1)

driver.close()#起動したウィンドウを閉じる

return output

def outputText(self,path,tupleArray):#ここで受け取るタプルは２つ

#getOptionData()からテキストとファイル名をタプルを受け取る

outputText,filename = tupleArray

if outputText=='' or filename=='' or path=='':

print("パスかファイル名かテキストがありませんでした。filename,outputText")

sys.exit()

os.chdir(path)#ディレクトリ変更

print(os.getcwd())#ディレクトリ確認

if filename.find('.txt')>=0:

pass

else:

filename+='.txt'

try:

ofile=open(filename,'tw')

except FileNotFoundError as e: # FileNotFoundErrorは例外クラス名

print("ファイルが見つかりません", e)

sys._exit()#ファイルがなければ終了#tryのときは_exit()が良いらしい

except Exception as e: # Exceptionは、それ以外の例外が発生した場合

print(e)

ofile.write(outputText)

ofile.close()

こちらの記事もどうぞ

MacのBlender3.0で、pythonのpandas_datareaderを実行したらNo module namedというエラーが発生環境：MacOS、Blender3.0 Macにて、Pythonスクリプトを使用してBlende […]
Pythonを使って、株探のWEBスクレイピング環境：MacOS、Python、インターネット用途：複数の企業コードリストCSVから、企業名、 […]
Pythonを使ってヤフーファイナンス日経平均株価の時系列を取得、スクレイピング＞追記、2022/02/19、ヤフーファイナンスのデザイン変更により、Pythonスクリプト変更。 […]
Pythonを使ってヤフーファイナンス情報を取得、スクレイピング #複数企業コード対応版　企業コードから企業名と株価を取得する #Anaconda […]
python　勉強中、文字列　改行ごとに配列にしたいテストコード、2022/05/03 実際の使用するコードはこちら #python　勉強中、 […]
ボートレース公式サイトから情報を取得するスクレイピング #2021/07/07 #環境：OS：Mac,　言語python,　anaconda,　作業 […]

ピクチャ

ピクチャは海外ドラマ、漫画、英単語語呂合わせ法、アイフォンアプリ等の記事を紹介します

python スクレイピング、BeautifulSoupライブラリ

こちらの記事もどうぞ