【プロ野球スクレイピング】年次データを抽出しExcelに出力　全選手、全年のデータを1つのファイルにまとめる

# -------------------------------------投手のデータを一括で取得します------------------------
import numpy
import pandas as pd
#import matplotlib.pylab as plt

#urlをリスト形式で取得
df_all = []
#各要素に各年のデータが入る(執筆時点では2020年が最新)
# 2020年から2008年まで
years = range(20,8,-1)
urls = []
#URLを入力：最新年度だけ命名規則が違う
for year in years:
    if(year==20):
        urls.append('####サイトのULRを入力してください。######')
    else:
        # http://baseball-data.com/'+ "{0:02d}".format(year)+'/stats/pitcher-all/era-1.html
        urls.append('#####')
year=20
#--------------------------データをURLから取得-------------------------------------------
for url in urls:
    print('取得URL：'+url)
    df = pd.io.html.read_html(url)
    df = df[0]
    df_all.append(df)
    year=year - 1 
    file_path="new_" + str(year)+"_npb_pichar.csv"
    df.to_csv(file_path,encoding="cp932",index=None)

df_all = []
year = 20
for url in urls:
    year=year -1 
    file_path= "new_" + str(year)+"_npb_pichar.csv"
    df=pd.read_csv(file_path,encoding="cp932")
    df = df.drop([0])
    df["year"] = str(20) + str(year)
    df_all.append(df)
    print('読み込んだファイル：'+file_path)
    df.to_csv(file_path,encoding="cp932",index=None)

df_result = pd.DataFrame(df_result)
del df_result["順位"]
df_result = df_result.sort_values(["チーム","選手名","year"])
df_result

# チームごとのCSVファイルを作成する
for team , sdf in df.groupby('チーム'):
    file_path = team + "_pichar.csv"
    print(i)
    print(sdf)
    sdf.to_csv(file_path,encoding="cp932",index = False,columns = ind_list)

# 選手名を重複なく抽出し、CSVファイルを作成
df_all = []
name_list = []
dic = {}
for year in range(19,8, -1):
    file_path="new_" + str(year)+"_npb_personaldata.csv"
    df = pd.read_csv(file_path,encoding="cp932")
    df = df.drop([0])
    for i in range(1, len(df)):
        player_name = df['選手名'][i]
        name_list.append(player_name)
# 重複を削除する
name_list = set(name_list)
file_path="npb_personaldata_name.csv"
name_list = pd.DataFrame(name_list,columns=["選手名"])
name_list.to_csv(file_path,encoding="cp932",index = None)

df_name = pd.read_csv("npb_personaldata_name.csv", encoding = "cp932")
df_name
df_result = []
    # 選手名のリストをインポート
    #print(df_name["選手名"][i])
    # 年度ごとのファイルをインポート
    
for year in range(19,8, -1):
    file_path="new_" + str(year)+"_npb_personaldata.csv"
    df = pd.read_csv(file_path,encoding="cp932")
    for i in range(1, len(df_name)):
        player_name = df_name['選手名'][i]
            
   
        for j in range(1, len(df)):
            if player_name == df['選手名'][j]:
                # print(df[player_name])
                df_result.append(df.loc[j])
                break
                    
            else:
                continue
        print(str(year) + player_name + "のデータ抽出が終わりました")