Прошу совета. У меня есть большое число csv файлов с данными по котировкам (180 Гб), Вкаждом файле лежат данные за 1 день по типу ticker, цена1, цена2.
Пример: за 13082008.csv лежит:
A 1 2 3 4
A 2 2 2 2
A 3 4 5 6
B 1 1 1 1
B 2 3 3 3
C 1 1 1 1
C 1 1 1 1
Я хочу перенести данные из этих файлов в новые CSV так, чтобы у меня лежали данные по каждому тикеру. То есть по примеру у меня создадутся файлы A.csv B.csv C.csv. У меня есть решение, но оно довольно медленное, я открываю 13082008.csv, вписываю его в датафрейм, прохожусь по строкам и записываю каждую строку в нужный файл.
Не посоветуете решение, которое будет намного быстрее?
Пример моего кода:
def read_and_rewrite_options(path_out, folder, options):
import pandas as pd
import os
import csv
header = ['UnderlyingSymbol', 'UnderlyingPrice', 'Exchange', 'OptionSymbol', 'OptionExt', 'Type', 'Expiration', 'DataDate',
'Strike', 'Last', 'Bid', 'Ask', 'Volume', 'OpenInterest', 'IV', 'Delta', 'Gamma', 'Theta', 'Vega', 'AKA']
print('folder: ' + folder)
for ops in options:
data = read_l2_file(path_out + folder + '/' + ops)
for index, row in data.iterrows():
#print(row['UnderlyingSymbol'])
path = path_in + options_folder + 'options_' + row['UnderlyingSymbol'] + '.csv'
# df = df.append({'symbol' : row['symbol'], 'quotedate' : row['quotedate'], 'open' : row['open'] , 'high' : row['high'],
# 'low' : row['low'], 'close' : row['close'], 'volume' : row['volume'],
# 'adjustedclose' : row['adjustedclose']}, ignore_index = True)
if row['UnderlyingSymbol'] + '.csv' not in os.listdir(path_in + options_folder):
with open(path, 'a', newline='') as f:
writer = csv.writer(f)
writer.writerow(header)
writer.writerow(row)
else:
with open(path, 'a', newline='') as f:
writer = csv.writer(f)
writer.writerow(row)
print('options by ' + ops + ' are written')
print('---------------------------------------------')
(Тут считываю данные за месяц)