4

Прошу совета. У меня есть большое число csv файлов с данными по котировкам (180 Гб), Вкаждом файле лежат данные за 1 день по типу ticker, цена1, цена2.
Пример: за 13082008.csv лежит:

A 1 2 3 4
A 2 2 2 2
A 3 4 5 6
B 1 1 1 1
B 2 3 3 3
C 1 1 1 1
C 1 1 1 1

Я хочу перенести данные из этих файлов в новые CSV так, чтобы у меня лежали данные по каждому тикеру. То есть по примеру у меня создадутся файлы A.csv B.csv C.csv. У меня есть решение, но оно довольно медленное, я открываю 13082008.csv, вписываю его в датафрейм, прохожусь по строкам и записываю каждую строку в нужный файл.

Не посоветуете решение, которое будет намного быстрее?

Пример моего кода:

def read_and_rewrite_options(path_out, folder, options):

import pandas as pd
import os
import csv   
header = ['UnderlyingSymbol', 'UnderlyingPrice', 'Exchange', 'OptionSymbol', 'OptionExt', 'Type', 'Expiration', 'DataDate', 
                  'Strike', 'Last', 'Bid', 'Ask', 'Volume', 'OpenInterest', 'IV', 'Delta', 'Gamma', 'Theta', 'Vega', 'AKA']
print('folder: ' + folder)
for ops in options:
    data = read_l2_file(path_out + folder + '/' + ops)
    for index, row in data.iterrows():
        #print(row['UnderlyingSymbol'])
        path = path_in + options_folder + 'options_' + row['UnderlyingSymbol'] + '.csv'
                  # df = df.append({'symbol' : row['symbol'], 'quotedate' : row['quotedate'], 'open' : row['open'] , 'high' : row['high'], 
       #                 'low' : row['low'], 'close' : row['close'], 'volume' : row['volume'], 
       #                 'adjustedclose' : row['adjustedclose']}, ignore_index = True)
        if row['UnderlyingSymbol'] + '.csv' not in os.listdir(path_in + options_folder):    
            with open(path, 'a', newline='') as f:
                writer = csv.writer(f)
                writer.writerow(header)
                writer.writerow(row)
        else:
             with open(path, 'a', newline='') as f:
                writer = csv.writer(f)
                writer.writerow(row)
    print('options by ' + ops + ' are written')
print('---------------------------------------------')

(Тут считываю данные за месяц)

7
  • Превый столбец в приведенном датасете - это "ticker"? 29 июл 2019 в 12:22
  • 5
    Загоните данные в любую БД (дата-ticker-номер_цены-цена) или (дата-ticker-цена1-цена2-...), а потом выгрузите в требуемой форме. Чес-слово, и быстрее, и проще будет... а, может, и нафиг не нужно обратно в CSV, прямо с БД работать?
    – Akina
    29 июл 2019 в 12:25
  • MaxU, верно, первый столбец тикер
    – Илья
    29 июл 2019 в 12:30
  • Akina, нет возможности работать с бд
    – Илья
    29 июл 2019 в 12:32
  • В лоб через grep не пробовали?)
    – eri
    29 июл 2019 в 12:42

3 ответа 3

4

Мне кажется @Akina дал очень дельный совет - можно сохранить все данные в одну SQL таблицу с индексами ("date", "symbol") и далее выбирать по индексу нужные данные.

Это можно сделать приблизительно так:

import pandas as pd
from sqlalchemy import create_engine
from pathlib import Path

engine = create_engine('sqlite:///c:/temp/stock.db')
conn = engine.connect()

path = Path(r"/path/to/data_directory")

for f in path.glob("*.csv"):
    df = pd.read_csv(f, ...)
    df.set_index(["Date", "Symbol"]).to_sql("stocks", conn, if_exists="append", index=True)

после этого вы можете читать данные следующим образом:

df = pd.read_sql("select * from stocks where symbol == 'AAPL'", conn)

PS вместо SQLite можно использовать любую БД, которую поддерживает SQL Alchemy.


рабочий пример с данными из Yahoo Finance:

import pandas as pd
import pandas_datareader.data as web
from sqlalchemy import create_engine

engine = create_engine('sqlite:///c:/temp/stocks.db')
conn = engine.connect()

f = web.DataReader(['IBM', 'GOOG', 'AAPL'], 'yahoo', '2001-01-01', '2019-01-01')

получим следующий датасет:

In [42]: f.stack()
Out[42]:
Attributes                 High          Low         Open        Close       Volume    Adj Close
Date       Symbols
2001-01-02 AAPL        1.089286     1.040179     1.062500     1.062500  113078000.0     0.930781
           IBM        87.500000    84.125000    84.500000    84.812500    8007200.0    57.459831
2001-01-03 AAPL        1.191964     1.031250     1.035714     1.169643  204268400.0     1.024641
           IBM        95.000000    83.750000    83.750000    94.625000   12769900.0    64.107704
2001-01-04 AAPL        1.321429     1.200893     1.295759     1.218750  184849000.0     1.067660
           IBM        99.750000    92.687500    94.750000    93.187500   15420500.0    63.133808
2001-01-05 AAPL        1.241071     1.147321     1.209821     1.169643  103089000.0     1.024641
...                         ...          ...          ...          ...          ...          ...
2018-12-27 IBM       113.779999   109.470001   109.989998   113.779999    6045600.0   111.149292
2018-12-28 AAPL      158.520004   154.550003   157.500000   156.229996   42291400.0   154.966034
           GOOG     1055.560059  1033.099976  1049.619995  1037.079956    1414800.0  1037.079956
           IBM       114.800003   112.500000   114.220001   113.029999    5117500.0   110.416634
2018-12-31 AAPL      159.360001   156.479996   158.529999   157.740005   35003500.0   156.463837
           GOOG     1052.699951  1023.590027  1050.959961  1035.609985    1493300.0  1035.609985
           IBM       114.349998   112.419998   113.330002   113.669998    4982800.0   111.041840

запишем его в SQLite DB:

f.stack().to_sql("stock", conn, if_exists="append", index=True)
conn.close()

выбираем данные по индексу из БД:

engine = create_engine('sqlite:///c:/temp/stocks.db')
conn = engine.connect()

df = pd.read_sql("select * from stock where symbols == 'AAPL' and date between '2018-01-01' and '2018-12-31'", conn)

результат:

In [46]: df
Out[46]:
                           Date Symbols        High         Low        Open       Close      Volume   Adj Close
0    2018-01-02 00:00:00.000000    AAPL  172.300003  169.259995  170.160004  172.259995  25555900.0  168.339050
1    2018-01-03 00:00:00.000000    AAPL  174.550003  171.960007  172.529999  172.229996  29517900.0  168.309738
2    2018-01-04 00:00:00.000000    AAPL  173.470001  172.080002  172.539993  173.029999  22434600.0  169.091522
3    2018-01-05 00:00:00.000000    AAPL  175.369995  173.050003  173.440002  175.000000  23660000.0  171.016678
4    2018-01-08 00:00:00.000000    AAPL  175.610001  173.929993  174.350006  174.350006  20567800.0  170.381485
5    2018-01-09 00:00:00.000000    AAPL  175.059998  173.410004  174.550003  174.330002  21584000.0  170.361954
6    2018-01-10 00:00:00.000000    AAPL  174.300003  173.000000  173.160004  174.289993  23959900.0  170.322845
..                          ...     ...         ...         ...         ...         ...         ...         ...
243  2018-12-19 00:00:00.000000    AAPL  167.449997  159.089996  166.000000  160.889999  49047300.0  159.588348
244  2018-12-20 00:00:00.000000    AAPL  162.110001  155.300003  160.399994  156.830002  64773000.0  155.561188
245  2018-12-21 00:00:00.000000    AAPL  158.160004  149.630005  156.860001  150.729996  95744600.0  149.510544
246  2018-12-24 00:00:00.000000    AAPL  151.550003  146.589996  148.149994  146.830002  37169200.0  145.642090
247  2018-12-26 00:00:00.000000    AAPL  157.229996  146.720001  148.300003  157.169998  58582500.0  155.898438
248  2018-12-27 00:00:00.000000    AAPL  156.770004  150.070007  155.839996  156.149994  53117100.0  154.886688
249  2018-12-28 00:00:00.000000    AAPL  158.520004  154.550003  157.500000  156.229996  42291400.0  154.966034

[250 rows x 8 columns]
1

Решение в лоб через grep. Бысрее наверное только в индексируемой БД:

grep -rh "^A" /path/with/csv/ > A.csv
4
  • Для windows не подойдет?
    – Илья
    29 июл 2019 в 12:50
  • gnuwin32.sourceforge.net/packages/grep.htm попробуй, только пайпы в cmd подругому
    – eri
    29 июл 2019 в 12:51
  • хорошо, спасибо)
    – Илья
    29 июл 2019 в 12:53
  • можно попробовать findstr /M виндовый аналог
    – eri
    29 июл 2019 в 12:53
1

Я не настоящий сварщик, но если условие без использования БД, вот мой вариант фильтрации силами только pandas:

import pandas as pd

if __name__ == '__main__':
    files = ['1.csv', '2.csv', ...]
    chunksize = 10 ** 6
    for file in files:
        for chunk in pd.read_csv(file, chunksize=chunksize, header=None,
                                 delimiter=' ',
                                 names=['ticker', 'num1', 'num2', 'num3', 'num4']):
            tickers = chunk.ticker.unique()
            for ticker in tickers:
                target = chunk[chunk.ticker == ticker]
                target.to_csv(f'out/{ticker}.csv', mode='a',
                          header=False, index=False, sep=' ')

За исходный формат взят формат файла в вопросе. chunksize настраивается в зависимости от доступной памяти, можно и без него, если все исходные файлы небольшие по размеру. Тогда просто chunk = pd.read_csv(...) и дальше по коду без изменений.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.