1

Задача - открыть все CSV файлы в папке и применить к ним for.

Код внизу не работает. На выходе должен получиться большой список print из всех CSV лежащих в папке data.

import pandas as pd
from pathlib import Path

def fun(filename):

    df = [fun(f) for f in Path("/data/").glob("*.csv")]
    df.columns = ['Date', 'Time', 'Close']

    close_l = list(df['Close'].values)

    for i in range(df):
        close = close_l[i]

        if close > 26:
             print(close *10)   

Результат:

Date, Time, Close

файл 1

2020.06.01 190016 22
2020.06.01 190017 30
2020.06.01 190018 30

файл 2

2020.06.01 190016 28
2020.06.01 190017 28
2020.06.01 190018 24

файл 3

2020.06.01 190016 29
2020.06.01 190017 22
2020.06.01 190018 29

Результат вывода:

300
300
...
280
280
...
290
290

это 3 файла, где в столбце df['Close'] были значения больше 26. На выходе после умножения на 10 каждой строки вышел такой пример.


Пример файла.

3
  • Сейчас у вас что-то совсем не так: вы вызываете функцию fun из самой себя. Надо делать цикл снаружи функции и вызывать её снаружи. И я не вижу df = pd.read_csv(filename)
    – CrazyElf
    4 окт 2020 в 14:17
  • 1
    На будущее - в вопросах об обработке табличных данных надо максимально четко и подробно формулировать вопросы и избегать расплывчатых формулировок. Оптимальное решение зависит от множества деталей. Например мы не видим из вопроса что будет происходить в функции. Что она будет возвращать? Если векток/список значений то будет одно решение, если матрицу/DataFrame, то и решение будет другим. И т.д. и т.п. К сожалению серебрянной пули не бывает! 4 окт 2020 в 14:25
  • 1
    @Nikolay_Smirnov, когда вопрос понятный с примерами данных и результатом, то и ответ не заставит себя долго ждать. Но как я уже сказал раньше - все дело в деталях. Т.е. не факт, что мой ответ подойдет для вашей реальной задачи... 4 окт 2020 в 14:38

2 ответа 2

2

Пример медленной (невекторизированной) функции, которая будет итерироваться по строкам каждого CSV файла и печатать на экран:

def fun(filename, **kwargs):
    df = pd.read_csv(
        filename, header=None, names=["Date", "Time", "Close"], **kwargs)
    for idx, row in df.iterrows():
        if row["Close"] > 26:
            print(row["Close"] *10)

_ = [fun(f, delim_whitespace=True) for f in Path(r"C:\temp\data").glob("*.csv")]

вывод:

300
300
280
280
290
290
2
def fun(
        filename,
        names=["Date", "Time", "Close"],
        col="Close",
        threshold=26,
        mult_factor=10,
        **args):
    res = (pd.read_csv(filename, header=None, names=names, **args)
             .query(f"{col} > @threshold")
             [col] * mult_factor)
    return res
    
res = pd.concat([fun(f, threshold=26, mult_factor=10, delim_whitespace=True)
                 for f in Path(r"C:\temp\data").glob("*.csv")],
                ignore_index=True)

результат:

In [263]: res
Out[263]:
0    300
1    300
2    280
3    280
4    290
5    290
Name: Close, dtype: int64

In [264]: res.to_list()
Out[264]: [300, 300, 280, 280, 290, 290]

In [265]: res.to_list()
Out[265]: [300, 300, 280, 280, 290, 290]
4
  • @Nikolay_Smirnov, не, я здаюсь - я потратил около 40 минут на выуживание у вас подробностей и ~4 минуты на решение. Сейчас оказывается, что результат, который вы привели в вопросе - не тот результат, который вам нужен на самом деле?? 4 окт 2020 в 14:53
  • @Nikolay_Smirnov, не понял, что я переписал? 4 окт 2020 в 14:54
  • @Nikolay_Smirnov, ну а это тогда что? ;) 4 окт 2020 в 14:59
  • @Nikolay_Smirnov, идеологически я стараюсь не писать функции, которые в качестве вывода - печатают на экран. В этом случае я предпочитаю вернуть результат из функции и потом уже отдельно его распечатать если нужно... Если ваша функция будет просто выводить на печатать, то вам больше подойдет ответ на предыдущий вопрос 4 окт 2020 в 15:08

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.