1

Есть отсортированные значения в файле csv. Нужно убрать из них те, вероятность встретить которые, меньше определенного процента. Механизм такой. Открываем все csv из папки. У нас в качестве примера 20 значений. Из них видно, что значения 0,7; 0,8; 0,9 встречаются по 1 разу. А значения по 1,02 встречаются аж 8 раз.

Один раз из 20 значений, это 1*100/20 = 5% от всех значений. А 1,02 встречающийся 8 раз, представляет целых 8*100/20 = 40% от всех данных значений.

Нужно построить некую турнирную таблицу, где на каждый файл приходиться 10 мест, в которых 10 наиболее встречающихся значений по порядку. В нашем случае это 1,02 - 40%, 1,00 - 25%, 1,02 - 10% и т.д.

Полагаю это можно выполнить парой строк.

Потом строим графики топ 10, для каждого отдельного файла (ось х - %, у - значение) по получившимся расчетам, сохранять их в файл не надо. Кстати, а как подписать график названием файла?

import matplotlib.pyplot as plt
import matplotlib
matplotlib.style.use('ggplot')

a = r'C:/Users/II/Downloads/1/*.csv'

for f in files:
    a = pd.read_csv(f, index_col='Date', encoding='latin1')

    #

    a.plot()
    plt.show()

Пример csv:

Date,total
2015-07-27,0.7
2015-04-20,0.8
2016-03-28,0.9
2015-09-14,1.0
2015-09-14,1.0
2015-07-20,1.0
2015-11-16,1.0
2015-11-23,1.0
2016-02-22,1.01
2015-05-04,1.02
2015-05-11,1.02
2015-11-30,1.02
2016-01-25,1.02
2015-08-31,1.02
2016-02-01,1.02
2016-02-08,1.02
2015-08-24,1.02
2015-04-27,1.04
2015-12-21,1.04

Что получаем на выходе - помимо графиков, через print выводится (после или перед тем, как графики построились):

(название файла 1) - 1,01 53% 1,04 24% 1,07 15% (и так топ 10, то есть 10 значений)
(название файла 2) - ....
(название файла 3) - ....
3
  • Я не совсем понял условие - вам нужны top 10 для каждого файла или top 10 для всех файлов (объединив данные) или top X% (какой должен быть X). Укажите желаемую выборку, чтобы было понятно что вы пытаетесь сделать. Т.е. набор данных, который вы хотите получить из входных данных, указанных в вопросе. Советую прочитать как правильно задавать вопросы по Pandas 15 фев 2017 в 16:06
  • Да, так гораздо понятнее. Попробую набросать код когда освобожусь... 15 фев 2017 в 17:38
  • по поводу обучения - рекомендую tutorials и cookbook ну и конечно англоязычный StackOverflow для поиска по конкретным вопросам и примерам 15 фев 2017 в 17:49

1 ответ 1

1

В общем как-то так:

import os
import glob
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
matplotlib.style.use('ggplot')


files = glob.glob(r'D:\temp\.data\628195\*.csv')

def process_top_N(filename, N=5, pic_ext='.jpg'):
    df = pd.read_csv(filename, parse_dates=['Date'])
    res = (df.total.value_counts().iloc[:N] / len(df) * 100).round(2)
    # print result as a table
    print('Processed: [{}]'.format(filename))
    print(res.astype(str) + ' %')
    # plot a graph
    res.plot.bar(rot=0)
    pic_fn = os.path.splitext(filename)[0] + pic_ext
    plt.savefig(pic_fn)
    #plt.show()

for f in files:
    process_top_N(f, N=5)

Вывод:

Processed: [D:\temp\.data\628195\file1.csv]
1.02    42.11 %
1.00    26.32 %
1.04    10.53 %
0.80     5.26 %
0.70     5.26 %
Name: total, dtype: object
Processed: [D:\temp\.data\628195\file2.csv]
11.02    42.11 %
11.00    26.32 %
11.04    10.53 %
10.80     5.26 %
10.70     5.26 %
Name: total, dtype: object

Графики:

D:\temp.data\628195\file1.jpg:

введите сюда описание изображения

D:\temp.data\628195\file2.jpg:

введите сюда описание изображения

0

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.