1

Сразу оговорюсь – я не программист и изучаю Python для личных целей, поэтому прошу сильно не критиковать, если вопрос не стоил столько суеты с описанием проблемы. Общий алгоритм программы таков: 1. Парсинг нескольких сайтов с получением определённых данных и запись их в csv-формате (в дальнейшем – файлы: ‘RP.csv’, ‘TF.csv’, ‘ATR.csv’ и ‘BF.csv’). 2. Обработка полученных файлов с помощью Pandas и создание сводного csv-файла, в котором собраны нужные мне данные. 3. Проведение определённых арифметических операций со сводным файлом, в результате которых при соответствии некоторым критериям определённые строки записываются в ещё один, уже итоговый файл. В данный момент первый этап выполнен полностью, но возникла проблема при создании сводного файла. Создаваемые в первом пункте csv-файлы имеют следующий формат данных (количество строк намного больше, я привёл фрагмент для понимания сути; столбцы указаны все):

Файл № 1 (‘RP.csv’):

Date,       Course,     Time,   Horse,      OddsRP
2018-08-09, Yarmouth,   1:50,   Wait A Minute,  3.7
2018-08-09, Yarmouth,   1:50,   Stout O’hara,       4.5
2018-08-09, Yarmouth,   1:50,   Dusty,          5.5
2018-08-09, Yarmouth,   1:50,   General Jack,       7.0
2018-08-09, Yarmouth,   2:20,   Marhaba Milliar,    2.5
2018-08-09, Yarmouth,   2:20,   Fanaar,     2.88
2018-08-09, Yarmouth,   2:20,   Stakeholder,        8.0
2018-08-09, Yarmouth,   2:20,   Barys,          11.0
2018-08-09, Brighton,   2:00,   King Crimson,   3.75
2018-08-09, Brighton,   2:00,   Big Lachie,     4.5
2018-08-09, Brighton,   2:00,   Wiley Post,     5.0
2018-08-09, Brighton,   2:00,   Entertaining Ben,   6.0
2018-08-09, Brighton,   2:00,   Red Alert,      7.5
2018-08-09, Brighton,   2:30,   Topmeup,        3.5
2018-08-09, Brighton,   2:30,   Time Medicean,  6.0
2018-08-09, Brighton,   2:30,   Seaforth,       6.5
и т.д.

Файл № 2 (‘TF.csv’):

Horse,      OddsTF
Wait a Minute,      3.75
Stout O’Hara,       5.0
King Crimson,   3.5
Wiley Post,     6.0
Entertaining Ben,   7.0
Red Alert,      15.0
Time Medicean,  3.0
Seaforth,       4.33
Topmeup,        6.0
Swift Fox,      8.0
    и т.д. 

Остальные два файла имеют формат Файла № 2. При этом значения в колонке «HORSE» в целом по файлам совпадают (только не совпадает их порядок). Значения в колонке «ODDS» могут совпадать, а могут и нет – это в данном случае не важно.

С помощью Pandas я к первому файлу (‘RP.csv’) присоединяю значения из колонки «Odds*» из остальных файлов, привязываясь к значениям из колонки «Horse», которая, как указывалось выше, должна иметь идентичные значения:

rp = pd.read_csv('RP.csv', names=['Date', 'Course', 'Time', 'Horse', 'OddsRP'])
tf = pd.read_csv('TF.csv', names=['Horse', 'OddsTF'])
atr = pd.read_csv('ATR.csv', names=['Horse', 'OddsATR'])
bf = pd.read_csv('BF.csv', names=['Horse', 'OddsBF'])
res1 = rp.merge(tf, on='Horse')
res2 = res1.merge(atr, on='Horse')
res3 = res2.merge(bf, on='Horse')
res3.to_csv('Table.csv')

На первый взгляд получилось всё нормально, но впоследствии я обнаружил, что некоторые значения не попали в сводный файл. Затем понял в чём дело: одно и то же значение на разных сайтах может быть записано немного по-другому, обратите внимание на два первых значения в указанных файлах: «Wait A Minute» и «Wait a Minute», «Stout O’hara» и «Stout O’Hara» Также, в значении (очень редко) может отсутствовать апостроф, но во всём остальном значения написаны корректно. Есть ли возможность добиться того, чтобы при формировании сводного файла учитывались подобные моменты и указанные отличия не были препятствием для отождествления значений как идентичных и внесения их в сводный файл. Понимаю, что скорее всего нужно использовать регулярные выражения, но никак не могу понять, как они работают.

UPDATE После ответа Maxu получилось в данном виде объединить в нужном формате данные из двух датафреймов ("RP.csv" и "TF.csv"), то есть ровно то, в чём мне очень помог Maxu. Но при попытке подобным образом присоединить данные из двух других датафреймов, возникает ошибка: builtins.KeyError: 'x' в модуле "generic.py" Вот та часть кода, которая у меня не работает:

 tf = pd.read_csv('TFhorsesDB.csv', names=['Horse', 'OddsTF'])
rp = pd.read_csv('RPhorsesDB.csv', names=['Date', 'Course', 'Time', 'Horse', 'OddsRP'])
atr = pd.read_csv('ATRhorsesDB.csv', names=['Horse', 'OddsATR'])
bf = pd.read_csv('BFhorsesDB.csv', names=['Horse', 'OddsBF'])
res1 = rp.assign(x=rp['Horse'].str.lower().str.replace(r'\W','')).merge(tf.assign(x=tf['Horse'].str.lower().str.replace(r'\W','')).drop('Horse',1),on='x').drop('x', axis=1)
res1.merge(atr.assign(x=atr['Horse'].str.lower().str.replace(r'\W','')).drop('Horse',1),on='x').drop('x', axis=1)
res1.merge(bf.assign(x=bf['Horse'].str.lower().str.replace(r'\W','')).drop('Horse',1),on='x').drop('x', axis=1)
res1.to_csv('Table.csv')

Из документации из "generic.py" (описание функции в коде при появлении ошибки) я понял, что проблема в несоответствии ключа, по которому объединяются последующие датафреймы, но не приложу ума, как выйти из этой ситуации. Задача данной части кода в объединении по одному значению (в данном случае это "Horse") данных из всех четырёх датафреймов, которое состоит в добавлении к кличке лошади из каждого из файлов №№ 2-4 их коэффициента (колонка "Odds*" из каждого из файлов). Если нужны дополнительные данные, отметьте это в комментариях.

4
  • @MaxU, всё получилось. Огромное спасибо! 14 авг 2018 в 17:00
  • Вопрос дополнен ввиду появления проблемы при добавлении новых датафреймов. 15 авг 2018 в 19:09
  • если не понимаете причину возникновения ошибки "KeyError: 'x'" - то лучше задать соответствующий новый SO вопрос. Проблема у вас возникла из-за того, что вы не совсем правильно пользуетесь решением предоставленным в ответе 15 авг 2018 в 21:15
  • @MaxU, спасибо за ответ. Утром создам новый вопрос. 15 авг 2018 в 21:17

1 ответ 1

1

Можно создать дополнительный столбец с нормализованным именем лошади и использовать его для объединения:

In [150]: (rp.assign(x=rp['Horse'].str.lower().str.replace(r'\W',''))
     ...:    .merge(tf.assign(x=tf['Horse'].str.lower().str.replace(r'\W',''))
     ...:             .drop('Horse',1),
     ...:           on='x')
     ...:    .drop('x', axis=1))
     ...:
     ...:
Out[150]:
         Date    Course  Time             Horse  OddsRP  OddsTF
0  2018-08-09  Yarmouth  1:50     Wait A Minute    3.70    3.75
1  2018-08-09  Yarmouth  1:50      Stout O’hara    4.50    5.00
2  2018-08-09  Brighton  2:00      King Crimson    3.75    3.50
3  2018-08-09  Brighton  2:00        Wiley Post    5.00    6.00
4  2018-08-09  Brighton  2:00  Entertaining Ben    6.00    7.00
5  2018-08-09  Brighton  2:00         Red Alert    7.50   15.00
6  2018-08-09  Brighton  2:30           Topmeup    3.50    6.00
7  2018-08-09  Brighton  2:30     Time Medicean    6.00    3.00
8  2018-08-09  Brighton  2:30          Seaforth    6.50    4.33

пример нормализованного столбца x:

In [118]: rp.assign(x=rp['Horse'].str.lower().str.replace(r'\W',''))
Out[118]:
          Date    Course  Time             Horse  OddsRP                x
0   2018-08-09  Yarmouth  1:50     Wait A Minute    3.70      waitaminute
1   2018-08-09  Yarmouth  1:50      Stout O’hara    4.50       stoutohara
2   2018-08-09  Yarmouth  1:50             Dusty    5.50            dusty
3   2018-08-09  Yarmouth  1:50      General Jack    7.00      generaljack
4   2018-08-09  Yarmouth  2:20   Marhaba Milliar    2.50   marhabamilliar
5   2018-08-09  Yarmouth  2:20            Fanaar    2.88           fanaar
6   2018-08-09  Yarmouth  2:20       Stakeholder    8.00      stakeholder
..         ...       ...   ...               ...     ...              ...
9   2018-08-09  Brighton  2:00        Big Lachie    4.50        biglachie
10  2018-08-09  Brighton  2:00        Wiley Post    5.00        wileypost
11  2018-08-09  Brighton  2:00  Entertaining Ben    6.00  entertainingben
12  2018-08-09  Brighton  2:00         Red Alert    7.50         redalert
13  2018-08-09  Brighton  2:30           Topmeup    3.50          topmeup
14  2018-08-09  Brighton  2:30     Time Medicean    6.00     timemedicean
15  2018-08-09  Brighton  2:30          Seaforth    6.50         seaforth

[16 rows x 6 columns]

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.