Сразу оговорюсь – я не программист и изучаю Python для личных целей, поэтому прошу сильно не критиковать, если вопрос не стоил столько суеты с описанием проблемы. Общий алгоритм программы таков: 1. Парсинг нескольких сайтов с получением определённых данных и запись их в csv-формате (в дальнейшем – файлы: ‘RP.csv’, ‘TF.csv’, ‘ATR.csv’ и ‘BF.csv’). 2. Обработка полученных файлов с помощью Pandas и создание сводного csv-файла, в котором собраны нужные мне данные. 3. Проведение определённых арифметических операций со сводным файлом, в результате которых при соответствии некоторым критериям определённые строки записываются в ещё один, уже итоговый файл. В данный момент первый этап выполнен полностью, но возникла проблема при создании сводного файла. Создаваемые в первом пункте csv-файлы имеют следующий формат данных (количество строк намного больше, я привёл фрагмент для понимания сути; столбцы указаны все):
Файл № 1 (‘RP.csv’):
Date, Course, Time, Horse, OddsRP
2018-08-09, Yarmouth, 1:50, Wait A Minute, 3.7
2018-08-09, Yarmouth, 1:50, Stout O’hara, 4.5
2018-08-09, Yarmouth, 1:50, Dusty, 5.5
2018-08-09, Yarmouth, 1:50, General Jack, 7.0
2018-08-09, Yarmouth, 2:20, Marhaba Milliar, 2.5
2018-08-09, Yarmouth, 2:20, Fanaar, 2.88
2018-08-09, Yarmouth, 2:20, Stakeholder, 8.0
2018-08-09, Yarmouth, 2:20, Barys, 11.0
2018-08-09, Brighton, 2:00, King Crimson, 3.75
2018-08-09, Brighton, 2:00, Big Lachie, 4.5
2018-08-09, Brighton, 2:00, Wiley Post, 5.0
2018-08-09, Brighton, 2:00, Entertaining Ben, 6.0
2018-08-09, Brighton, 2:00, Red Alert, 7.5
2018-08-09, Brighton, 2:30, Topmeup, 3.5
2018-08-09, Brighton, 2:30, Time Medicean, 6.0
2018-08-09, Brighton, 2:30, Seaforth, 6.5
и т.д.
Файл № 2 (‘TF.csv’):
Horse, OddsTF
Wait a Minute, 3.75
Stout O’Hara, 5.0
King Crimson, 3.5
Wiley Post, 6.0
Entertaining Ben, 7.0
Red Alert, 15.0
Time Medicean, 3.0
Seaforth, 4.33
Topmeup, 6.0
Swift Fox, 8.0
и т.д.
Остальные два файла имеют формат Файла № 2. При этом значения в колонке «HORSE» в целом по файлам совпадают (только не совпадает их порядок). Значения в колонке «ODDS» могут совпадать, а могут и нет – это в данном случае не важно.
С помощью Pandas я к первому файлу (‘RP.csv’) присоединяю значения из колонки «Odds*» из остальных файлов, привязываясь к значениям из колонки «Horse», которая, как указывалось выше, должна иметь идентичные значения:
rp = pd.read_csv('RP.csv', names=['Date', 'Course', 'Time', 'Horse', 'OddsRP'])
tf = pd.read_csv('TF.csv', names=['Horse', 'OddsTF'])
atr = pd.read_csv('ATR.csv', names=['Horse', 'OddsATR'])
bf = pd.read_csv('BF.csv', names=['Horse', 'OddsBF'])
res1 = rp.merge(tf, on='Horse')
res2 = res1.merge(atr, on='Horse')
res3 = res2.merge(bf, on='Horse')
res3.to_csv('Table.csv')
На первый взгляд получилось всё нормально, но впоследствии я обнаружил, что некоторые значения не попали в сводный файл. Затем понял в чём дело: одно и то же значение на разных сайтах может быть записано немного по-другому, обратите внимание на два первых значения в указанных файлах: «Wait A Minute» и «Wait a Minute», «Stout O’hara» и «Stout O’Hara» Также, в значении (очень редко) может отсутствовать апостроф, но во всём остальном значения написаны корректно. Есть ли возможность добиться того, чтобы при формировании сводного файла учитывались подобные моменты и указанные отличия не были препятствием для отождествления значений как идентичных и внесения их в сводный файл. Понимаю, что скорее всего нужно использовать регулярные выражения, но никак не могу понять, как они работают.
UPDATE После ответа Maxu получилось в данном виде объединить в нужном формате данные из двух датафреймов ("RP.csv" и "TF.csv"), то есть ровно то, в чём мне очень помог Maxu. Но при попытке подобным образом присоединить данные из двух других датафреймов, возникает ошибка: builtins.KeyError: 'x' в модуле "generic.py" Вот та часть кода, которая у меня не работает:
tf = pd.read_csv('TFhorsesDB.csv', names=['Horse', 'OddsTF'])
rp = pd.read_csv('RPhorsesDB.csv', names=['Date', 'Course', 'Time', 'Horse', 'OddsRP'])
atr = pd.read_csv('ATRhorsesDB.csv', names=['Horse', 'OddsATR'])
bf = pd.read_csv('BFhorsesDB.csv', names=['Horse', 'OddsBF'])
res1 = rp.assign(x=rp['Horse'].str.lower().str.replace(r'\W','')).merge(tf.assign(x=tf['Horse'].str.lower().str.replace(r'\W','')).drop('Horse',1),on='x').drop('x', axis=1)
res1.merge(atr.assign(x=atr['Horse'].str.lower().str.replace(r'\W','')).drop('Horse',1),on='x').drop('x', axis=1)
res1.merge(bf.assign(x=bf['Horse'].str.lower().str.replace(r'\W','')).drop('Horse',1),on='x').drop('x', axis=1)
res1.to_csv('Table.csv')
Из документации из "generic.py" (описание функции в коде при появлении ошибки) я понял, что проблема в несоответствии ключа, по которому объединяются последующие датафреймы, но не приложу ума, как выйти из этой ситуации. Задача данной части кода в объединении по одному значению (в данном случае это "Horse") данных из всех четырёх датафреймов, которое состоит в добавлении к кличке лошади из каждого из файлов №№ 2-4 их коэффициента (колонка "Odds*" из каждого из файлов). Если нужны дополнительные данные, отметьте это в комментариях.
"KeyError: 'x'"
- то лучше задать соответствующий новый SO вопрос. Проблема у вас возникла из-за того, что вы не совсем правильно пользуетесь решением предоставленным в ответе