2

уважаемые гуру!
Опять вынужден прибегнуть к вашей помощи.
Имеется файл ексель который я получаю с одной программы (ссылку на фрагмент образца файла прилагаю). http://www.filedropper.com/file_224
Необходимо его распарсить. В конечном итоге хочу получить три датафрейма (Группа № 1,Группа № 2, Группа №3)вида:

Группа № 1  
Компонент               Реальный груз (кг)          Различие погрузки (%)   
Ингредиент 1              66,00                     0,0   
Ингредиент 2             4,00                       0,0  
Ингредиент 3             118,00                    -4,8  
Ингредиент 4             234,00                    -3,5  
Ингредиент 5             748,00                    -0,8  



Группа № 2  
Компонент               Реальный груз (кг)          Различие погрузки (%)   
Ингредиент 1             28,00                      -6,7  
Ингредиент 2             434,00                     -0,5  
Ингредиент 3             1996,00                     -0,2  

Группа №3 аналогична первым двум.

Заранее известно что в Группа № 1 должны попасть данные (компонент, реальный груз и различие погрузки) о ингредиентах из Рецепт 1 и Рецепт 3 , в Группа № 2 данные из Рецепт 2 и Рецепт 5 а в Группа № 3 данные из Рецепта 6,7,8 . У ингредиентов с одинаковым названием в группе реальный груз должен суммироваться .

У меня получилось только выбрать с файла все ингредиенты, данные о грузе и % погрузки и проссумировать,получаю датафрейм вида:

     Компонент  Различие погрузки (%)   Реальный груз (кг)  
0  Ингредиент 1       -84.203980                364.0  
1  Ингредиент 2        14.101531                 860.0  
2  Ингредиент 3       -94.299205                996.0  
3  Ингредиент 4         14.0            365.0  
4  Ингредиент 5        20.0                         44.0  
5  Ингредиент 6       10.517613                 892.0  
6  Ингредиент 7       -2.164664                 1618.0  
7  Ингредиент 8       -15.288221                286.0  
8  Ингредиент 9        -4.218648                2756.0  
9  Ингредиент 10      -0.882444                 904.0  

А как это дело привязать к рецептам не знаю :(. Что то подсказывает что нужно использовать регулярные выражения. Типа,ищем строку рецепт, сверяем ее с ранее созданными списком для рецептов, выбираем все и добавляем в группу номер такой то пока опять не встретиться слово рецепт и т.д. Но как реализовать не знаю, или может есть более элегантный способ.

3
  • ох, неблагодарное это дело парсить такие (без структуры) файлы. Что-нибудь поменяется и все сломалось... 30 окт 2018 в 17:55
  • MaxU, я это понимаю, но имеем то что имеем :) По идее в файле может поменяться только количество рецептов и количество ингредиентов в рецептах. Альтернативного варианта решения задачи я не вижу :(
    – Andrey
    31 окт 2018 в 6:19
  • MaxU, спасибо за помощь!!! Ваш код работает так как мне нужно! Осталось разобраться как :), есть пару новых слов :) . Еще раз БОЛЬШОЕ СПАСИБО!
    – Andrey
    1 ноя 2018 в 6:40

1 ответ 1

2

Решение:

import re
import pandas as pd
from itertools import zip_longest

def find_idx(s, pat='^Рецепт:\s+'):
    x = s.dropna().astype(str).str.contains(pat)
    return x[x].index

def parse_recipe(df, hdr_pat='Компонент', 
                 rcp_pat='^Рецепт:\s+', rcp_col=None):
    recipe = re.sub(rcp_pat, '', df.at[df.index[0], rcp_col])
    x = df[df.eq(hdr_pat)].dropna(how='all').dropna(axis=1)
    hdr_idx = x.index[0]
    col_idx = (df.columns == x.columns[0]).argmax()
    cols = df.loc[hdr_idx, df.columns[col_idx:]].tolist()
    return (pd.DataFrame(df.loc[hdr_idx+1:, df.columns[col_idx:]].values,
                         columns=cols)
              .dropna(axis=1, how='all')
              .assign(Рецепт=recipe))


df = pd.read_excel(fn).dropna(how='all').dropna(axis=1,how='all')

pat='^Рецепт:\s+'

# index of column containing 'Рецепт: Рецепт ...' _after_ dropping NaN columns
recipe_col = (df.apply(lambda c: c.dropna().astype(str).str.contains(pat))
                .sum().gt(0).idxmax())

# indices of rows containing 'Рецепт: Рецепт ...'
ix = find_idx(df.loc[:, recipe_col], pat=pat)

recipes = [parse_recipe(df.loc[slice(s,e-1 if e else None)],
                        hdr_pat='Компонент',
                        rcp_pat='^Рецепт:\s+',
                        rcp_col=recipe_col)
           for s,e in zip_longest(ix, ix[1:])]

Результат:

In [271]: recipes
Out[271]:
[      Компонент Запрограммированный от PC (кг) Измененный на весах (кг)    ...    Повтор взвешивания Длина операции    Рецепт
 0  Ингридиент 1                         65.616                       66    ...                     1     0h 0' 29''  Рецепт 1
 1   Игридиент 2                          4.101                        4    ...                     1     0h 0' 53''  Рецепт 1
 2   Игридиент 3                         123.03                      124    ...                     1     0h 0' 49''  Рецепт 1
 3   Игридиент 4                        226.867                      226    ...                     1     0h 2' 43''  Рецепт 1
 4   Игридиент 5                        754.584                      754    ...                     2     0h 1' 15''  Рецепт 1

 [5 rows x 9 columns],
      Компонент Запрограммированный от PC (кг) Измененный на весах (кг)    ...    Повтор взвешивания Длина операции    Рецепт
 0  Игридиент 1                        29.1744                       30    ...                     1     0h 0' 23''  Рецепт 2
 1  Игридиент 2                        437.616                      436    ...                     2     0h 1' 40''  Рецепт 2
 2  Игридиент 3                        2008.54                     2000    ...                     2      0h 4' 2''  Рецепт 2

 [3 rows x 9 columns],
       Компонент Запрограммированный от PC (кг) Измененный на весах (кг)    ...    Повтор взвешивания Длина операции    Рецепт
 0   Игридиент 1                        41.5692                       42    ...                     1     0h 0' 24''  Рецепт 1
 1  Игридиент 2                         420.951                      420    ...                     1     0h 1' 45''  Рецепт 1
 2   Игридиент 3                        59.3845                       60    ...                     1     0h 0' 42''  Рецепт 1
 3   Игридиент 4                         190.03                      190    ...                     1     0h 0' 52''  Рецепт 1
 4   Игридиент 5                        59.3845                       60    ...                     2     0h 1' 17''  Рецепт 1
 5   Игридиент 6                        268.757                      268    ...                     1     0h 3' 27''  Рецепт 1
 6   Игридиент 7                        1935.93                     1928    ...                     1     0h 2' 19''  Рецепт 1
 7   Игридиент 8                        118.769                      118    ...                     1      0h 0' 1''  Рецепт 1

 [8 rows x 9 columns],
      Компонент Запрограммированный от PC (кг) Измененный на весах (кг)    ...    Повтор взвешивания Длина операции    Рецепт
 0  Игридиент 1                        42.8897                       42    ...                     1     0h 0' 31''  Рецепт 3
 1  Игридиент 2                        434.324                      434    ...                     2     0h 1' 44''  Рецепт 3
 2  Игридиент 3                         61.271                       62    ...                     1      0h 1' 6''  Рецепт 3
 3  Игридиент 4                        196.067                      196    ...                     1      0h 1' 2''  Рецепт 3
 4  Игридиент 5                         61.271                       62    ...                     3     0h 1' 27''  Рецепт 3
 5  Игридиент 6                        277.295                      278    ...                     1     0h 2' 50''  Рецепт 3
 6  Игридиент 4                        1997.43                     1996    ...                     1      0h 2' 7''  Рецепт 3
 7  Игридиент 8                        122.542                      122    ...                     1      0h 0' 1''  Рецепт 3

 [8 rows x 9 columns]]

один рецепт:

In [272]: recipes[0]
Out[272]:
      Компонент Запрограммированный от PC (кг) Измененный на весах (кг)    ...    Повтор взвешивания Длина операции    Рецепт
0  Ингридиент 1                         65.616                       66    ...                     1     0h 0' 29''  Рецепт 1
1   Игридиент 2                          4.101                        4    ...                     1     0h 0' 53''  Рецепт 1
2   Игридиент 3                         123.03                      124    ...                     1     0h 0' 49''  Рецепт 1
3   Игридиент 4                        226.867                      226    ...                     1     0h 2' 43''  Рецепт 1
4   Игридиент 5                        754.584                      754    ...                     2     0h 1' 15''  Рецепт 1

[5 rows x 9 columns]

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.