4

Вот более проработанный пример. Опишу ситуацию более подробно и детально.
Измеряем СО в воздухе, получаем концентрацию (x) каждый час. сморим где были воздушные массы (ВМ) за последние 4 часа. например:

№ Lat-lon 
1 158-48
2 158-48
3 158-48
4 158-49

каждое вхождение это 1 час, т.е. в 158-48 воздушные массы были 3 часа, а в 158-49 1 час.

Исходные данные имеют несколько траекторий например 2, разделяются они по 1000, мы получаем их в таком виде:

1001 158-48
1002 158-48
1003 158-48
1004 158-49
2001 158-48
2002 158-48
2003 158-49
2004 158-50

Задача: узнать Взвешенное среднее для каждой Lat-lon, по логике чем дольше была в грязном районе, тем выше средне взвешенное. пример данных, собираются с нескольких файлов: testes.txt:

Data time concentration trai lat-lon 
03-07-2019 15:00 2.3 1001 158-48
03-07-2019 15:00 2.3 1002 158-48
03-07-2019 15:00 2.3 1003 158-48
03-07-2019 15:00 2.3 1004 158-49
03-07-2019 15:00 2.3 2001 158-48
03-07-2019 15:00 2.3 2002 158-48
03-07-2019 15:00 2.3 2003 158-49
03-07-2019 15:00 2.3 2004 158-50
03-07-2019 16:00 3.4 1001 158-48
03-07-2019 16:00 3.4 1002 158-49
03-07-2019 16:00 3.4 1003 158-49
03-07-2019 16:00 3.4 1004 158-48
03-07-2019 16:00 3.4 2001 158-48
03-07-2019 16:00 3.4 2002 158-49
03-07-2019 16:00 3.4 2003 158-49
03-07-2019 16:00 3.4 2004 158-50

Весом в данной ситуации является число вхождений Lat-lon в trai.

Вот код с применением Pandas (взят из интернета), но я ничего в нем не пойму. Если есть возможность, объясните пожалуйста что куда, пока результат не получается корректным. Я понимаю, что скорее всего проблема в нормальном написании функции lambda:

import pandas as pd
import numpy as np
df = pd.read_csv('testes.txt'," ")
df['trai_group']=1
for i in range (0,len(df)):
    df['trai_group'][i]=(df['trai'][i])/1000
df
#Define a lambda function to compute the weighted mean:
wm = lambda x: np.average(x, weights=df.loc[x.index, "concentration"])
# Define a dictionary with the functions to apply for a given column:
f = {'concentration': ['sum'], 'trai_group': {'weighted_mean' : wm} }
# Groupby and aggregate with your dictionary:
df.groupby("lat-lon").agg(f) # adjusted_lots price sum weighted_mean

Вот сама таблица:

Data    time    concentration   trai    lat-lon Unnamed: 5  trai_group
0   03-07-2019  15:00   2.3 1001    158-48  NaN 1
1   03-07-2019  15:00   2.3 1002    158-48  NaN 1
2   03-07-2019  15:00   2.3 1003    158-48  NaN 1
3   03-07-2019  15:00   2.3 1004    158-49  NaN 1
4   03-07-2019  15:00   2.3 2001    158-48  NaN 2
5   03-07-2019  15:00   2.3 2002    158-48  NaN 2
6   03-07-2019  15:00   2.3 2003    158-49  NaN 2
7   03-07-2019  15:00   2.3 2004    158-50  NaN 2
8   03-07-2019  16:00   3.4 1001    158-48  NaN 1
9   03-07-2019  16:00   3.4 1002    158-49  NaN 1
10  03-07-2019  16:00   3.4 1003    158-49  NaN 1
11  03-07-2019  16:00   3.4 1004    158-48  NaN 1
12  03-07-2019  16:00   3.4 2001    158-48  NaN 2
13  03-07-2019  16:00   3.4 2002    158-49  NaN 2
14  03-07-2019  16:00   3.4 2003    158-49  NaN 2
15  03-07-2019  16:00   3.4 2004    158-50  NaN 2

вот что получается после выполнения кода:

concentration   trai_group
sum weighted_mean
lat-lon     
158-48  21.7    1.368664
158-49  18.2    1.500000
158-50  5.7     2.000000

Если я правильно понимаю что такое взвешенное среднее, то вот что я хочу получить:

158-48 (3*2,3+2*2,3+2*3,4+1*3,4)/(3+2+2+1)=21,7/8=2,7125
158-49 (1*2,,3+1*2,3+2*3,4+2*3,4)(1+1+2+2)=18,2/8=3,03
158-50 (1*2,3+1*3,4)/(1+1)=5,7/2=2,85 

158-48 2,7125
158-49 3,03
158-50 2,85 
3
  • Можете привести в вопросе таблицу / данные, которые вы хотите получить на выходе? 3 июл 2019 в 8:34
  • @MaxU Добавил, завтра еще раз с математиками поговорю!! Спасибо за вопрос! Он наводит на интересные мысли и варианты! 3 июл 2019 в 9:39
  • В вашей выходной таблице вы посчитали среднее арифметическое (обычное,а не взвешенное) по группе. Пока непонятно какой столбец должен выступать в роли весов и для чего нужен столбец trai_group ... 3 июл 2019 в 12:23

1 ответ 1

4
import pandas as pd

df = pd.read_csv(filename, delim_whitespace=True)
df["trai_group"] = df["trai"] // 1000

считаем среднее арифметическое по столбцу concentration в каждой группе lat-lon:

In [56]: df.groupby("lat-lon")["concentration"].mean().reset_index(name="avg")
Out[56]:
  lat-lon       avg
0  158-48  2.712500
1  158-49  3.033333
2  158-50  2.850000
3
  • Раньше я использовал только первое вхождение "lat-lon" таким образом я получал следующее значения: 158-48=((1*2,3)+(1*3,4))/1+1=2,85 158-49=((1*2,3)+(1*3,4))/1+1=2,85 158-50=(1*3,4))/1+1=1.7 3 июл 2019 в 14:04
  • @ЕвгенийЛопатников, я думаю вам следует определиться с выходной таблицей. Мой ответ создает выходную таблицу, указанную в вашем вопросе ;) 3 июл 2019 в 14:25
  • Раньше я использовал только первое вхождение lat-lon , как писал выше, и получал средне арифметическое, а используя Ваш метод вроде тоже получаешь средне арифметическое, но т.к. считаются все вхождения, получается средне взвешенное )) это не много сложно для понимания, но это именно то что мне нужно, и вправду всего в пару строчек кода! Спасибо большое! 4 июл 2019 в 22:33

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.