Вот более проработанный пример. Опишу ситуацию более подробно и детально.
Измеряем СО в воздухе, получаем концентрацию (x) каждый час. сморим где были воздушные массы (ВМ) за последние 4 часа. например:
№ Lat-lon
1 158-48
2 158-48
3 158-48
4 158-49
каждое вхождение это 1 час, т.е. в 158-48 воздушные массы были 3 часа, а в 158-49 1 час.
Исходные данные имеют несколько траекторий например 2, разделяются они по 1000, мы получаем их в таком виде:
1001 158-48
1002 158-48
1003 158-48
1004 158-49
2001 158-48
2002 158-48
2003 158-49
2004 158-50
Задача: узнать Взвешенное среднее для каждой Lat-lon
, по логике чем дольше была в грязном районе, тем выше средне взвешенное. пример данных, собираются с нескольких файлов: testes.txt:
Data time concentration trai lat-lon
03-07-2019 15:00 2.3 1001 158-48
03-07-2019 15:00 2.3 1002 158-48
03-07-2019 15:00 2.3 1003 158-48
03-07-2019 15:00 2.3 1004 158-49
03-07-2019 15:00 2.3 2001 158-48
03-07-2019 15:00 2.3 2002 158-48
03-07-2019 15:00 2.3 2003 158-49
03-07-2019 15:00 2.3 2004 158-50
03-07-2019 16:00 3.4 1001 158-48
03-07-2019 16:00 3.4 1002 158-49
03-07-2019 16:00 3.4 1003 158-49
03-07-2019 16:00 3.4 1004 158-48
03-07-2019 16:00 3.4 2001 158-48
03-07-2019 16:00 3.4 2002 158-49
03-07-2019 16:00 3.4 2003 158-49
03-07-2019 16:00 3.4 2004 158-50
Весом в данной ситуации является число вхождений Lat-lon
в trai
.
Вот код с применением Pandas (взят из интернета), но я ничего в нем не пойму. Если есть возможность, объясните пожалуйста что куда, пока результат не получается корректным. Я понимаю, что скорее всего проблема в нормальном написании функции lambda:
import pandas as pd
import numpy as np
df = pd.read_csv('testes.txt'," ")
df['trai_group']=1
for i in range (0,len(df)):
df['trai_group'][i]=(df['trai'][i])/1000
df
#Define a lambda function to compute the weighted mean:
wm = lambda x: np.average(x, weights=df.loc[x.index, "concentration"])
# Define a dictionary with the functions to apply for a given column:
f = {'concentration': ['sum'], 'trai_group': {'weighted_mean' : wm} }
# Groupby and aggregate with your dictionary:
df.groupby("lat-lon").agg(f) # adjusted_lots price sum weighted_mean
Вот сама таблица:
Data time concentration trai lat-lon Unnamed: 5 trai_group
0 03-07-2019 15:00 2.3 1001 158-48 NaN 1
1 03-07-2019 15:00 2.3 1002 158-48 NaN 1
2 03-07-2019 15:00 2.3 1003 158-48 NaN 1
3 03-07-2019 15:00 2.3 1004 158-49 NaN 1
4 03-07-2019 15:00 2.3 2001 158-48 NaN 2
5 03-07-2019 15:00 2.3 2002 158-48 NaN 2
6 03-07-2019 15:00 2.3 2003 158-49 NaN 2
7 03-07-2019 15:00 2.3 2004 158-50 NaN 2
8 03-07-2019 16:00 3.4 1001 158-48 NaN 1
9 03-07-2019 16:00 3.4 1002 158-49 NaN 1
10 03-07-2019 16:00 3.4 1003 158-49 NaN 1
11 03-07-2019 16:00 3.4 1004 158-48 NaN 1
12 03-07-2019 16:00 3.4 2001 158-48 NaN 2
13 03-07-2019 16:00 3.4 2002 158-49 NaN 2
14 03-07-2019 16:00 3.4 2003 158-49 NaN 2
15 03-07-2019 16:00 3.4 2004 158-50 NaN 2
вот что получается после выполнения кода:
concentration trai_group
sum weighted_mean
lat-lon
158-48 21.7 1.368664
158-49 18.2 1.500000
158-50 5.7 2.000000
Если я правильно понимаю что такое взвешенное среднее, то вот что я хочу получить:
158-48 (3*2,3+2*2,3+2*3,4+1*3,4)/(3+2+2+1)=21,7/8=2,7125
158-49 (1*2,,3+1*2,3+2*3,4+2*3,4)(1+1+2+2)=18,2/8=3,03
158-50 (1*2,3+1*3,4)/(1+1)=5,7/2=2,85
158-48 2,7125
158-49 3,03
158-50 2,85
trai_group
...