1

Есть набор данных, который содержит результат температурных наблюдений. В БД пишется текущее отклонение температуры от эталонного значения 100 градусов, то есть если температура 98 тозаписывается -2, если 103 то пишется 3.

С помощью методов Pandas легко получаю медиану или среднее отклонение. Нужно ещё получить границы вхождения 95% от всех измерений ближайших к медиане, распределение замеров похоже на гаусовское.

Как определить, в каких границах лежит 95% значений ближайших к медиане датасерии?

2 ответа 2

1

Чтобы найти 95% доверительный интервал для математического ожидания генеральной совокупности, можно воспользоваться данным методом.

Пример:

In [121]: a = np.random.randint(90, 115, size=100) - 100

In [122]: a
Out[122]:
array([  1,  -6,   9,  -9,  14,  -2,  -7,   3,  -3,   6,  -5,  12,   6,   8,  13,   6,  -8,  -1,  -1,  -4, -10,   8,  12,  -1,   5,  -2,  13,  -6,   9,   3,  -3,   4,  14,   6,  -2,  13,   4,   8,
         6,  -8,   1,  14,  -5,   6,   1,   0,   8,  10,  -3,  10,   2,  -1,  -2,  10,   5,   9,  -9,  -4,  -8,   7,  11,   3,   8,   1,   6,  -5,   0,  -2, -10,   2,   2, -10,  -9,  -6,   4,  -7,
         3,  -5,  12,  11,  -7,  -2,   2,  -5,   7,   8,  -8,   0,   0,   4,  -5,   3,  12,  10,  -4,   4,  14,   8,   3,  -4])

from scipy.stats import sem, t
from scipy import mean

def get_conf_interval(data, confidence=0.95):
    n = len(data)
    m = mean(data)
    std_err = sem(data)
    h = std_err * t.ppf((1 + confidence) / 2, n - 1)
    print(m, h, std_err)
    return m - h, m + h

ci_start, ci_end = get_conf_interval(a, confidence=0.95)
print(ci_start, ci_end)

0.6891413445288668 3.4108586554711326

PS Ответ на вопрос "Как определить в каких границах лежит 95% значений ближайших к медиане датасерии?" дал @passant.

5
  • Большое спасибо, буду изучать оба предложенных способа, и numpy, за не точность формулировки прошу прощения, пока ещё опыта мало.
    – Gor
    29 сен 2019 в 11:22
  • 1
    @Gor за не точность формулировки прошу прощения - улучшить вы можете кнопкой править.
    – 0xdb
    29 сен 2019 в 11:44
  • Хм, вообще-то в интервале [0.689, 3.41] ну никак не лежат 95% значений тестового датасета. Это можноь выявить просто посмотрев на этот датасет.
    – passant
    29 сен 2019 в 18:28
  • @passant, немного уточнил ответ... 30 сен 2019 в 11:21
  • 1
    @MaxU, да я то все понял. Главное - что-бы ТС не запутался в двух соснах (вариантах) :-)
    – passant
    30 сен 2019 в 18:54
0

Если свой вопрос вы сформулировали точно, а именно:

Как определить в каких границах лежит 95% значений ближайших к медиане датасерии?

т.е. вас интересует границы в которые попадает 95% значений КОНКРЕТНО ВАШЕЙ датасерии, то это есть поиск 0.025- и 0.975- квантилей вашей выборки.

Найти эти границы можно в numpy, c помощью функции quantile.

Если вы говорите, что "распределение замеров похоже на гаусовское" - то я его смоделирую с помощью биноминального распределения. (Привожу гистограмму, по которой можно проверить "похожесть" на гауссово распределение).

In [67]: r = binom.rvs(200, 0.5, size=1000)-100    
In [68]: np.histogram(r,bins=60,range=[-30,30])
Out[68]: 
(array([ 0,  0,  0,  0,  0,  0,  0,  0,  0,  1,  0,  0,  3,  3,  3,  4, 15,
        12,  9, 16, 26, 27, 30, 26, 36, 47, 50, 49, 60, 53, 53, 48, 49, 56,
        50, 43, 48, 34, 30, 22, 15, 18, 19,  6,  9, 11,  8,  2,  4,  2,  2,
         1,  0,  0,  0,  0,  0,  0,  0,  0], dtype=int64),
 array([-30., -29., -28., -27., -26., -25., -24., -23., -22., -21., -20.,
        -19., -18., -17., -16., -15., -14., -13., -12., -11., -10.,  -9.,
         -8.,  -7.,  -6.,  -5.,  -4.,  -3.,  -2.,  -1.,   0.,   1.,   2.,
         3.,   4.,   5.,   6.,   7.,   8.,   9.,  10.,  11.,  12.,  13.,
         14.,  15.,  16.,  17.,  18.,  19.,  20.,  21.,  22.,  23.,  24.,
         25.,  26.,  27.,  28.,  29.,  30.]))
In [69]: np.quantile(r, q=[0.025,0.975])
Out[69]: array([-14.,  15.])

Если есть желание, можно проверить, что за пределами значений -14 и 15 лежит около 5% значений нашего датасета.

Если считать, что вам известны параметры вашего закона распределения, то можно воспользоваться методом interval

In [93]: np.array(binom.interval(0.95, n=200, p=0.5))-100
Out[93]: array([-14.,  14.])

который дает очень близкий результат.

Если же вас интересует 95% доверительный интервал для математического ожидания ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ, то тогда можно воспользоваться функцией, приведенной уважаемым MaxU. Но тогда ваш вопрос должен быть сформулирован иначе.

Кстати, результат на моей выборке, используя эту функцию получился вот такой:

-0.25397986321352645 0.6359798632135265

что в точности совпадает с результатами применения стандартной функции опредеделения дов.интервала для среднего по выборке:

In [72]: import statsmodels.stats.api as sms
In [73]: sms.DescrStatsW(r).tconfint_mean()
Out[73]: (-0.25397986321352645, 0.6359798632135265)
2
  • Благодарю за подробное разъяснение.
    – Gor
    29 сен 2019 в 11:24
  • Ну, благодарность на этом сайте принято выражать несколько иначе. Кстати, было предложено не два "способа", было предложено две решения совершенно разных задач. Похоже, вы этого так и не поняли. А какая из этих задач ваша - решайте сами, мы не экстрасенсы.
    – passant
    29 сен 2019 в 18:18

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.