0

Имеется h5 файл

Открываю его:

fh = h5py.File(file, 'r')
X = fh["lat"][:, :]
Y = fh["lon"][:, :]

ch3 = fh["3b"][:, :][1000:1500, 1000:1500] # Кусок чтобы не ждать вечность.

Затем хочу пробежаться по этому куску массива матрицей 3x3 чтобы выделить пожарные точки.


matrxSise = 3 # Размер матрицы
centr = int((matrxSise + 1) / 2) - 1 # Центр матрицы

T3b = search_fire_points(ch3, centr, matrxSise)

def search_fire_points(M, centr, matrxSise):
    """
    Функция поиска пожарных точек больше > 310K.
    """
    y, x = M.shape
    T3b = np.empty([y - centr - 1, x - centr - 1]) # Пустой массив
    for i in range(y - centr - 2):
        for j in range(x - centr - 2):
            m = M[i:(i + matrxSise), j:(j + matrxSise)] 
            Tij = m[centr, centr]
            m[centr, centr] = 0.0
            ma = np.ma.masked_equal(m, 0.0, copy=False)
            meanQ = np.mean(ma) # Считаем mean в матрице
            stdQ = np.std(ma) # Считаем std в матрице
            if (Tij > (meanQ + 3 * stdQ)) & (Tij > 310): # Всё что больше пика и > 310 градусов - пожар
                T3b[i + centr, j + centr] = 1000
            else:
                T3b[i + centr, j + centr] = 0
    return T3b

Пожарные точки выделены. Но занимает перебор - очень много. А если представить полный массив размером 6000x6000 то операция занимает около часа.

Как можно ускорить перебор всего массива, или изменить алгоритм перебора, чтобы проход был быстрее?

UPD

Небольшая оптимизация

def search_fire_points(M, matrxSise=3):
    centr = int((matrxSise + 1) / 2) - 1
    y, x = M.shape
    # T3b = np.empty([y - centr - 1, x - centr - 1])
    T3b = np.full([y, x], fill_value=False)
    for i in range(y - centr - 2):
        for j in range(x - centr - 2):
            m = M[i:(i + matrxSise), j:(j + matrxSise)]
            Tij = m[centr, centr]
            m[centr, centr] = np.nan
            # ma = np.ma.masked_equal(m, 0.0, copy=False)
            meanQ = np.nanmean(m)
            stdQ = np.nanstd(m)

            if Tij > 305:
                if Tij > (meanQ + 3 * stdQ):
                    T3b[i + centr, j + centr] = True
    return T3b

Файл: https://nc.rcpod.space/index.php/s/QzJCSg8T3YLQyDw

10
  • Приведите пожалуйста в вопросе минимальный воспроизводимый пример входных данных (в виде текста / CSV / Python кода или ссылки на файл) и то что вы ожидаете получить на выходе. Также советую ознакомиться: Как наиболее эффективно задать вопрос, связанный с обработкой и/или анализом данных (например: по Pandas / Numpy / SciPy / SciKit Learn / SQL) 7 сен 2021 в 7:10
  • 2
    Лучше привести небольшой пример данных и ожидаемый результат для этих входных данных 7 сен 2021 в 7:15
  • 2
    Так то Numba хорошо вложенные циклы ускоряет (на порядок, а то и два), но нужно будет код менять и не факт, что это будет просто. Тем более когда такая солянка из чистого питона и Numpy. А вообще то, что вы делаете, явно как-то можно "векторизировать", сделав чисто средствами Numpy, но как именно - не подскажу.
    – CrazyElf
    7 сен 2021 в 8:10
  • 1
    Про изменение значения в срезе, изменяющим основной массив уже сказали. Поэтому либо работайте с маскировкой, но не по условию (которое заодно даст ошибку, если матрица содержит нулевые значения), а заранее однократно создав маску, либо "подвиньтесь" с постановкой задачи, включив в среднее/дисперсию центральную точку. Общий смысл не поменяется, лишь поплывут "коэффициенты" в сторону меньшей агрессивности алгоритма (меньшее количество значений посчитает горячими).
    – Lecron
    7 сен 2021 в 10:40
  • 1
    Ещë есть библиотека cupy, которая использует GPU и имеет тот же интерфейс, что и numpy. Это может существенно ускорить вычисления. 7 сен 2021 в 12:20

1 ответ 1

4

Вот такой код на вашем файле отрабатывает за 21 секунду на моём 11-летнем компе. (против 20 минут вашей функции)

def search_fire_points_fast3(M, matrxSise=3, treshold=305):
    centr = (matrxSise + 1) // 2 - 1
    y, x = M.shape
    T3b = np.full([y, x], fill_value=False)
    for i,j in zip(*np.where(M[centr:y-centr, centr:x-centr] > treshold)):
        m = M[i:i+matrxSise, j:j+matrxSise].copy()
        Tij = m[centr, centr]
        m[centr, centr] = np.nan
        meanQ = np.nanmean(m)
        stdQ = np.nanstd(m)
        if Tij > (meanQ + 3 * stdQ):
            T3b[i + centr, j + centr] = True
    return T3b
1
  • отличное решение, самый большой массив (6000x9000 искусственно сгенереный ) обрабатывает за 15 секунд на i9.
    – Denis
    7 сен 2021 в 14:53

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.