Имеется h5 файл
Открываю его:
fh = h5py.File(file, 'r')
X = fh["lat"][:, :]
Y = fh["lon"][:, :]
ch3 = fh["3b"][:, :][1000:1500, 1000:1500] # Кусок чтобы не ждать вечность.
Затем хочу пробежаться по этому куску массива матрицей 3x3 чтобы выделить пожарные точки.
matrxSise = 3 # Размер матрицы
centr = int((matrxSise + 1) / 2) - 1 # Центр матрицы
T3b = search_fire_points(ch3, centr, matrxSise)
def search_fire_points(M, centr, matrxSise):
"""
Функция поиска пожарных точек больше > 310K.
"""
y, x = M.shape
T3b = np.empty([y - centr - 1, x - centr - 1]) # Пустой массив
for i in range(y - centr - 2):
for j in range(x - centr - 2):
m = M[i:(i + matrxSise), j:(j + matrxSise)]
Tij = m[centr, centr]
m[centr, centr] = 0.0
ma = np.ma.masked_equal(m, 0.0, copy=False)
meanQ = np.mean(ma) # Считаем mean в матрице
stdQ = np.std(ma) # Считаем std в матрице
if (Tij > (meanQ + 3 * stdQ)) & (Tij > 310): # Всё что больше пика и > 310 градусов - пожар
T3b[i + centr, j + centr] = 1000
else:
T3b[i + centr, j + centr] = 0
return T3b
Пожарные точки выделены. Но занимает перебор - очень много. А если представить полный массив размером 6000x6000 то операция занимает около часа.
Как можно ускорить перебор всего массива, или изменить алгоритм перебора, чтобы проход был быстрее?
UPD
Небольшая оптимизация
def search_fire_points(M, matrxSise=3):
centr = int((matrxSise + 1) / 2) - 1
y, x = M.shape
# T3b = np.empty([y - centr - 1, x - centr - 1])
T3b = np.full([y, x], fill_value=False)
for i in range(y - centr - 2):
for j in range(x - centr - 2):
m = M[i:(i + matrxSise), j:(j + matrxSise)]
Tij = m[centr, centr]
m[centr, centr] = np.nan
# ma = np.ma.masked_equal(m, 0.0, copy=False)
meanQ = np.nanmean(m)
stdQ = np.nanstd(m)
if Tij > 305:
if Tij > (meanQ + 3 * stdQ):
T3b[i + centr, j + centr] = True
return T3b
Numba
хорошо вложенные циклы ускоряет (на порядок, а то и два), но нужно будет код менять и не факт, что это будет просто. Тем более когда такая солянка из чистого питона иNumpy
. А вообще то, что вы делаете, явно как-то можно "векторизировать", сделав чисто средствамиNumpy
, но как именно - не подскажу.