Пробую запустить нейросеть из своего поста Ошибка ValueError при запуске нейросети VGG16
Моя конфигурация:
windows 10
python 3.7
tensorflow\keras 2.7.0
CUDA 11.2
cuDNN 8.1.0
В результате получаю такое сообщение:
Traceback (most recent call last):
File "D:/Code/Python/test/test10.py", line 102, in <module>
callbacks=[checkpoint, earlystop])
File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 2030, in fit_generator
initial_epoch=initial_epoch)
File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 67, in error_handler
raise e.with_traceback(filtered_tb) from None
File "C:\Python\Python37\lib\site-packages\tensorflow\python\eager\execute.py", line 59, in quick_execute
inputs, attrs, num_outputs)
tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[32,64,224,224] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
[[node sequential/conv2d_1/Relu
(defined at C:\Python\Python37\lib\site-packages\keras\backend.py:4867)
]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info. This isn't available when running in Eager mode.
[Op:__inference_train_function_1942]
Errors may have originated from an input operation.
Input Source operations connected to node sequential/conv2d_1/Relu:
In[0] sequential/conv2d_1/BiasAdd (defined at C:\Python\Python37\lib\site-packages\keras\layers\convolutional.py:265)
Operation defined at: (most recent call last)
File "D:/Code/Python/test/test10.py", line 102, in <module>
callbacks=[checkpoint, earlystop])
File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 2030, in fit_generator
initial_epoch=initial_epoch)
File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 64, in error_handler
return fn(*args, **kwargs)
File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 1216, in fit
tmp_logs = self.train_function(iterator)
File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 878, in train_function
return step_function(self, iterator)
File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 867, in step_function
outputs = model.distribute_strategy.run(run_step, args=(data,))
File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 860, in run_step
outputs = model.train_step(data)
File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 808, in train_step
y_pred = self(x, training=True)
File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 64, in error_handler
return fn(*args, **kwargs)
File "C:\Python\Python37\lib\site-packages\keras\engine\base_layer.py", line 1083, in __call__
outputs = call_fn(inputs, *args, **kwargs)
File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 92, in error_handler
return fn(*args, **kwargs)
File "C:\Python\Python37\lib\site-packages\keras\engine\sequential.py", line 373, in call
return super(Sequential, self).call(inputs, training=training, mask=mask)
File "C:\Python\Python37\lib\site-packages\keras\engine\functional.py", line 452, in call
inputs, training=training, mask=mask)
File "C:\Python\Python37\lib\site-packages\keras\engine\functional.py", line 589, in _run_internal_graph
outputs = node.layer(*args, **kwargs)
File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 64, in error_handler
return fn(*args, **kwargs)
File "C:\Python\Python37\lib\site-packages\keras\engine\base_layer.py", line 1083, in __call__
outputs = call_fn(inputs, *args, **kwargs)
File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 92, in error_handler
return fn(*args, **kwargs)
File "C:\Python\Python37\lib\site-packages\keras\layers\convolutional.py", line 273, in call
return self.activation(outputs)
File "C:\Python\Python37\lib\site-packages\keras\activations.py", line 311, in relu
return backend.relu(x, alpha=alpha, max_value=max_value, threshold=threshold)
File "C:\Python\Python37\lib\site-packages\keras\backend.py", line 4867, in relu
x = tf.nn.relu(x)
2022-01-16 13:01:53.491798: W tensorflow/core/kernels/data/generator_dataset_op.cc:107] Error occurred when finalizing GeneratorDataset iterator: FAILED_PRECONDITION: Python interpreter state is not initialized. The process may be terminated.
[[{{node PyFunc}}]]
Если я правильно понимаю его содержание, то выделилось всего 2Гб памяти. Видимо этого недостаточно для выполнения операции. Но видеокарта имеет 4Гб памяти
Как я могу модифицировать свой код, чтобы разрешить выделение большего объема видеопамяти? Если этого сделать нельзя, то какие слои можно удалить\изменить, чтобы запустить код?
: I
). Первое говорит, что если хотите, чтобы использовались инструкции AVX, перекомпилируйте с соответствующими параметрами. Не хотите - не перекомпируйте. Второе сообщение просто информирует, что в данный может использоваться почти 3 ГБ видеопамяти. Реально нужно наверняка меньше. Всю видеопамять наверняка занять невозможно, какая-то часть используется самой видеокартой.