0

Пробую запустить нейросеть из своего поста Ошибка ValueError при запуске нейросети VGG16
Моя конфигурация:
windows 10
python 3.7
tensorflow\keras 2.7.0
CUDA 11.2
cuDNN 8.1.0
В результате получаю такое сообщение:

Traceback (most recent call last):  
  File "D:/Code/Python/test/test10.py", line 102, in <module>  
    callbacks=[checkpoint, earlystop])  
  File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 2030, in fit_generator
    initial_epoch=initial_epoch)  
  File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 67, in error_handler
    raise e.with_traceback(filtered_tb) from None  
  File "C:\Python\Python37\lib\site-packages\tensorflow\python\eager\execute.py", line 59, in quick_execute
    inputs, attrs, num_outputs)  
tensorflow.python.framework.errors_impl.ResourceExhaustedError:  OOM when allocating tensor with shape[32,64,224,224] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc  
     [[node sequential/conv2d_1/Relu  
 (defined at C:\Python\Python37\lib\site-packages\keras\backend.py:4867)  
]]  
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info. This isn't available when running in Eager mode.
 [Op:__inference_train_function_1942]  
Errors may have originated from an input operation.  
Input Source operations connected to node sequential/conv2d_1/Relu:  
In[0] sequential/conv2d_1/BiasAdd (defined at C:\Python\Python37\lib\site-packages\keras\layers\convolutional.py:265)  
Operation defined at: (most recent call last)  
   File "D:/Code/Python/test/test10.py", line 102, in <module>  
     callbacks=[checkpoint, earlystop])  
   File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 2030, in fit_generator  
     initial_epoch=initial_epoch)  
   File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 64, in error_handler  
     return fn(*args, **kwargs)  
   File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 1216, in fit  
     tmp_logs = self.train_function(iterator)  
   File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 878, in train_function  
     return step_function(self, iterator)  
   File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 867, in step_function  
     outputs = model.distribute_strategy.run(run_step, args=(data,))  
   File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 860, in run_step  
     outputs = model.train_step(data)  
   File "C:\Python\Python37\lib\site-packages\keras\engine\training.py", line 808, in train_step  
     y_pred = self(x, training=True)  
   File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 64, in error_handler  
     return fn(*args, **kwargs)  
   File "C:\Python\Python37\lib\site-packages\keras\engine\base_layer.py", line 1083, in __call__  
     outputs = call_fn(inputs, *args, **kwargs)  
   File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 92, in error_handler  
     return fn(*args, **kwargs)  
   File "C:\Python\Python37\lib\site-packages\keras\engine\sequential.py", line 373, in call  
     return super(Sequential, self).call(inputs, training=training, mask=mask)  
   File "C:\Python\Python37\lib\site-packages\keras\engine\functional.py", line 452, in call  
     inputs, training=training, mask=mask)  
   File "C:\Python\Python37\lib\site-packages\keras\engine\functional.py", line 589, in _run_internal_graph  
     outputs = node.layer(*args, **kwargs)  
   File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 64, in error_handler  
     return fn(*args, **kwargs)  
   File "C:\Python\Python37\lib\site-packages\keras\engine\base_layer.py", line 1083, in __call__  
     outputs = call_fn(inputs, *args, **kwargs)  
   File "C:\Python\Python37\lib\site-packages\keras\utils\traceback_utils.py", line 92, in error_handler  
     return fn(*args, **kwargs)  
   File "C:\Python\Python37\lib\site-packages\keras\layers\convolutional.py", line 273, in call  
     return self.activation(outputs)  
   File "C:\Python\Python37\lib\site-packages\keras\activations.py", line 311, in relu  
     return backend.relu(x, alpha=alpha, max_value=max_value, threshold=threshold)  
   File "C:\Python\Python37\lib\site-packages\keras\backend.py", line 4867, in relu  
     x = tf.nn.relu(x)  
2022-01-16 13:01:53.491798: W tensorflow/core/kernels/data/generator_dataset_op.cc:107] Error occurred when finalizing GeneratorDataset iterator: FAILED_PRECONDITION: Python interpreter state is not initialized. The process may be terminated.
     [[{{node PyFunc}}]] 

Если я правильно понимаю его содержание, то выделилось всего 2Гб памяти. Видимо этого недостаточно для выполнения операции. Но видеокарта имеет 4Гб памяти
введите сюда описание изображения

Как я могу модифицировать свой код, чтобы разрешить выделение большего объема видеопамяти? Если этого сделать нельзя, то какие слои можно удалить\изменить, чтобы запустить код?

2
  • 2
    Это ж просто информационные сообщения (о чём намекает их тип : I). Первое говорит, что если хотите, чтобы использовались инструкции AVX, перекомпилируйте с соответствующими параметрами. Не хотите - не перекомпируйте. Второе сообщение просто информирует, что в данный может использоваться почти 3 ГБ видеопамяти. Реально нужно наверняка меньше. Всю видеопамять наверняка занять невозможно, какая-то часть используется самой видеокартой.
    – GrAnd
    Commented 15 янв. 2022 в 8:48
  • Отредактировал свое сообщение. Думаю, это то, что нужно. Лог очень большой и мне как новичку пока сложно понять, что из этого важно. В Colab этот код запустился, обучение сети шло примерно 2 часа
    – Mikhail
    Commented 16 янв. 2022 в 10:18

1 ответ 1

0

Необходимо учитывать тот факт, что на статичные процессы по типу ОС тоже требуют памяти видеокарты. Настоятельно рекомендую вам обучать все свои модели не на на мощностях своего компьютера(просто потому, что это будет медленнее), а на удалённых средах(google colab, как вы сделали, например). Вся память видеокарты никогда не будет использоваться.

1
  • После обучения в Colab попробовал протестировать обученную модель. Результат странный: все изображения классифицируются как "cat". Почему такое может быть? По ссылке, которую я приложил в своем сообщении, есть код (последние десять строк), который я использовал для тестов. Заметил, что в output всегда одни и те же значения
    – Mikhail
    Commented 18 янв. 2022 в 14:35

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.