0

Библиотеки

У меня установлена Cuda 11.8 в соответствии с версиями библиотек. torch.cuda.is_available() дает True и соответственно всего распознает одно устройство GPU, но при запуске нейронной сети CNN в диспетчере задач GPU не нагружается. Код проверен через Collab (т.е. с точки зрения кода все в порядке, вычисляется на GPU). В настройках CUDA используется видеокарта NVIDIA GTX 1070 Ti, драйверы обновлены, ОС - Windows 10. Помогите, пожалуйста!

    def get_default_device():
    if torch.cuda.is_available():
        return torch.device('cuda')
    else:
        return torch.device('cpu')
device =get_default_device()   

def to_device(data, device):
    if isinstance(data, (list,tuple)):
        return [to_device(x, device) for x in data]
    return data.to(device, non_blocking=True)

class DeviceDataLoader():
    def __init__(self, dl, device):
        self.dl = dl
        self.device = device
        
    def __iter__(self):
        for b in self.dl: 
            yield to_device(b, self.device)

    def __len__(self):
        return len(self.dl)

Ну и соответственно

train_dl = DeviceDataLoader(train_dl, device)
val_dl = DeviceDataLoader(val_dl, device)
to_device(model, device)

device(type='cuda')

Информация по ПК


Хочу также добавить, что, по идее, вычисления у меня могут производится, так как
python -c "import torch; print(torch.__version__); print(torch.randn(1).cuda())

дает результат tensor([1.4457], device = 'cuda:0')
Обучение:

@torch.no_grad()
def evaluate(model, val_loader):
    model.eval()
    outputs = [model.validation_step(batch) for batch in val_loader]
    return model.validation_epoch_end(outputs)

def fit(epochs, lr, model, train_loader, val_loader, opt_func=torch.optim.SGD):
    history = []
    optimizer = opt_func(model.parameters(), lr)
    for epoch in range(epochs):
        # Training Phase 
        model.train()
        train_losses = []
        for images, labels in train_loader:
            images = images.to(device)
            labels = labels.to(device)
            loss = model.training_step(images, labels)
            train_losses.append(loss)
            loss.backward()
            optimizer.step()
            optimizer.zero_grad()
        # Validation phase
        result = evaluate(model, val_loader)
        result['train_loss'] = torch.stack(train_losses).mean().item()
        model.epoch_end(epoch, result)
        history.append(result)
    return history
18
  • Судя по времени, вроде бы, вычисления производит CPU, в диспетчере задач нагрузка 25%, если использовать CPU напрямую, то 45%. Я впервые установил CUDA на ПК и не понимаю, что может повлиять на это. 4 мая 2023 в 20:45
  • вы бы пример привели своего кода и примеры посмотрели. сеть должна загружаться в гпу device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    – nexoma
    4 мая 2023 в 20:56
  • @nexoma , добавил 4 мая 2023 в 21:13
  • @nexoma как говорил ранее, проверял в Collabe - обучается с GPU, поэтому, мне кажется, ошибка не в коде, а в ПО. 4 мая 2023 в 21:24
  • ну, на pytorch жаловаться такое себе, проблема значит в коде. но код я ожидал другой.
    – nexoma
    4 мая 2023 в 23:56

1 ответ 1

0

ок. начинаем с простых шагов

import torch
import torchvision.models as models

model = models.resnet18().cuda()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
compiled_model = torch.compile(model)

x = torch.randn(16, 3, 224, 224).cuda()
optimizer.zero_grad()
out = compiled_model(x)
out.sum().backward()
optimizer.step()

работает на cuda?

2
  • RuntimeError: Windows not yet supported for torch.compile на проверке: def check_if_dynamo_supported(): if sys.platform == "win32", хотя у меня 64-разрядная система >_> 5 мая 2023 в 14:38
  • Добавил информацию о всем, что может быть связано с работой cuda, а также добавил проверку, по которой вычисления идут на gpu 5 мая 2023 в 15:12

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.