Для того, чтобы гит заработал в связке с plink нужно две вещи
Во-первых, при установке git на пятом шаге выбрать Use plink
а не дефолтную настройку:

Если вы не помните как ставили -- лучше переустановите git, заново пройдите по всем 12ти экранам установщика.
Второй шаг -- нужно создать переменную окружения GIT_SSH в которой указать для вашего файла plink.exe
Я это делаю при помощи reg-файла:
REGEDIT4
[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Environment]
"GIT_SSH"="C:\\foo\\bar\\plink.exe"
Возможно второй шаг не понадобится если у вас окружение putty развёрнуто с инсталлятора или вы ставили галку "установить переменную .ssh" в инсталляторе
Update Новый исталлятор git уже не предлагает такого скрина как я приводил выше, просто ставить с дефолтными настройками. Ради любопытства сравнил: в старом инсталляторе после установки файл etc\install-options.txt содержал две строки:
Plink Path: C:\mypath\plink.exe
SSH Option: Plink
а в новых уже достаточно типовой настройки
SSH Option: OpenSSH
и всё работает при условии установки GIT_SSH
.