Сам пишу подобный проект и мне тоже нужно скачать файл по публичной ссылке.
Нашел следующее решение:
id = 'https://cloud.mail.ru/public/публичная/ссылка'
part = id.rpartition('public/')[-1]
name = id.rpartition('/')[-1]
temp = requests.get(id) # Парсим всю страницу
temp = temp.text # Превращаем байты в текст
magic = temp.rpartition('"weblink_get"')[2].rpartition('"stock":')[0]
magic = magic.rpartition('"url": "')[2].rpartition('"\n')[0] + f'/{part}'
# Здесь из строки кода страницы вырезается та самая временная ссылка на файл
# Возможно можно вырезать это лаконичнее, но меня устраивает такой вариант
pdf = requests.get(magic)
# Парсим контент напрямую и записываем в файл с названием "ссылка.pdf"
with open(f'{name}.pdf', 'wb') as f:
f.write(pdf.content)
Можно также запросом брать название файла с этого же temp и сохранять расширение файла, дабы автоматизировать и этот процесс на все случаи жизни, поскольку при попытке записать к примеру pdf в xslx у тебя получится битый файл.