Чтобы вы могли управлять окном, необходимо его обхявить вне функции.
Но так как Toplevel появляется автоматически, даже без упаковки, то как вариат его заранее определить и просто скрыть, а кнопками показывать, или опять скрывать.
Как-то так:
from tkinter import *
root = Tk()
root.geometry("500x500")
def modal(event):
win = Toplevel(root)
def reset(event):
win.destroy()
butReset = Button(win, text = 'close modal win')
butReset.bind("<Button-1>", reset)
butReset.pack()
button = Button(root, text = 'open modal')
button.bind("<Button-1>", modal)
button.pack()
root.mainloop()
P.S.: поправил ответ. В предыдущем случае, если пользователь нажмет кнопку "Закрыть"(крестик в углу), вместо кнопки "close modal win", тогда при попытке создать модальное окно заново выскочит ошибка.
В новом же решении мы создаем окошко и его уничтожаем при помощи вложенной функции, просто-напросто.