Ещё один вариант, в функциональном стиле:
dict = dict.Where(item => item.Key == item.Value.name)
.ToDictionary(item => item.Key, item => item.Value);
Вы создаёте полностью новый словарь, и заменяете старый на новый, так что никакой модификации нет.
При этом вы подменяете объект, так что те, у кого была своя ссылка на ваш объект, будут работать со старой версией словаря. Это может быть то или не то, что вы хотите, в зависимости от того, как устроена ваша программа. (Например, если другие пользователи вашего словаря работают с ним, они могут не рассчитывать на то, что словарь поменяется.)