Сделал я в итоге вращение вокруг точки с помощью засовывания в пустой объект. В пустом объекте создал Box Collider и разместил его вот так:
Теперь центр пустого объекта находится посередине коллайдера и нужного объекта. Если вращать Пустой объект с помощью Move Tool в редакторе, получается то что мне нужно:
Но как теперь это сделать с помощью скрипта? Если еще учесть, что объект с rigitbody и физичен