Если мы взглянем на систему координат

то видим, что при движении по оси X вправо (обозначим как вперед) - значения увеличиваются, при движении влево (назад) - уменьшаются. Для оси Y аналогично, но вверх/вниз.
Допустим, у нас игрок движется с постоянной скоростью 50. Не важно чего 50 - ёжиков в секунду или свеклы в борще. То есть каждый определенный промежуток времени он проходит расстояние 50: 50-100-150-200... Из логики системы координат видим, что движется вперед - значит значения увеличиваются. Для движения назад - надо чтоб уменьшались. Можно иметь два значения скорости: для движения вперед +50, для значения назад -50, но это не очень эффективно. Не иметь же по два значения на каждый параметр. Нужно просто сделать скорость с другим знаком, но тем же значением (50). Как? Конечно умножить на -1.
если утрированно, персонаж двигался в положительную сторону
rigidbody.AddForce(transform.right * speed);
персонаж движется в обратную сторону
rigidbody.AddForce(transform.right * (speed * -1));
В Юнити бывают для этих целей (если персонаж управляется с клавиатуры допустим) используют Input.GetAxis, который уже возвращает значение от -1 до 1, в зависимости от того, куда давит юзер.
-1 назад, 1 - вперед, 0 - ничего не давит
пример:
var fwd: float = Input.GetAxis("Vertical");
rigidbody.AddForce(transform.forward * (driveForce * fwd));
var steer: float = Input.GetAxis("Horizontal");
rigidbody.AddForce(transform.forward * (steer * fwd));
SetDestination
? а как он у вас движется с помощью физики rigidbody? можно подробнее?