На самом деле ссылка и указатель функционально действительно одно и то же. Даже Ваше "хранит в себе" тут не подходит. По факту в любой реализации ссылка и указатель ничем не отличаются. И я не понимаю людей, которые предлагаю искуственно думать о ссылке, как об каком-то сферическом коне в вакууме.
Но синтаксически, с точки зрения языка, это вещи разные. Собственно ссылка и была введена в язык Си++ потому, что в ряде случаев с ней удобнее, чем с указателем. Можно сказать, что это просто разный взгляд на одну и ту же вещь.
Никогда не забывайте, что компьютер не умеет думать, он всегда делает только то, что ему сказано, причем с точностью до каждой буквы.
В данном случае разработчикам языка было просто лениво делать исключение для одного единственного случая, когда в принципе разных толкований особо и нет. Значительно проще заставить всех указать разыменование. Так что просто смиритесь и запомните, без вопроса зачем.