Давайте разберёмся немного с понятиями.
Хост – это любой узел сети Интернет, как клиент, так и сервер, как смартфон, так и ПК. Каждый хост в рамках своей сети имеет IP адрес. Хосты обмениваются сообщениями между друг другом и внутри самих себя, и все сообщения имеют порт, по которому определяется, какая программа будет обрабатывать это сообщение.
Сервер (1) – целый компьютер (или часть его, виртуальная машина) где-то вдалеке, на котором висят программы, к которым обращаются другие программы (клиенты), чаще всего по запросам юзеров. Владелец сервера волен ставить на нём любое ПО и ограничен лишь местом на диске, оперативкой и вычислительными мощностями.
Сервер (2) – программа на сервере из определения 1, которая принимает, обрабатывает и отвечает на запросы программ-клиентов по сети Интернет. Эти программы могут возвращать и HTML страницы для браузеров, и бинарные данные
То есть, арендуя VPS / VDS или полноценный компьютер вы получаете физический сервер (1), с которым обычно взаимодействуют с помощью командной строки SSH для работы с большинством программ и с помощью FTP для передачи данных. Они всегда с паролем (иначе бы любой мог управлять сервером), но это совсем не сложно.
Процесс разработки таков: вы пишете код, отлаживаете его на своём компьютере, потом переносите по FTP на удалённый сервер, с помощью SSH устанавливаете и обновляете все зависимости (необходимые библиотеки и фреймворки), затем запускаете и настраиваете свои программы. В простонародье это называется "поднять сервак" (сервер из определения №2).
Хостинг – это когда вы арендуете не полноценный компьютер или VPS и делаете там вообще что вздумается, а только ограниченный функционал. Часто это только HTML (может кто-то ещё помнит Ucoz) или только PHP или только сайты на Wordpress или только сайты на Python (например, PythonAnyWhere) и так далее, каких только хостингов не напридумывали. На хостинге часто если есть даже возможность кодить, то есть ограничения и в технологиях и во фреймворках. Однако для простых задач использовать хостинг бывает значительно удобнее, чем поднимать полноценный сервер – не нужно настраивать программное окружение, и часто они предоставляют удобную онлайн-панель вместо SSH.
Стоит отметить, что также существуют PAAS (сервисы-платформы), которые бывают очень близки к описанному определению хостинга. Они могут давать значительно больше возможностей, чем рядовой хостинг, но всё также имеют свои ограничения. Пример – Google AppEngine. Как и у хостингов, у большинства PAAS свои собственные средства загрузки кода, запуска/остановки программ и прочего.
Насчёт подключений: здесь всё снова зависит от (А) ваших технологий, а также (Б) условий клиентов и серверов.
А: WiFi сети во многих публичных местах накладывают ограничения на TCP/UDP. В некоторых случаях бывают проблемы при отсутствии SSL/HTTPS. И много других нюансов, которые возникают только в специфических ситуациях.
Б: фаерволы и правительственные блокировки могут помешать взаимодействию Ваших клиентов и серверов. Актуально в последнее время, но не мешает с выбором нормального провайдера хостинга/VPS.
В общем, полностью конкретные ответы на Ваши вопросы сложно дать, очень разные есть нюансы, и в каждом случае нужно разбираться индивидуально.
Для начала советую попробовать несколько разных хостингов (они бывают бесплатными в определенных лимитах), используйте просто HTTP запросы с любым содержимым – во многих случаях этого предостаточно. Затем, когда более-менее поймёте, как это всё работает, освоитесь в технологиях, можно уже будет более осознанно выбирать VPS (бесплатным не бывает), серверные технологии и любой нужный протокол взаимодействия с клиентами для своих задач.