Фактически заголовочный файл может содержать объявления (описания) и/или определения (реализации) различных сущностей (функций, классов, переменных и подобных). Если в заголовочном файле есть и объявление, и определение всех сущностей, то его можно считать header-only библиотекой, т.е. достаточно подключить заголовочный файл для того, что бы подключить библиотеку.
Но если заголовочный файл содержит объявления, но не содержит определения (или содержит не все определения), для подключения библиотеки нужно подключить эти определения (или не использовать сущности без определений, что тоже допустимо). Они могут содержаться в другом заголовочном файле (это может быть полезно в случае больших библиотек шаблонов для уменьшения времени компиляции), или в файле реализации (cpp).
Так как cpp-файлов может быть много, их нужно связать вместе, для чего каждый в отдельности компилируется в статическую или динамическую библиотеку, а затем эти библиотеки связываются линковщиком на основе объявлений в заголовочных файлах.
Это относится и к стандартной библиотеке, но в этом случае большая часть определений подключается по-умолчанию, достаточно только подключить заголовочный файл. Для некоторых библиотек нужно подключать определения вручную, например библиотека потоков в gcc подключается флагом -lpthread.