Если не вдаваться в подробности, то ядро читает заголовки и кое-какую служебную информацию из ELF'а, а затем отображает некоторые секции в виртуальную память процесса, в частности .text (с «атрибутами» r-x), .rodata (r--) и .data (rw-) ). Если какие-то страницы уже загружены в кеше страниц (например файл остался в нём после обычного чтения/записи), то они сразу подключаются к процессу; если нет, то они будут загружены только при первом обращении (см. далее). После этого управление передаётся точке входа и процесс начинает работать. Далее, как только процесс обращается к странице, не загруженной в память, возникает страничное прерывание, которое обрабатывается ядром. Оно приостанавливает процесс и загружает необходимую страницу с диска и/или создаёт её отображение из виртуальной памяти в физическую.
В реальности большинство исполняемых файлов слинкованы динамические. Поэтому кроме них самих аналогичным образом подгружаются их библиотеки, правда отображение происходит не по инициативе самого ядра, а динамического линкера (/lib/ld-linux*.so.*) из юзерспейса. При этом ro-данные и код библиотек остаются общими для всех процессов.