0

Подскажите пожалуйста, что значит собрать библиотеку с параметром "shared lib" ? То есть "разделяемая библиотека" - что и с кем она разделяет ?

Это значит, что библиотека будет динамически подключаемая ? Типа .dll для windows ?

2
  • 1
    да, это будет dll или so (для линукса) или dlyn (вроде так) для мака
    – KoVadim
    26 ноя 2021 в 10:28
  • 2
    Это библиотека разделяется между процессами. т.е. исполняемый код будет присутствовать в оперативной памяти в одном экземпляре. 26 ноя 2021 в 10:34

1 ответ 1

2

TL;DR

Динамическая библиотека - скомпилированный бинарь, который сам по себе не является программой, но предоставляет какие-то функции, которые могут импортировать другие программы во время своей работы. Пример - sprintf() из libc в *NIX и ntdll.dll в Windows.


Про этапы компиляции

Компиляцию программы можно разделить, если грубо, на два этапа: трансляцию и линковку. Первый этап иногда еще называют компиляцией, но у новичков это вызывает путаницу, так что будем придерживаться терминологии, обозначенной выше.

Трансляция

В это время транслятор (часть компилятора, которая отвечает за перевод человекочитемого исходника в бинарный вид) парсит даннный на вход файл, проверяет базовый синтаксис и пытается оттранслировать его в бинарный вид. На выходе мы получаем *.o или *.obj файл, в котором содержится бинарный вид компилируемого исходника. В этот момент мы еще не можем его запустить - в таком виде любой прыжок не в программе не определен. А прыжков, даже в линейной программе, наподобие "Hello world!", хватает - мы так или иначе подключаем библиотеки, чтобы самим с нуля не писать функции для вывода на экран (да и, спойлер, без дергания ядра ОС это все равно невозможно, а чтобы работать с ядром все равно нужны библиотеки).

Для примера разберем этап трансляции того же Hello world'a: Если мы хотм, чтобы компилятор не зашел дальше трансляции, то у GCC существует замечательный ключ -c:

#include <stdio.h>

int main(void)
{
    puts("Hello world!");

    return 0;
}
$ gcc -c main.o main.c

И посмотрим содержимое обьектного файла с помощью objdump:


main.o:     file format elf64-x86-64


Disassembly of section .text:

0000000000000000 <main>:
   0:   55                      push   %rbp
   1:   48 89 e5                mov    %rsp,%rbp
   4:   48 8d 05 00 00 00 00    lea    0x0(%rip),%rax        # b <main+0xb>
   b:   48 89 c7                mov    %rax,%rdi
   e:   e8 00 00 00 00          call   13 <main+0x13>
  13:   b8 00 00 00 00          mov    $0x0,%eax
  18:   5d                      pop    %rbp
  19:   c3                      ret

Как видно, здесь просто наша функция main, которая оттранслирована в асм. Причем call идет на 00 00 00 00 - то есть по нулевому смещению, о чем нам objdump сообщает, показывая, что прыжок будет на <main+13>, то есть следующую строчку. По понятным причинам, такой файл не является исполняемым.

Линковка

Это момент, когда следующая часть компилятора, под названием линковщик, берет оттраслированный обьектный файл и вычисляет куда и как он должен прыгать, то есть, фактически, делает возможным его исполнение. На этом же этапе появляется возможность подгружать функции из динамических библиотек. Но об этом ниже.

Продолжим мучить Hello world. На прошлом этапе мы получили обьектный файл, в котором не посчитаны адреса. Что ж, теперь посчитаем адреса и получим исполняемый файл:

$ gcc -o main main.o 

(Я не буду прикладывать весь вывод objdump'a, потому что он реально огромен, а просто приложу еще раз функцию main). Остальные функции являются служебными и служат для запуска программы/использования функций из динамических библиотек

0000000000001139 <main>:
    1139:       55                      push   %rbp
    113a:       48 89 e5                mov    %rsp,%rbp
    113d:       48 8d 05 c0 0e 00 00    lea    0xec0(%rip),%rax        # 2004 <_IO_stdin_used+0x4>
    1144:       48 89 c7                mov    %rax,%rdi
    1147:       e8 e4 fe ff ff          call   1030 <puts@plt>
    114c:       b8 00 00 00 00          mov    $0x0,%eax
    1151:       5d                      pop    %rbp
    1152:       c3                      ret
    1153:       66 2e 0f 1f 84 00 00    cs nopw 0x0(%rax,%rax,1)
    115a:       00 00 00
    115d:       0f 1f 00                nopl   (%rax)

Как мы видим, здесь у call'a появился адрес, теперь мы прыгаем не "вникуда", а куда-то, где определена функция puts (на самом деле, это тоже не совсем так, но об этом опять-таки ниже).


Немного про библиотеки в целом

Для начала немного о терминологии. Очень много раз видел, как хедеры (*.h файлы) называют библиотеками. Это не совсем корректно. По-хорошему говоря, в хедере (если он написан правильно) нет определений функций - только их обьявления. А вот сами функции уже лежат в библиотеке, хедер нужен исключительно для того, чтобы корректно вызывать функции в программе.

Статические библиотеки

Первый тип библиотек - статические. Это означает, что во время линковки библиотека жестко оказывается вшита внутрь бинарника. По сути, статическая библиотека является архивом с обьектными файлами, которые содержат реализации функций из хедера. То есть, когда мы создаем статическую библиотеку, то вместо вызова линковщика после трансляции мы собираем все хедеры в один архив и предоставляем это конечному пользователю как библиотеку.

Рассмотрим пример (опять будут *NIX): У нас есть два хедера с соответствующими *.c файлами и main.c, который эти хедеры использует. Соберем из всего этого добра статическую библиотеку и попытаемся получить полноценную программу:

#ifndef BYE_H
#define BYE_H

void print_bye(void);

#endif
#include "bye.h"

#include <stdio.h>

void print_bye()
{
    puts("Bye world!");
}
#ifndef PRINT_H
#define PRINT_H

void print_hello(void);

#endif
#include "hello.h"

#include <stdio.h>

void print_hello(void)
{
    puts("Hello world!");
}
#include "hello.h"
#include "bye.h"

int main(void)
{
    print_hello();
    print_bye();

    return 0;
}

Собираем хедеры, как мы уже умеем:

$ gcc -c hello.c bye.c

Получаем два обьектных файла. Теперь нужно их собрать в архив с помощью ar. Тут небольшое отступление про нейминг - есть договоренность, что имена библиотек должны начинаться с lib. И линковщик при указании бибилотеки, как мы увидим далее, пытается найти файл начинающийся именно с lib. Поэтому создадим библиотеку print, с названием файла libprint.a:

$ ar rc libprint.a hello.o bye.o

Следующий этап - добавление индекса символов к библиотеке, чтобы линковщик смог понять, какие функции/переменные/етц есть, а каких нет. Вообще, в большинстве случаев ar добавляет такой индекс сам, но есть ситуации, когда он этого не делает. Поэтому хорошим тоном считается добавлять его руками, даже если это ничего не изменит:

$ ranlib libprint.a

После чего мы получили статическую библиотеку, которая при линковке окажется жестко зашита в бинарник. Посмотрим, что это означает. Скомпилируем с этой библиотекой и откроем через objdump (обратите внимание, что название библиотеки мы указываем без префикса lib, линковщик сам его добавит:

$ gcc main.c -L. -lprint -o main
$ objdump -d main
0000000000001139 <main>:
    1139:       55                      push   rbp
    113a:       48 89 e5                mov    rbp,rsp
    113d:       e8 22 00 00 00          call   1164 <print_hello>
    1142:       e8 07 00 00 00          call   114e <print_bye>
    1147:       b8 00 00 00 00          mov    eax,0x0
    114c:       5d                      pop    rbp
    114d:       c3                      ret

000000000000114e <print_bye>:
    114e:       55                      push   rbp
    114f:       48 89 e5                mov    rbp,rsp
    1152:       48 8d 05 ab 0e 00 00    lea    rax,[rip+0xeab]        # 2004 <_IO_stdin_used+0x4>
    1159:       48 89 c7                mov    rdi,rax
    115c:       e8 cf fe ff ff          call   1030 <puts@plt>
    1161:       90                      nop
    1162:       5d                      pop    rbp
    1163:       c3                      ret

0000000000001164 <print_hello>:
    1164:       55                      push   rbp
    1165:       48 89 e5                mov    rbp,rsp
    1168:       48 8d 05 a0 0e 00 00    lea    rax,[rip+0xea0]        # 200f <_IO_stdin_used+0xf>
    116f:       48 89 c7                mov    rdi,rax
    1172:       e8 b9 fe ff ff          call   1030 <puts@plt>
    1177:       90                      nop
    1178:       5d                      pop    rbp
    1179:       c3                      ret
    117a:       66 0f 1f 44 00 00       nop    WORD PTR [rax+rax*1+0x0]

Как мы можем видеть, наши функции оказались в бинарнике. Это и есть статическая библиотека - все функции оказываются внутри. Плюсы такого подхода - невозможно использовать подмены библиотек, один файл, что проще распространять и так далее. Минусы - огромный вес файла-результата. Поэтому существует второй подход.

Динамические библиотеки

Далее, что же такое динамические (они же разделяемые, хотя этот перевод очень кривой и, его, по-хорошему, стоит избегать) библиотеки. Глобальное их отличие от статических - они не оказываются внутри бинарника, а лежат где-то в системе, но при запуске программы оказываются в ее памяти благодаря механизму отображения файлов (подробнее про это можно почитать вот тут).

Лирическое отступление. Динамические библиотеки называются иногда разделяемыми как раз благодаря вот этому механизму. Потмоу что, по сути, файл физически на диске один. Отсюда и название в Linux/UNIX Shared Object (*.so). Но по-русски проще и понятнее для окружающих говорить "динамические библиотеки". Тем более, что в Windows и OS X они называются Dynamic Linked Library (*.dll) и Dynamic Library (*.dylib) соответственно.

Пересоберем написанный выше код в динамическую библиотеку и так же попытаемся получить исполняемый файл. В этот раз, нам придется собирать обьектные файлы в виде Position Independent Code - у нас ведь цель, чтобы код работал одинаково в разных участках памяти. Поэтому теперь сборка обьектного файла будет выглядеть как-то так:

$ gcc -c -fPIC bye.c hello.c

После этого мы получаем два обьектных файла, которые могут быть собраны в *.so. Самое время приступить:

$ gcc -shared -o libprint.so bye.o hello.o

На выходе мы получаем динамическую библиотеку libprint.so, которая, на самом деле, тоже использует динамическую библиотеку! Ведь функция puts(), на самом деле, предоставляется библиотекой libc.so. Соберем бинарник:

$ gcc main.c -L. -lprint -o main

И попробуем запустить:

./main

Неожиданный вывод:

./main: error while loading shared libraries: libprint.so: cannot open shared object file: No such file or directory

Дело в том, что система ищет динамические библиотеки по заранее указанному пути, а наша библиотека лежит рядом с бинарником, поэтому система и не может ее найти. Для того, чтобы добавить свой путь поиска необходимо использовать переменную окружения LD_LIBRARY_PATH, в которой нужно указать директорию с динамической библиотекой. Попробуем еще раз:

LD_LIBRARY_PATH=. ./main

В этот раз все хорошо, библиотека подгрузилась и мы увидели две заветные строчки вывода нашей программы. Если мы посмотрим на бинарник в objdump, то увидим, что функции print_hello и print_bye находтся в секции plt, которая описывает, как вызвать функции из динамических библиотек. Если вам интересна эта тема и как работают таблицы PLT, GOT и вообще динамическая загрузка - советую погуглить на эту тему, материала много и разобраться достаточно легко.

UPD. Чуть не забыл - существует второй способ работы с динамическими библиотеками, чтобы каждый раз не указывать LD_LIBRARY_PATH. Можно жестко вшить путь библиотеки в сам бинарь, но это чревато последствиями. Делается это с помощью rpath:

$ gcc {*.c} -L{путь_до_библиотеки} -l{имя_библиотеки} -rpath={путь до библиотеки} -o {имя выходного файла}

UPD2. В некоторых ситуациях возникает необходимость загрузить свою библиотеку вместо системной - к примеру, своя реализация функции rand(). Это делается с помощью LD_PRELOAD. Возьмем, для примера, следующий код:

#ifndef RAND_H
#define RAND_H

int rand(void);

#endif
#include "rand.h"

int rand(void)
{
    return 42;
}
#include <stdio.h>
#include <stdlib.h>
#include <time.h>

int main()
{
    srand (time(NULL));

    for(int i = 0; i < 5; i++) {
        printf ("%d\n", rand() % 100);
    }

    return 0;
}

Если собрать отдельно динамическую библиотеку и отдельно бинарь, то все будет как обычно - даже если указать библиотеку в LD_LIBRARY_PATH:

$ ./main
74
59
1
47
11
$ LD_LIBRARY_PATH=. ./main
88
21
88
79
9

Но стоит только определить LD_PRELOAD как происходит магия и мы получаем ответ на главный вопрос вселенной:

$ LD_PRELOAD=./ld_rand.so ./main
42
42
42
42
42

Если хотите немного про это почитать, то вот неплохая точка входа

4
  • @AnyKeyShik, Спасибо за такой подробный ответ! К сожалению знаний не хватаем у меня, что бы в полной мере его оценить, но, если Вы говорили, что после транслятора, который "парсит" человечный код в код ассемблера, то почему в получившемся объектном файле нет упоминания массива/строки с "Heelo World" ?
    – Optimus1
    27 ноя 2021 в 15:12
  • @AnyKeyShik, но ведь язык С/С++ - не запрещает писать реализацию/определения функция в хедер файлах ? Почему же тогда - это Неправильно ? Все что разрешено языком и все, что компилируется - это значит же Правильно ? Правильно ? :)
    – Optimus1
    27 ноя 2021 в 15:14
  • 1
    Отвечу по кускам. Для начала, первый вопрос - строка никуда не делась. Видите кусок lea 0x0(%rip),%rax? Это загрузка адреса строки в регистр, а после вызов puts, который будет искать адрес строки для вывода в этом регистре
    – AnyKeyShik
    27 ноя 2021 в 15:16
  • 1
    Второй вопрос. Как пример - на си можно написать программу, которая скомпилируется и будет размером всего в 4 байта. Можете попробовать. Программа просто main;. Больше ничего. Кмопилятор прекрасно ее компилирует, только жалуется, что тип не определен. Так что можно скомпилировать не всегда == правильно. Разделение определния и обьявления, как правило, происходит для читабельности кода и возможности создания библиотек. Потому что зачем при инклуде хедера притаскивать с собой еще и определния? Проще оставить эту работу на линкер. По поводу инклуда - советую почитать, что это и как работает
    – AnyKeyShik
    27 ноя 2021 в 15:20

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.