-2

Мне захотелось странного: сделать реплику байт-в-байт совпадающей с мастером.

Если посмотреть дифф файла какой-нибудь такой таблицы testtable.ibd:

create database replica_test character set utf8mb4;
create table replica_test.testtable(data varchar(255));
insert into replica_test.testtable values("Hello, StackOverflow!");

То обнаруживается вот такая разница между мастером и репликой (делал на MariaDB 10.3):

-00000000  6d f9 45 bb 00 00 00 00  00 00 00 00 00 00 00 00  |m.E.............|
-00000010  00 00 00 1f c1 b1 63 c9  00 08 00 00 00 00 00 00  |......c.........|
+00000000  18 17 69 43 00 00 00 00  00 00 00 00 00 00 00 00  |..iC............|
+00000010  00 00 00 1f d4 7d a4 ce  00 08 00 00 00 00 00 00  |.....}..........|
 00000020  00 00 00 00 01 d9 00 00  01 d9 00 00 00 00 00 00  |................|
 00000030  00 06 00 00 00 40 00 00  00 21 00 00 00 04 00 00  |.....@...!......|
 00000040  00 00 ff ff ff ff 00 00  ff ff ff ff 00 00 00 00  |................|
@@ -12,15 +12,15 @@
 000000b0  ff ff ff ff ff ff ff ff  ff ff ff ff ff ff 00 00  |................|
 000000c0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
 *
-00003ff0  00 00 00 00 00 00 00 00  6d f9 45 bb c1 b1 63 c9  |........m.E...c.|
-00004000  b7 14 9c 3f 00 00 00 01  00 00 00 00 00 00 00 00  |...?............|
-00004010  00 00 00 1f c1 b1 56 a8  00 05 00 00 00 00 00 00  |......V.........|
+00003ff0  00 00 00 00 00 00 00 00  18 17 69 43 d4 7d a4 ce  |..........iC.}..|
+00004000  d8 36 76 26 00 00 00 01  00 00 00 00 00 00 00 00  |.6v&............|
+00004010  00 00 00 1f d4 7d 97 9d  00 05 00 00 00 00 00 00  |.....}..........|
 00004020  00 00 00 00 01 d9 00 00  00 00 00 00 00 00 00 00  |................|
 00004030  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
 *
-00007ff0  00 00 00 00 00 00 00 00  b7 14 9c 3f c1 b1 56 a8  |...........?..V.|
-00008000  e5 2b fd ab 00 00 00 02  00 00 00 00 00 00 00 00  |.+..............|
-00008010  00 00 00 1f c1 b1 63 c9  00 03 00 00 00 00 00 00  |......c.........|
+00007ff0  00 00 00 00 00 00 00 00  d8 36 76 26 d4 7d 97 9d  |.........6v&.}..|
+00008000  90 c5 d1 53 00 00 00 02  00 00 00 00 00 00 00 00  |...S............|
+00008010  00 00 00 1f d4 7d a4 ce  00 03 00 00 00 00 00 00  |.....}..........|
 00008020  00 00 00 00 01 d9 ff ff  ff ff 00 00 ff ff ff ff  |................|
 00008030  00 00 00 00 00 00 00 00  00 01 00 00 00 00 00 00  |................|
 00008040  00 00 ff ff ff ff 00 00  ff ff ff ff 00 00 00 00  |................|
@@ -39,21 +39,21 @@
 000081b0  ff ff 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
 000081c0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
 *
-0000bff0  00 00 00 00 00 00 00 00  e5 2b fd ab c1 b1 63 c9  |.........+....c.|
-0000c000  e1 92 ea 20 00 00 00 03  ff ff ff ff ff ff ff ff  |... ............|
-0000c010  00 00 00 1f c1 b1 d8 22  45 bf 00 00 00 00 00 00  |......."E.......|
+0000bff0  00 00 00 00 00 00 00 00  90 c5 d1 53 d4 7d a4 ce  |...........S.}..|
+0000c000  6f ba d8 12 00 00 00 03  ff ff ff ff ff ff ff ff  |o...............|
+0000c010  00 00 00 1f d4 7e 30 c8  45 bf 00 00 00 00 00 00  |.....~0.E.......|
 0000c020  00 00 00 00 01 d9 00 02  00 a7 80 03 00 00 00 00  |................|
 0000c030  00 7f 00 05 00 00 00 01  00 00 00 00 00 00 00 00  |................|
 0000c040  00 00 00 00 00 00 00 00  05 a8 00 00 01 d9 00 00  |................|
 0000c050  00 02 00 f2 00 00 01 d9  00 00 00 02 00 32 01 00  |.............2..|
 0000c060  02 00 1c 69 6e 66 69 6d  75 6d 00 02 00 0b 00 00  |...infimum......|
 0000c070  73 75 70 72 65 6d 75 6d  15 00 00 00 10 ff f1 00  |supremum........|
-0000c080  00 00 2c 9d 5d 00 00 00  00 00 00 80 00 00 00 00  |..,.]...........|
+0000c080  00 00 2c a2 7c 00 00 00  00 00 00 80 00 00 00 00  |..,.|...........|
 0000c090  00 00 48 65 6c 6c 6f 2c  20 53 74 61 63 6b 4f 76  |..Hello, StackOv|
 0000c0a0  65 72 66 6c 6f 77 21 00  00 00 00 00 00 00 00 00  |erflow!.........|
 0000c0b0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
 *
-0000fff0  00 00 00 00 00 70 00 63  e1 92 ea 20 c1 b1 d8 22  |.....p.c... ..."|
+0000fff0  00 00 00 00 00 70 00 63  6f ba d8 12 d4 7e 30 c8  |.....p.co....~0.|
 00010000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
 *
 00018000

(Скачать файлы этой таблицы для поиграться можно тут)

Внятного описания структуры ibd-файлов нагуглить не удалось, а читать исходники MySQL/MariaDB скорее всего не осилю. Так что, может, кто-то из местных разбирается в этих вот внутренних структурах и может рассказать, за что отвечают отличающиеся байты и почему они вообще отличаются? И возможно ли сделать так, чтобы не отличались?

1 ответ 1

0

Репликация в mysql только логическая. Бинарно датафайлы идентичными не будут. Разве только если случайно.

Чтобы датафайлы были идентичны - у вас должна быть физическая репликация, то есть когда на реплику отправляются непосредственно изменения файлов базы. (предвосхищая возможный вопрос - и у физической и у логической репликации есть свои сильные и слабые стороны, это не хорошо и не плохо)

В mysql отправляются логические изменения в данных или вовсе запросы изменения данных (statement-based replication mode). Гарантии что две базы одинаковые логические изменения данных выполнят идентично на уровне датафайлов нет. Скорее можно удивляться, если результаты будут совпадать. Это и метки транзакций и позиции в журналах записи, даже порядок операций может отличаться.

5
  • «Гарантии что две базы одинаковые логические изменения данных выполнят идентично на уровне датафайлов нет» — почему? Совпадение журналов записей меня не интересует, а что мешает совпадать файлам таблиц даже при логической репликации — всё ещё непонятно
    – andreymal
    21 окт 2019 в 14:11
  • а потому что журнал записи вас не волновать не может хотя бы потому что LSN - log serial number - помимо всего прочего тоже в датафайлах и пишется. FIL_PAGE_LSN, FIL_PAGE_FILE_FLUSH_LSN dev.mysql.com/doc/internals/en/innodb-fil-header.html 21 окт 2019 в 14:28
  • Я так понимаю, под журналами записей имеются в виду ib_logfile0 и ib_logfile1, и тогда остаётся всё тот же вопрос — что мешает им совпадать вместе с этими FIL_PAGE_LSN и всем остальным?)
    – andreymal
    21 окт 2019 в 14:44
  • Вы спрашивали как сделать, а не "может ли случайно так случиться". Причину для примера я уже вполне назвал: порядок операций на primary и их воспроизведения на standby может просто-напросто различаться. Как так? Да даже Parallel Replication есть. При разном порядке операции - разные LSN будут. 21 окт 2019 в 15:30
  • Как я понимаю, parallel replication нужно явно включать, а я это не включал. Так что вопрос всё ещё остаётся: почему порядок операций на primary и их воспроизведения на standby может просто-напросто различаться?
    – andreymal
    21 окт 2019 в 15:33

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.