1

Есть небольшой проект по борьбе со спамом в узкой области, суть снятия уникальных слепков машины спамеров без учета UA перевод строки в MD5 и запись в базу. Далее идет идентификация, ну и, собственно, какие-то действия.

Проблема:
В данном виде поимки спамеров учавствует порядка 35 разных проектов, у всех свой хостинг, у кого-то он крутой, у кого-то он не совсем крутой. :)
Нужно работать как-то с общей базой данных, которая могла бы либо синхронизироваться с центральной базой, все построено на MYSQL (потому что оно есть у всех). Но объемы очень большие, и получить, скажем, синхронизацию на стандартном хостинге не представляет практически никакой возможности.
Думал на счет API, но там задержка критична сильно на некоторых проектах. Т.е. как бы API тоже отвалилось.

Подскажите готовое, может быть, какие-то решение по синхронизации базы, и чтоб работала на стандартных хостингах.
Может быть, вообще перевести все на какую-то плоскую базу и тупо выкладывать типа файлов апдейта в ZIP, участники проекта будут затягивать к себе базу, распаковывать и работать с этим файлом. Ну не знаю, база какая-нибудь беркли, но тут проблема - не держит много трафика беркли - многопточной выборки нет, опять же задержки.

1
  • 1
    а классическая репликация не работает?
    – KoVadim
    17 дек 2014 в 20:31

2 ответа 2

1

Если объемы настолько большие, то имеет смысл разбивать передаваемые данные на более мелкие части. Или второй вариант: первым запросом к главной базе получать список id новых строк в ней, а затем запрашивать с главной только те id, которых нет в текущей базе.

0

Центральная база версионируется, каждое изменение базы инкрементирует её версию (изменения лучше собирать в пачки). Раз во сколько-то времени (сутки, час, минуту, по желанию клиента) клиент запрашивает у сервера обновление базы (при этом сообщая ему текущую версию своей базы), получая в ответ sql дамп, который приведёт его базу в актуальное состояние (в простейшем случае это будет набор всех обновлений базы, которые у клиента ещё не стоят).

Может оказаться полезным работать с базой в манере только добавления (либо вовсе не удалять записи, либо удалять их путём добавления новой записи (например, в другой таблице), указывающей, что такая-то запись удалена). Так проще что-то развалить, но придётся периодически устраивать компактизацию, чтобы база не пухла (удалять из центральной базы все записи, которые должны быть удалены и заливать клиентские базы с нуля полным дампом центральной базы).

Если клиенты должны вносить изменения в центральную базу, то сделать это можно так:
Клиенты пишут новую инфу в отдельную таблицу и периодически пулят её содержимое на центральный сервер, где оно как-то обрабатывается и (возможно) попадает в основную базу. В таком случае клиенты при проверке должны заглядывать в две таблицы, в свою собственную, и в основную (полученную с центрального сервера).
Только нужно ещё продумать, по каким условиям отчищать ту таблицу кода, клиент пишет новую инфу.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.