1

На CentOS сервере крутится Wordpress, и принимает аплоады медиа файлов в некую папку.Надо синхронизировать её в букет на S3, т.к. именно оттуда файлы раздаются посетителям сайта.

  1. Первая попытка, по-простому: с помощью FUSE и S3FS букет монировался как устройство, и на файлы загружались прямо в него. Оказалось, плохо: медленно, и часто случались ошибки обработки загружаемых файлов.
  2. Второй шаг: стали держать локальную папку, в которую происходит загрузка; её с помощью lsyncd синхронизировали в смонтированный S3 букет. Лучше, но иногда происходят случайные, неуловимые ошибки, и некоторые файлы не проходят, оказываясь в букете с нулевым размером. И позже, эти нулевые файлы так и не обновляются до полноразмерной версии.

Поэтому сейчас в поисках "третьего" варианта. Как синхронизировать аплоады, с минимальным лэгом, и с бетонной надёжностью, с локальной папки в букет на Амазоне?

Подвохи:

  1. удалённая FS смонтированного S3 букета работает далеко не мгновенно, копирование одного mp3 может занять неск. секунд;
  2. в момент синхронизации некоторые файлы могут быть открыты — скажем, их сейчас прямо кто-то догружает на сервер, или картинки уменьшаются и записываются их уменьшенные копии.

1 ответ 1

1

Ответ на этот же вопрос на Хабре

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.