1

есть набор удаленных хостов на которых крутится rsync-сервер. Он принимает и складывает папки с файлами в определенную директорию.

такие файлы и папки отправляются с сервера на nodejs с помощью rsync клиента.

Вопрос: можно ли со стороны сервера nodejs спросить хеш-сумму какой то конкретной директории у rsync-сервера на удаленном хосте?

цель Необходимо для реализации мониторинга версий бизнес а также системных решений, по сути система обновления с обратной связью. Просто в информационной системе была уже реализована передача необходимых файлов на удаленные сервера компании с помощью rsync.

хеш-сумма нужна чтобы сравнить с хеш-суммой записанный в бд сервиса системы обновления, таким образом выяснить верная ли версия того или иного отчета 1с, например, в филиале.

upd: Может посоветуйте другую утилиту которая бы справилась с подобной задачей если ее спросить? (всегда есть вариант написать свою, но хотелось бы оставить велики на потом)

upd: А если пытаться отдать, на удаленный сервер rsync, файл и в случае если он у него есть - не вернет ли он в качестве обратной связи что то типа "ей у меня такое уже есть, в передаче нет необходимости"? Это по сути было бы решением проблемы, так как скорее всего rsync сравнивает по хеш-суммам, и в этом случае можно было бы понять что все ок, а если нет, то мы, во первых, знаем об этом, а во вторых, сразу передаем правильные файлы.

введите сюда описание изображения

На данный момент сервер nodejs отправляет файлы с помощью пакета rsync это выглядит примерно так:

var Rsync = require('rsync');

// Build the command 
var rsync = new Rsync()
  .shell('ssh')
  .flags('az')
  .source('/path/to/source')
  .destination('server:/path/to/destination');

// Execute the command 
rsync.execute(function(error, code, cmd) {
    // we're done 
});
7
  • а с какой целью вам нужен hash? инересуюсь по той причине, что похоже на наличие «проблемы молотка» 26 ноя 2016 в 16:20
  • hash нужен чтобы сравнить с hash записанный в бд сервиса системы обновления, таким образом выяснить верная ли версия того или иного отчета 1с, например, в филиале. 26 ноя 2016 в 20:02
  • к сожалению, из вопроса не понятно, что и где у вас хранится, какие программы у каких запрашивают информацию. поэтому лишь предполагаю: где-то далеко (и в разных местах) хранятся файлы. они не изменяются и не переименовываются во время хранения. вам надо идентифицировать эти файлы. наименее затратно — хранить уникальную информацию (ту же хэш-сумму) в именах файлов. по крайней мере это не требует повторных вычислений хэш-сумм. 26 ноя 2016 в 20:58
  • 1
    если файлы (по каким-то эзотерическим причинам) нельзя переименовывать, то рядом с ними можно хранить файл с хэш-суммами (по строке на каждый хранимый файл: путь к файлу, пробел, хэш-сумма). тогда вам 1) не нужно время для вычисления хэш-суммы каждый раз, когда потребуется идентифицировать файл и 2) реализовывать в программе rsync новую функциональность, которая изложена в заголовке вопроса. 26 ноя 2016 в 21:13
  • но в таком случае я не смогу гарантировать что файлы не изменялись? 26 ноя 2016 в 23:12

3 ответа 3

1

можно ли со стороны сервера nodejs спросить хеш какой то конкретной директории у rsync-сервера на удаленном хосте?

нет, так нельзя. можно только сделать хеш самому.

Первый вариант: hash-files

Установка

npm install hash-files

Использование

var hashFiles = require('hash-files');

// options is optional 
hashFiles(options, function(error, hash) {
    // hash will be a string if no error occurred 
});

или в командной строке:

$ ./bin/hash-files -f '["package.json"]' -a sha256
a29089cc5e3f8bf6ae15ea6b9cd5eaefb14bbb12e3baa2c56ee5c21422250c75

Второй вариант: сам nodejs

crypto.createHash(algorithm)

const filename = process.argv[2];
const crypto = require('crypto');
const fs = require('fs');

const hash = crypto.createHash('sha256');

const input = fs.createReadStream(filename);
input.on('readable', () => {
  var data = input.read();
  if (data)
    hash.update(data);
  else {
    console.log(`${hash.digest('hex')} ${filename}`);
  }
});
4
  • совершенно верно, таким образом я получу хеш перед тем как отправлять на удаленный хост. rsync-сервер на удаленном хосте принимает и пишет в свою рабочую диреткторию. конечно можно развернуть на удаленных хостах по node-серверу и слушать своим api запрос на снятие хеш. В таком случае ваше решение возможно. Или вы не это имели в виду? 26 ноя 2016 в 20:20
  • да. так. я не представляю как по другому сделать. в смысле как можно с помощью nodejs отправить запрос к сервису rsync на удаленной машине
    – spectre_it
    27 ноя 2016 в 3:51
  • ну например с помощью npmjs.com/package/rsync 27 ноя 2016 в 6:30
  • 1
    внедрение на каждом удаленном хосте по nodejs-серверу выглядит разумной идеей, в конце концов кто знает что мне еще нужно будет спросить у удаленных машин филиалов, а ноду можно будет научить. 27 ноя 2016 в 8:34
1

насколько мне известно, ни одна реализация rsync-сервера/клиента не поддерживает требуемой вами возможности. другие задачи они решают.

но, судя по приведённому вами коду, для связи с серверами используется протокол ssh. следовательно, вы можете просто запустить программу подсчёта контрольных сумм нужных файлов непосредственно на сервере

md5sum /путь/к/файлу1 /путь/к/файлу2 /путь/к/каталогу/*

и проанализировать ответ:

хэш-сумма  /путь/к/файлу1
хэш-сумма  /путь/к/файлу2
хэш-сумма  /путь/к/каталогу/файл3
хэш-сумма  /путь/к/каталогу/файл4
...

программа md5sum служит для вычисления контрольной суммы по алгоритму md5, но в пакет gnu/coreutils входит множество других программ, работающих и с другими крипто-алгоритмами.


реализаций же клиентов ssh для node.js более чем много: раз, два, три и т.д.

0
+50

Хеш-сумму директории спросить нельзя, но можно спросить какие файлы изменились не выполняя собственно операции копирования. Нужно лишь указать флаг dry-run:

rsync.set('dry-run'); // оно же rsync.dry();

Затем из вывода команды получить список изменившихся файлов. Если вы явно этого не запрещали, то сравнение будет происходить именно так как вы хотите, то есть с помощью контрольных сумм.

Получить только список файлов без ничего можете указав опцию out-format например в таком виде:

out-format="%f"
1
  • да, так можно. Если смотреть в рамках поставленного вопроса то ваш ответ наиболее точный. Хоть в реальном проекте я пошел по пути который посоветовали ранее(вариант держать по nodejs-серверу на каждом удаленном сервере более гибкий). Поэтому я ставлю ему +1. 4 дек 2016 в 8:37

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.