0

Стоит задача раскидать с управляющего узла json-файлы по вычислительным, причем строго без знания структуры передаваемых файлов. Код на с++. Я так понимаю их в бинарники надо переводить, в таком виде передавать, а потом на вычислительных узлах собирать? Нет опыта в этом, подскажите пожалуйста библиотеки или как это правильнее сделать.

1 ответ 1

1

MPI передает массивы байт в виде пары (const char*, size_t). Соответственно, в первую очередь нужно перевести ваши объекты в json (если это еще не сделано), json к строке (если он в какой-то обертке), а строку к указателю на char (к string_view в современном c++). Тут могут быть небольшие проблемы с широкими кодировками, но их тоже можно привести к массиву байт. Если не понимаете связанных с этим проблем - приводите к utf8.

Далее, для распределения этих массивов между потоками есть разные механизмы, это может быть прямая отправка конкретному потоку (Point-to-Point communication), или можно запихать все строки в один буфер, и указать, каким потокам какие части этого буфера нужны. Тут я подробностей не помню, но обратите внимание, что некоторые функции MPI копируют весь буфер, даже если потоку нужна только его часть, нужно читать документацию.

Я бы рекомендовал обратить внимание на Boost.MPI, но если вы не знакомы с boost или хотя бы со стандартной библиотекой C++, непосредственный вызов функций на C может быть проще.

1
  • Спасибо вам за пояснения. В итоге передачу осуществила с помощью Boost.MPI, он поддерживает передачу string, что оказалось очень удобным. Плюс информации чего как делать много)
    – 8Irbis8
    4 сен 2020 в 9:01

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.