Для нетривиального набора разделителей (взаимно включают друг друга) лучшим решением будет использование сторонней библиотеки (например, Boost.Tokenizer). Однако попробуем решить вашу задачу с использованием стандартной библиотеки.
Проблема заключается в том, что вы используете кириллические символы, а значит для портабельной обработки текста опять таки требуются сторонние библиотеки. При допущении, что в качестве разделителей будут использованы только ASCII символы (как у вас в примере), можно попробовать находить разделители по шаблону с помощью регулярных выражений. В таком случае кодировка остальных символов нас не волнует.
Напишем функцию, которая будет выполнить разделение строки на токены с помощью передаваемого ей регулярного выражения:
#include <string>
#include <vector>
#include <regex>
std::vector<std::string> regex_split(const std::string& str, const std::regex& reg) {
const std::sregex_token_iterator beg{str.cbegin(), str.cend(), reg, -1};
const std::sregex_token_iterator end{};
return {beg, end};
}
Здесь -1
как раз и означает итерацию по non-matched фрагментам. То есть передаваемое регулярное выражение должно искать именно разделители, не затрагивая кириллический текст.
Для тестирования будем использовать следующий код:
#include <iostream>
#include <string>
#include <vector>
#include <regex>
std::vector<std::string> regex_split(const std::string& str, const std::regex& reg) {
const std::sregex_token_iterator beg{str.cbegin(), str.cend(), reg, -1};
const std::sregex_token_iterator end{};
return {beg, end};
}
int main() {
constexpr auto regex_str = R"()"; // сюда будем вставлять текст регулярного выражения
const std::string str{"один два,три, четыре, пять ,шесть ,семь, ,восемь, девять"}; // строка для тестов
const std::regex reg{regex_str};
const auto tokens = regex_split(str, reg);
for (auto&& token : tokens) {
std::cout << token << '\n';
}
}
В большинстве случаев будет достаточно следующего регулярного выражения (далее текст регулярного выражения нужно вставлять в R(...) без кавычек):
" *, *| +"
То есть запятая, окружённая произвольным количеством пробелов (0+), ИЛИ 1+ пробел без запятых
.
На тестовом примере получим:
один
два
три
четыре
пять
шесть
семь
восемь
девять
Что в большинстве случаев и ожидается.
Если же мы считаем отсутствие строки неприемлимым (как между "семь" и "восемь"), то можно убрать "-1" и просто находить всё, что не является разделителем:
"[^, ]+"
Однако судя по комментариям и правкам к вопросу, вам нужно нечто более сложное. Попробуем для начала такое выражение (далее оставляем "-1"):
", | |,"
То есть запятая и пробел ИЛИ пробел ИЛИ запятая
. Возможно, это именно то, что вам надо. Результаты для тестовой строки:
один
два
три
четыре
пять
шесть
семь
восемь
девять
Как видно, проблема в том, что это не соотносится с вашим примером из "обновления 2". Между "четыре" и "пять" находится лишний пробел и он должен примыкать к пять, а на данный момент, хоть мы и находим больший разделитель ", ", но также находим и пробел после него как разделитель "пять" и пробела. Нужно как-то указать в регулярном выражении, что в случае пробела после разделителя ", " этот пробел не считается разделителем, а является частью следующего слова.
Сделать это можно с помощью т.н. negative look-behind, проверив, что символ перед пробелом не является пробелом, при этом не захватывая этот символ. Если же символ всё же являлся пробелом (как между "четыре" и "пять" в тестовой строке) и захват не произошёл, то будет осуществлён greedy match, т.е. будет выбран разделитель ", ", что нам и нужно. Таким образом, регулярное выражение будет иметь вид:
", |(?! ) |,"
То есть запятая и пробел ИЛИ пробел, перед которым нет пробела ИЛИ запятая
. Думаю, это именно то, что вам нужно (по крайней мере все условия соблюдаются), однако есть небольшая проблема: look-behind не поддерживается стандартной грамматикой ECMAScript :). А судя по этому ответу остальные существующие в С++ грамматики также его не поддерживают. Но не беда, ведь look-ahead поддерживаются!
Нетрудно видеть, что если мы перевернём строку и в регулярном выражении заменим ", " на " ,", а также negative look-behind на negative look-ahead, то получим такое же поведение:
constexpr auto regex_str = R"( ,| (?! )|,)";
const std::string str{"один два,три, четыре, пять ,шесть ,семь, ,восемь, девять"};
const std::regex reg{regex_str};
const std::string reversed{str.crbegin(), str.crend()};
const auto reversed_tokens = regex_split(reversed, reg);
for (auto it = reversed_tokens.crbegin(); it != reversed_tokens.crend(); ++it) {
auto&& reversed_token = *it;
std::cout << std::string{reversed_token.crbegin(), reversed_token.crend()} << '\n';
}
Результаты для тестовой строки:
один
два
три
четыре
пять
шесть
семь
восемь
девять
Теперь перед "пять" появился пробел, между " пять" и "шесть" один пробел вместо двух. Аналогичная "склейка" и для "девять".
Окончательный код:
#include <iostream>
#include <string>
#include <vector>
#include <regex>
std::vector<std::string> regex_split(const std::string& str, const std::regex& reg) {
const std::sregex_token_iterator beg{str.cbegin(), str.cend(), reg, -1};
const std::sregex_token_iterator end{};
return {beg, end};
}
int main() {
constexpr auto regex_str = R"( ,| (?! )|,)";
const std::string str{"один два,три, четыре, пять ,шесть ,семь, ,восемь, девять"};
const std::regex reg{regex_str};
const std::string reversed{str.crbegin(), str.crend()};
const auto reversed_tokens = regex_split(reversed, reg);
for (auto it = reversed_tokens.crbegin(); it != reversed_tokens.crend(); ++it) {
auto&& reversed_token = *it;
std::cout << std::string{reversed_token.crbegin(), reversed_token.crend()} << '\n';
}
}
Если я не всё учёл, пишите в комментарии. Если не надо моделировать поведение look-behind, то скорее всего проблема решается изменением регулярного выражения.
std::strtok
отличит ", " от ","?", "
будет таким же разделителем как и" "
или","
сами по себе. А если вам нужен токен-разделитель (т.е. когда" "
или","
по отдельности не являются разделителями, а вместе являются) - то это другая история