0

Очередная проблема со строками C++, а имеено с кириллицей. Необходимо организовать поиск слова в тексте. Делаю это на основе данной ссылки:

std::string str("Строка C++");
std::string word("Строк");
size_t fops = 0; 
fpos = str.find(word, fpos);
while(fpos != std::string::npos)
{
  if (!isalpha(str[fpos - 1]) && !isalpha(str[fpos + word.length()]))
  {
    std::cout << "Found"; 
    break;
  }
  fpos = str.find(st, fpos);
}

Это на 100% работает с текстами латиницы. На всякий случай хочу прокомментировать немного код: Так как find ищет последовательность символов, а не слово целиком, поэтому мы проверяем предыдущий !isalpha(str[fpos - 1]) и последующий !isalpha(str[fpos + word.length()]) символ найденной последовательности на то что это не буква. Тогда мы может быть уверены, что нашли слово отдельно.

Проблема как раз и здесь. Если это был бы текст из латинских слов, то проверить какой либо символ из текста можно напрямую по индеку str[i]. Но символы кириллицы хранятся в виде двух байт и я не пойму как перейти на последующий символ. К примеру код:

std::cout << str[1];

показывает

?

Насколько мне известно str[1] означает - обратиться к ячейки под номером 1, а одна ячейка это один байт, а один байт содержит только половина символа кирилицы.

Прошу подправить меня в суждениях ибо именно не знание этого уже не первый год влечет проблемы со строками.

3
  • Не знаком с macos, но может перейти к широким (wide) символам? Тогда все они будут одинаковой длины
    – alexlz
    Commented 16 апр. 2014 в 11:31
  • @derkode, все это абсолютно аналогично уже рассматриваемой в Вашем вопросе "Как перевести строку std::string в нижний регистр?" проблеме. Естественно, isalpha() для первого байта кириллицы (в utf-8) вернет 0. -- Кстати, str[fpos - 1] это неправильно, если fpos == 0 (слово в начале строки). Поправьте выражение в if (!isalpha(....
    – avp
    Commented 16 апр. 2014 в 11:36
  • @Deadkenny, а вот macos из меток (IMHO, конечно) Вы зря убрали. Вообще, чем больше сведений об окружении к которому относится вопрос, тем лучше.
    – avp
    Commented 16 апр. 2014 в 12:22

2 ответа 2

1

Приветствую всех. Для строк с символами не латинского алфавита можно использовать строки массивы типа whar_t или строки типа wstring.

Напишу несколько примеров, которые, как я надеюсь, помогут читающим данную страницу. Все примеры тестировались на Linux, g++ 4.8. Думаю, что для других ОС существенных различий не будет.

1) Пример на C для строки массива wсhar_t - работа с символами строки с помощью индексов

#include <stdio.h>
#include <stdlib.h>
#include <wctype.h>
#include <wchar.h>
#include <locale.h>

int main( void ) {
    wchar_t str[] = L"Тут есть запятые, которые не точки!";
    setlocale( LC_ALL, "ru_RU.UTF-8" );

    size_t i;
    for( i = 0; i < wcslen( str ); ++i )
        if ( iswalpha( str[ i ] ) )
            wprintf( L"Символ номер %d - буква ( %lc )\n", i, str[ i ] );
        else
            wprintf( L"Символ номер %d - НЕ буква ( %lc )\n", i, str[ i ] );

    return EXIT_SUCCESS;
}

2) Пример на C++ для строки типа wstring - работа с символами строки с помощью итераторов и индексов

#include <iostream>
#include <clocale>

using namespace std;

int main() {
    setlocale( LC_ALL, "ru_RU.UTF-8" );
    wstring str( L"Строка Си++" );
    wstring strOther( L"Другая Строка" );

    for ( auto iter = str.begin(); iter != str.end(); ++iter )
        wcout << *iter;
    wcout << endl;

    for( wstring::size_type i = 0; i < strOther.size(); ++i )
        wcout << strOther[ i ];
    wcout << endl;

    return 0;
}

3) Пример поиска слова в строке, с помощью функциональности STL

#include <iostream>
#include <clocale>
#include <algorithm>
#include <sstream>

using namespace std;

// предикат, определяющий, что очередной символ строки не является буквой и не является пробельным символом
// К пробельным символам, помимо пробела, относятся символы горизонтальной и вертикальной табуляции,
// перевода страницы, возврата каретки и новой строки.
// При локализации к этому списку могут быть добавлены и другие символы
bool IsNotAlphaSpace( wchar_t symbol ) {
    if ( !iswalpha( symbol ) && !iswspace( symbol ) )
        return true;
    return false;
}

int main() {
    setlocale( LC_ALL, "ru_RU.UTF-8" );
    // исходная строка
    wstring str( L"Строка *Моя+Русская,,,,,в которой ищем слово Строка а б в Моо" );
    // искомое слово
    wstring word( L"Моя" ); // меняйте искомое слово и смотрите результат

    // заменяем в строке все символы, которые не буквы и не пробельные на пробел
    // исходная строка меняется!
    // в тех местах строки, где было много не буквенных символов появится много пробелов
    // но нам ведь это неважно :-)
    replace_if( str.begin(), str.end(), IsNotAlphaSpace, ' ' );

    // строковый поток умеет разбивать строку на слова, разделителем являются пробельные символы
    // а у нас остались только буквы в словах и пробельные символы.
    wistringstream stream( str ); // поток для чтения слов из строки
    wstring current; // для чтения из потока очередного слова
    bool found = false; // для запоминания результата - нашли мы слово нужное или нет

    // в цикле читаем слова из строкового потока
    while ( stream >> current )
        if ( current == word ) { // сравниваем очередное слово из потока с искомым словом
            found = true; // если совпали, то запоминаем
            break; // и обрываем цикл
        }

    // выводим результат
    cout << ( found ? "Найдено!" : "Нету :'(" ) << endl;

    return 0;
}

Как можно увидеть из примеров для строк типа whar_t и wstring - существует свой функционал.

Дополнения.

1) При такой проверке

if (!isalpha(str[fpos - 1]) && !isalpha(str[fpos + word.length()]))

можно легко выйти за пределы строки.

2) Тут явно имелось ввиду другое.

fpos = str.find(st, fpos);

3) У меня fpos - совпадает с именем класса из заголовочного файла postypes.h, потому данный идентификатор не рекомендую к применению.

4
  • @BlackSpace, а прорваться через "грязь" (байты, не соответствующие ни одному valid символу в кодировке) в потоке (файле) пробовали? И если при работе с файлом это еще возможно (узнаете позицию, переоткрываете, позиционируетесь дальше и повторяете, пока не начнет работать (конечно, полный бред)), то с сокетом получаем абсолютное фиаско (в этом случае переоткрыть поток невозможно). Так что wchar input и в Си и в С++ в нельзя использовать для надежного ПО. Остается читать просто байты а потом переводить буфер в wchar.
    – avp
    Commented 19 апр. 2014 в 18:38
  • Нет не пробовал :) О локализации я прочел по ссылке с сайта IBM. ibm.com/developerworks/ru/library/os_lang_c_details_02 На странице содержится предложение. "После манипуляций с отдельными символами строки wchar_t[], её, как правило, нужно преобразовать обратно (wctomb(), wcstombs()) в UTF-8 строку в char[] (например, для сохранения в файл, пересылке через сетевой сокет и др.),..." Последняя строка Вашего комментария, как я понял, именно это и означает. И если следовать данной инструкции, то ведь ненадежность отпадает? :)
    – BlackSpace
    Commented 19 апр. 2014 в 20:36
  • Именно так (если в точности следовать указаниям этой известной фирмы). Поскольку IBM (завуалировано (прямо же -- будет не политкорректно)) говорит о том, что для чтения-записи не надо использовать wistream/wiostream/wfstream... (а также все функции чтения, перечисленные в wchar.h)
    – avp
    Commented 19 апр. 2014 в 21:02
  • @avp не о надёжности сокрушаются большие и голубые. Просто кому нужны эти файлы с wstring'ами внутри. А utf8 -- каждый собак знает. А что касается "грязи" -- так не надо на такой уровень грязь-то тащить. Гигиена -- rulezzz.
    – alexlz
    Commented 20 апр. 2014 в 3:45
0

Нужно быть откровенным - C++ не поддерживает работу с unicode, а это значит, что любое взаимодейтсвие с нелатинскими символами, средствами самого C++, будет с костылями. Подробнее, аргументы можно посмотреть в первом параграфе этой статьи и в первом же параграфе вот этой статьи.

А что делать если всё таки очень надо? Стоит либо использовать какие-то платформо-зависимые средства, для работы со строками, либо использовать ICU для кроссплатформенной разработки. Ну или работать с codepages, что, на мой взгляд, является ужасным решением. Так как уже давно пора работать с unicode и забыть codepages как страшный сон.

По уму, Ваш код можно было бы переписать следующим образом:

#include <regex>
#include <iostream>

int main()
{
    std::string str{u8"Строка C++"};
    std::regex regex{u8R"(\bСтрока\b)"};
    std::smatch matches;
    std::regex_search(str, matches, regex);
    if(matches.size() > 0)
        std::cout << matches[0] << "\n";
    else
        std::cout << "Слово не было найдено!\n";
    return 0;
}

Но 2013 студия не поддерживает unicode-литералы, а clang и gcc(онлайн компиляторы) не находят слово. Это ещё раз показывает, что, на текущий момент, для работы с Unicode в C++ нужно использовать дополнительные средства иначе можно нарваться на крупные проблемы. И, на мой взгляд, это проблема может быть решена только введением нового класса строки, который будет содержать именно строку, а не набор символов фиксирвоанного размера.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.