2

Требуется преобразовать строку с кириллицей типа std::u16string к нижнему регистру.

Что пробовал:

1) boost::algorithm::to_lower

2) std::use_facet<std::ctype<char16_t>>(std::locale("")).tolower(&test[0],&test[0] + test.size());

3) std::transform(test.begin(), test.end(), test.begin(), ::tolower);

Пробовал устанавливать перед этим локаль:

1) std::locale("");
2) std::locale("ru");
3) std::locale("RU");
4) std::locale("ru_RU"); - вызывается исключение

Во всех случаях результат преобразования строки u"Тест" равен: "5ab, а должен быть: тест

При этом текст на латинице преобразуется правильно. Строка с кириллицей типа std::wstring также преобразуется правильно.

Пример кода для воспроизведения:

std::locale("");
std::u16string test = u"Тест";
std::transform(test.begin(), test.end(), test.begin(), ::tolower);

Условия воспроизведения:

ОС: Windows 7 64Bit Eng

Компилятор: Visual Studio 2017 Community

Кодировка файла с исходником: UTF-8 с BOM

4
  • Можно попробовать setlocale (LC_ALL, ".OCP") и вроде не нужно, но есть такая дериктива: #pragma execute_character_set ("utf-16"), или utf-8, в зависимости от вашей кодировки файла, если текст переменной прописан в коде.
    – NewView
    24 дек 2018 в 7:01
  • @user2134488 напишите рабочее решение в ответе, а не в вопросе
    – andreymal
    24 дек 2018 в 12:06
  • @NewView Попробовал ваш вариант, но не получилось. Получилось с использованием std::towlower (см. ответ ответ ниже). Так или иначе, спасибо! 24 дек 2018 в 12:39
  • "Кодировка файла с исходником: UTF-8 с BOM" - вот мне кажется, что в этом месте фигня. Или компилятор умеет преобразовывать текст в другую кодировку при сборке?
    – Qwertiy
    24 дек 2018 в 12:47

4 ответа 4

3

Поддержки Unicode в C++ нет(*), поэтому используйте сторонние средства. Одним из наиболее известных средств является ICU. Если собрать Boost с использованием ICU, то можно использовать Boost.Locale, которая может быть удобнее.


(*) Есть некоторые «ошмётки» Unicode в C++, но они не стоят внимания.

1
  • Увы, единственно верный ответ
    – tocic
    24 дек 2018 в 8:18
1

Преобразование строки в нижний регистр, а также "По поводу tolower и русских букв - опропобал на лине. Действительно, не работает. Чтобы нормально преобразовывать, нужно создать строку wchar_t и далее с нею работать функцией towlower из wchar.h" – skegg 1 дек '11 в 14:56

1
  • А у меня под Linux towlower без преобразований, с типом std::u16string заработала. Хотя и не понятно почему. Спасибо за ответ! 24 дек 2018 в 12:07
1

Пришел к такому рабочему решению:

#include <string>
#include <algorithm>
#include <cwctype>
int main()
{
setlocale(LC_ALL, "");
std::u16string test = u"Тест";
std::transform(test.begin(), test.end(), test.begin(), std::towlower);
return 0;
}

То есть использовать функцию towlower. Обязательно необходимо установить локаль. Проверял под Ubuntu 14 (32-64), Mac OS Sierra, Windows Server 2008. В целом нет уверенности что это правильный подход, ведь в описании сказано, что функция towlower предназначена для обработки символов типа wchar_t, а у меня тип char16_t и под Linux wchar_t имеет размер 4 байта. Так или иначе работает. Если есть более правильное решение прошу делиться в ответах.

-1

Есть функция tolower, которая переводит символы в нижний регистр. Можно применить ее ко всем символам строки:

#include <algorithm>
#include <iostream>
#include <string>
#include <ctype.h>

int main() {
    std::string s = "IaFFSjndsUFfE";
    std::transform(s.begin(), s.end(), s.begin(), tolower);
    std::cout << s << std::endl;
}

специально для минусаторов

    #include <algorithm>
    #include <iostream>
    #include <string>
    #include <ctype.h>

    int main() {
        std::string s ="тест";
        std::transform(s.begin(), s.end(), s.begin(), tolower);
        std::cout << s << std::endl;
    }

рабочее решение

std::transform(test.begin(), test.end(), test.begin(), ::towlower); 

Проверял под Ubuntu 14 (32-64), Mac OS Sierra, Windows Server 2008. Везде работает.

специально для минусаторов

#include <algorithm>
#include <iostream>
#include <string>
#include <ctype.h>

int main() {
    std::string s = "БОЛЬШИЕ РУСКИЕ БУКВЫ";
        std::transform(s.begin(), s.end(), s.begin(), ::towlower); 

    std::cout << s << std::endl;
}
1
  • 1
    Хоть чатик и почистили, код в ответе по-прежнему не даёт ответа на вопрос
    – andreymal
    24 дек 2018 в 20:21

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.