3

Веду разработку на операционной системе macOS. Возникают кучи проблем с кириллицей (string или char*), например, при работе с функциями regex, ::tolower/::toupper и тд.

При запросе locale в терминале, имею следующее:

LANG="ru_RU.UTF-8"
LC_COLLATE="ru_RU.UTF-8"
LC_CTYPE="ru_RU.UTF-8"
LC_MESSAGES="ru_RU.UTF-8"
LC_MONETARY="ru_RU.UTF-8"
LC_NUMERIC="ru_RU.UTF-8"
LC_TIME="ru_RU.UTF-8"
LC_ALL=

Использую C++11. Boost принципиально использовать не хочу и, желательно, чтобы решение могло быть перенесено в будущем на линкус (отсылка к непереносимому codecvt).

Собственно сам вопрос: как можно исправить проблему кириллицы во всей программе? Например, использовать грамотно locale.h (и как это - грамотно?) или что-нибудь еще.

UPD:

Вывод текста я осуществляю непосредственно в консоль. В консоль вывод происходит отлично, вот только преобразования через transform, используя параметры ::tolower, ::toupper успешно игнорируются. Используя codecvt я смог получить из string -> wstring, выполнил ::tolower и смог так же сделать wstring->string, однако, это явный "костыль" и использовать его всегда, когда мне надо что-то сделать с байтами строки - не выход.

Если я вывожу русский текст в ncurses, получается так: (Я какой-то текст) "Я какой-?~Bо ?~Bек?~A?~B"

8
  • а в какой среде разрабатываете???
    – Alex.B
    19 янв 2017 в 12:06
  • @Alex.B для практичности я использую GCC (g++) 19 янв 2017 в 12:20
  • Пожадуйста, поясните о каких проблемах идет речь? То есть вопрос надо сузить он слишком общий.
    – Cerbo
    19 янв 2017 в 15:18
  • @Cerbo "Я какой-то текст" отображается как "Я какой-?~Bо ?~Bек?~A?~B" 19 янв 2017 в 16:29
  • @ЯковЛинг Где отображается? И уточнения надо в вопрос добавлять, его можно править. Такие здесь правила.
    – Cerbo
    19 янв 2017 в 17:22

1 ответ 1

0

Очень понимаю ваше желание не использовать Boost(тоже такой принцип).

Что бы раз и навсегда забыть о проблемах с кодировкой лучше всего использовать utf8 и в STL есть его реализация wstring.

wstring str = u8"кириллический текст";//u8 преобразует ansi символы в utf8.

Используя wstring о проблемах с локалью можно забыть.

Из плюсов это переносимость на всё что угодно, а из минусов это повышенное потребление памяти(не смертельно но всё же).

И, кстати говоря, считается правилом хорошего тона не использовать std::wcout и std::cout (равно как и пару std::wcin и std::cin) в пределах одного приложения(есть проблемы их совместного использования).

8
  • 1
    Только вот с вводом wstring (wchar) есть по крайней мере 2 проблемы. 1) Нельзя смешивать однобайтное и wide-character чтение (cin/wcin (а также cout/wcout, кстати) т.е. getchar() и ее аналоги с getwchar() и др.) и 2) если ввод содержит неверную для локали wide-character последовательность, то это приводит к невосстановимой ошибке чтения (как следствие, читать что-то вроде дампа базы, содержащее смесь произвольных двоичных данных и текста таким образом не получится)
    – avp
    26 фев 2017 в 21:45
  • @avp С первым не согласен. однобайтовые(ansi) символы отлично помещаются в wchar(просто потому что wchar больше), а utf8 устроен так то ansi символы == utf8 символам. А со вторым да. Вы абсолютно правы. и тут решение только с конвертацией кодировки. На ум приходит Boost::locale но я уверен что есть другие библиотеки для конвертации. Но мне кажется что второе я не правильно понял и вы хотите хранить использовать стринг как буфер(если это так то это плохая идея). 26 фев 2017 в 21:55
  • 1
    Пример (желательно для linux/g++) в студию. / А для utf-8 я обычно использую свой набор функций (+ ucsutf.h) с которыми можно работать и вообще без locale
    – avp
    26 фев 2017 в 22:03
  • 2
    Эм.. С каких пор wstring - это utf8? Вроде же utf16, не?
    – Qwertiy
    29 апр 2017 в 11:20
  • 1
    @Qwertiy wstring содержит wchar_t (на Windows wchar_t содержит utf-16 code unit, на других системах он достаточно широк, чтобы любой Unicode code point поместился. В любом случае, узкие строки u8"" (char — байты) это не широкие строки (wchar_t). Хотя одно в другое можно преобразовать: std::wstring_convert<std::codecvt_utf8<wchar_t>>().from_bytes(u8"<abc абв αβγ 😂>");
    – jfs
    29 апр 2017 в 17:12

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.