0

Необходимо посимвольно читать из файла в кодировке UTF-8

std::fstream fileStream;
fileStream.open(std::filesystem::path(fileName), std::ios_base::in);
std::string line;
while (!fileStream.eof())
{
    line += m_fileStream.get();
....
}

текст в фале кириллицей. На первой итерации в line мусор, на 2-й появляется реальный символ из файла, и так каждую четную итерацию.

при этом std::getline(fileStream, line); работает корректно, но мне нужно считывать до определенной последовательности, поэтому она не подходит.

Каким образом посимвольно считать в строку из файла? PS: желательно иметь одинаковый алгоритм при разных кодировках файла.

0

2 ответа 2

5

Символы кириллицы занимают 2 байта. Поэтому, нужно читать сразу по два. В некоторых случаях символы могут занимать 3 или даже 4 байта (для некоторых японских эмоджи). Что делать? читать UTF-8 правильно! Для начала смотрим в wiki uft-8. А потом понимаем, что для кириллицы (да и для 99% случаев, код будет такой. прочитать байт. Если байт меньше 128 - ок, это английский символ, все ок. Если нет, то посмотреть в первые биты. Если там '110xxxxx' - прочитать ещё один байт.

при этом std::getline(fileStream, line); работает корректно, но мне нужно считывать до определенной последовательности, поэтому она не подходит.

Правильно, потому что он читает до перевода строк, а при выводе консоль все делает за Вас. Если измерите строку в байтах (.length()), то обнаружите, что оно немного больше, чем реально выведено символов.

А ещё лучше прочитать строку, а потом делить ее на символы

4
  • >>А ещё лучше прочитать строку, а потом делить ее на символы а если строка на несколько гигабайт, а софт работает на роутере? 18 мар 2021 в 11:48
  • и эта строка там сохранена? значит есть достаточно памяти. И можно не читать строку, а просто хранить индексы. Но можно просто написать парсер.
    – KoVadim
    18 мар 2021 в 13:04
  • в условный "роутер" вставлена флешка на 64 гига, на которую пишется бинарный лог, файл лога может быть большим, перед закрытием в конец файла дописываются теги, по которым необходимо распарсить лог в человекочитаемый формат. Соотв-но грузить в ОЗУ не вариант, и надо парсить в стриме. PS: решил проблему отказавшись от std::string в пользу std::vector, в конце просто эти небольшие кусочки в стригу перевожу из вектора. 18 мар 2021 в 14:51
  • 1
    в данном случае вектор и строка - это почти одно и тоже. Если для строки не хватает размера, вряд ли для вектора хватит
    – KoVadim
    18 мар 2021 в 15:23
3

Можно читать символы стандартными средствами. wifstream умеет читать многобайтовые кодировки если верно установлена локаль:

// g++ -std=c++11 -pedantic -Wall -Wextra -Werror utf8.cpp

#include <fstream>
#include <iostream>
#include <locale>

int main(int argc, char **argv) {
    if (argc != 2) {
        return 1;
    }

    std::ios_base::sync_with_stdio(false);
    std::wcout.imbue(std::locale("C.UTF-8"));

    std::wifstream f(argv[1]);
    f.imbue(std::locale("C.UTF-8"));

    wchar_t c;
    while (f.get(c)) {
        std::wcout << "'" << c << "', ";
    }
}
$ g++ -std=c++11 -pedantic -Wall -Wextra -Werror utf8.cpp
$ cat input 
Hello world!
Привет, мир!
你好, 世界!
$ ./a.out input
'H', 'e', 'l', 'l', 'o', ' ', 'w', 'o', 'r', 'l', 'd', '!', '
', 'П', 'р', 'и', 'в', 'е', 'т', ',', ' ', 'м', 'и', 'р', '!', '
', '你', '好', ',', ' ', '世', '界', '!', '
', 

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.