0

Осваиваю с++ после c#. Пишу программу для обработки словарей для на с++.

Хочу считывать файл в память в виде массива строк или вектора со строками

столкнулся с проблемой выбора варианта считывания текстового файла с диска. Диск SSD. файл размером 136 МБ считывается вот таким способом:

ifstream file("rockyou.txt");

file.seekg(0, ios_base::end);

size_t size = file.tellg();

file.seekg(0, ios_base::beg);

string buffer(size, ' ');

file.read(&buffer[0], size);

за ~700 мс. Быстро, но в буфере получаем массив символов и для построчной дальнейшей обработки это не подходит. Если считывать так:

   list<string> stringList;

   if (file.is_open())
    {
        while (!file.eof())
        {
            getline(file, line);
            stringList.push_back(line);
        }
        file.close();
    }

То считывается в лист строк за 7800 мс. Обрабатывать строки можно, но скорость низкая. К примеру C# в таком варианте даже с проверкой на условие тот же словарь обрабатывает за 1380мс:

 using(StreamReader streamReader = File.OpenText(inputDict))
    {
        string s = String.Empty;
        while ((s = streamReader.ReadLine()) != null)
        {
            
            if(s.Length>7 && s.Length < 30 && !(s.IndexOf(' ') >= 0))
            {
                count++; 
            }
        }    
        
    }

Хочется именно разобраться с решением задачи в среде С++ больше с образовательной целью.

14
  • 1
    stackoverflow.com/q/7868936/13970074
    – dIm0n
    28 авг 2020 в 14:50
  • 1
    А почему не считывать файл в буффер, а уже потом разбивать содержимое так как вам угодно? Вы же все равно весь файл считываете 28 авг 2020 в 14:52
  • 5
    вот эта строка string buffer(size, ' '); кушает много много. Ей ведь не только нужно память выделить, а и заполнить ее данными, которые будут очень скоро перетерты.
    – KoVadim
    28 авг 2020 в 14:54
  • 1
    @Deim - либо выделять неинициализированную память (через malloc), либо сделать чтения большими блоками (по 8-16кб) и парсингом. Вряд ли вся строка нужна в памяти сразу. Ещё один вариант, который я когда то делал - это считать эту строку, но паралельно держать вектор индексов, где какая строка начинается. Таким образом можно избежать лишнего копирования
    – KoVadim
    28 авг 2020 в 15:17
  • 1
    А чем не угодил ваш первый вариант stream::read() ? Если я ничего не путаю, то в буфер копируется блок данных без изменений, т.е. вы получаете строки, разделённые '\n', просто все подряд, в одном буфере. С ними вполне можно работать после этого.
    – Alex Kart
    28 авг 2020 в 16:22

2 ответа 2

1

Наиболее быстрый способ открытия файла оказался следующим (~300мс):

std::ifstream infile;
infile.open("D:\\dict\\rockyou.txt", std::ios::binary); // откроем файл как бинарный
infile.seekg(0, std::ios::end);
size_t file_size_in_byte = infile.tellg();
std::vector<char> data; // будем использовать для хранения текста
data.resize(file_size_in_byte);
infile.seekg(0, std::ios::beg);
infile.read(&data[0], file_size_in_byte);

string test(data.begin(), data.end()); //переведём в одну строку

Как упоминали в комментариях выше в полученной строке все строки из исходного файла разделены '\n'. Пока не нашёл способ закинуть все слова в массив или вектор. При попытке в цикле запихнуть слова в вектор получаю что объем памяти увеличивается до 2 и более Гб. При весе исходного файла в 136 мб.

string tmp;
vector<string> stringList;
for (char ch : data)
{
    if (ch != '\n')
    {
        tmp += ch;
    }
    else
    {            
        stringList.push_back(tmp);            
        tmp.clear();            
    }
}
8
  • 1
    В последнем коде память под строку многократно перевыделяется. Вместо этого можно при нахождении \n создать строку нужной длины и скопировать в неё данные от прошлого \n
    – MBo
    31 авг 2020 в 7:43
  • @MBo а можете поподробней написать, в каком месте память перевыделяется? и как этого избежать.
    – Deim
    31 авг 2020 в 7:58
  • думаю, даже код выше можно сильно ускорить. Там одно лишнее копирование
    – KoVadim
    31 авг 2020 в 8:06
  • 1
    память перевыделяется вот здесь: tmp += ch; На каждый символ происходит обновление строки, т.е. ~136 миллионов раз.
    – MBo
    31 авг 2020 в 8:10
  • @MBo К сожалению не понимаю как этого избежать. Мы пробегаемся по всем символам в векторе. То есть нам все равно нужно где-то хранить символы от \n до \n. То есть с самого начала алгоритм смотрит на символ, и он не равен \n. значит нужно его куда-то положить. далее тоже самое и потом когда наконец пришёл символ \n нужно полученное значение положить в вектор. заранее мы не знаем длинну строки между переносами. Она может быть 4 символа или 254 символа.
    – Deim
    31 авг 2020 в 8:34
0

Псевдокод для разбора массива данных по строкам (на случай, если стандартные методы с cin и пр. не хочется применять):

string tmp;
int returnpos = 0;
vector<string> stringList;
for (int i = 0; i< datalength; i++)
{
    if (data[i] == '\n')
    {
        make string tmp with length = i - returnpos
        movememory(&data[returnpos + 1], &tmp[0], i - returnpos);
        stringList.push_back(tmp);            
        returnpos = i;
    }
}
1
  • Всё равно что-то не то. Не пойму. проблема с памятью возникает после добавления строки в вектор. Выглядит это как увеличение объёма занимаемой памяти до 2-х Гб и потом вылет с ошибкой. В принципе в прошлых вариантах было тоже самое. Откуда там 2 Гб?
    – Deim
    31 авг 2020 в 12:27

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.