Осваиваю с++ после c#. Пишу программу для обработки словарей для на с++.
Хочу считывать файл в память в виде массива строк или вектора со строками
столкнулся с проблемой выбора варианта считывания текстового файла с диска. Диск SSD. файл размером 136 МБ считывается вот таким способом:
ifstream file("rockyou.txt");
file.seekg(0, ios_base::end);
size_t size = file.tellg();
file.seekg(0, ios_base::beg);
string buffer(size, ' ');
file.read(&buffer[0], size);
за ~700 мс. Быстро, но в буфере получаем массив символов и для построчной дальнейшей обработки это не подходит. Если считывать так:
list<string> stringList;
if (file.is_open())
{
while (!file.eof())
{
getline(file, line);
stringList.push_back(line);
}
file.close();
}
То считывается в лист строк за 7800 мс. Обрабатывать строки можно, но скорость низкая. К примеру C# в таком варианте даже с проверкой на условие тот же словарь обрабатывает за 1380мс:
using(StreamReader streamReader = File.OpenText(inputDict))
{
string s = String.Empty;
while ((s = streamReader.ReadLine()) != null)
{
if(s.Length>7 && s.Length < 30 && !(s.IndexOf(' ') >= 0))
{
count++;
}
}
}
Хочется именно разобраться с решением задачи в среде С++ больше с образовательной целью.
string buffer(size, ' ');
кушает много много. Ей ведь не только нужно память выделить, а и заполнить ее данными, которые будут очень скоро перетерты.