У меня есть 100 логов по 5-10ГБ, в которых записаны строки с данными
[double]:[double]:[int]:[string]:[string]:[string]:[string]:[int]
но не в этом суть
Считываю данные следующим образом: для каждого файла последовательно выполняю код
std::ifstream data;
std::string line;
while (std::getline(data, line))
{
// обработка данных
}
data.close();
По отдельности файлы обрабатываются корректно, но вот когда они обрабатываются последовательно один за одним в рамках одной программы, происходит непонятное:
после ~2.900.000.000 строк (около 3 миллиардов строк) программа перестаёт считывать строки
Как я понимаю std::getline(data, line)
сразу возвращает false
Почему может возникать такая проблема и как с ней побороться? Программа скомпилирована как 64разрядная, везде используется __int64, long long int, т.е. никаких переполнений возникать не должно.
В Debug режиме посмотреть не могу :( программа и в Release работает долго, а уж в Debug не долждаться этой 3 миллиардной строки.
Может какой-то буфер переполняется (память не течет, вернее заметно не течет, т.е. на первый взгляд не видно) и надо его регулярно сбрасывать?
while (std::getline(data, line)) {}
, вылетает?DebugBreak()
или__EMIT__(0xCC);
или__asm { db 0xCC; };
или__asm { int 3;}
одно из сработает. Вызов точки останова можно совместить с оператором if так, что б отловить странную ситуацию в дебагере.