2

Подскажите пожалуйста, что-то туплю и не могу найти, как в 64 разрядном приложении из файла зачитать блок больший, чем 4ГБ, ReadFile не помогает (поскольку он для Win32)

И второй вопрос - выделение памяти больший размеров (свыше 4ГБ) ведь можно спокойно через new делать? (опять же в 64разрядном приложении) или лучше всякие VirtualAlloc использовать?

4
  • можно использовать сишные fredad/fwrite/fseek64, они все идут с size_t 19 сен 2018 в 13:29
  • А для чего вам нужно читать именно единственным вызовом ReadFile? Почему нельзя считать сколь угодно большой блок кусками в цикле? Ну будет у вас вместо одной строчки кода три, только и всего.
    – freim
    21 сен 2018 в 13:54
  • @freim, это конечно так, но если есть много памяти, система и программа 64битные, то почему бы не воспользоваться этим?
    – Zhihar
    22 сен 2018 в 8:59
  • @Zhihar, ReadFile никак не помешает вам работать с большими данными. Просто вы тот же большой блок читаете в цикле за несколько вызовов, а дальше точно так же работаете с ним единым блоком >4Гб. Проблема выеденного яйца не стоит, разве что такой цикл оскорбляет ваше эстетическое чувство. Ну так вынесите его в функцию ReadFile64, и все будет красиво. И уж точно будет на порядок проще, чем городить отображение файла в память.
    – freim
    22 сен 2018 в 12:25

3 ответа 3

6

Вы же с C++ работаете, ну так и используйте себе спокойно потоки...

Visual C++ 2017, режим x64.

Создаю файл 5Г:

int main(int argc, const char * argv[])
{
    unsigned long long const SIZE = 5ll*1024ll*1024ll*1024ll;
    try {
        char * buf = new char[SIZE];
        for(unsigned long long i = 0; i < SIZE; ++i)
            buf[i] = i%200;

        cout << (void*)buf << endl;
        ofstream of("test",ios::binary);
        of.write(buf,SIZE);
    } catch(...)
    {
        cout << "Error\n";
    }
}

Создался пятигиговый файл, никаких проблем.

Другой программкой (чтоб гарантированно память была чистая) читаю и проверяю:

int main(int argc, const char * argv[])
{
    unsigned long long const SIZE = 5ll*1024ll*1024ll*1024ll;
    try {
        char * buf = new char[SIZE];
        cout << (void*)buf << endl;
        ifstream in("test",ios::binary);
        in.read(buf,SIZE);
        cout << in.good() << endl;
        for(unsigned long long i = 0; i < SIZE; ++i)
            if ((unsigned char )buf[i] != i%200)
            {
                cout << "Wrong! at i = " << i << endl;
                break;
            };

    } catch(...)
    {
        cout << "Error\n";
    }
}

Все нормально отрабатывает, без привлечения каких-то вне-С++-овых сущностей...

P.S. Хотя с моей точки зрения такие куски в память засасывать - все же извращение...

2
  • Harry, ничего не поделать - у меня вообще около 10-16ГБ :) данные обрабатываются и то потому что больше оперативки нет и считывается/записывается кусками. А поясните пожалуйста про ofstream - т.е. это вообще отказ от WinAPI, поскольку мне всякие фишки связанные с правами не нужны, то можно использовать такую запись смело? А как обстоят дела со скоростью - по сравнению с WinAPI, а то я и чтение тогда бы через потоки сделал бы, правда там мне надо многократно из файла считывать т.е. setFilePointerEx использовать (опять же 64битный)
    – Zhihar
    19 сен 2018 в 14:30
  • В режиме x64 тип streamsize - 64-битовый, так что проблем никаких нет. Права при работе будут как у пользователя - от имени которого запущена программа. Скорость... Ну, зависит от машины, но поскольку все реализуется все равно через API, то такая же :) А поскольку чтение само по себе операция тормозная, то разницы не будет заметно точно. P.S. Замерил у себя - немногим меньше минуты, порядка 90 Mb/s - словом, дисковая скорость...
    – Harry
    19 сен 2018 в 14:38
4

Может вообще файл "не читать"? Используя WinAPI можно спроецировать файл в память, см. CreateFile -> CreateFileMapping -> MapViewOfFile. Таким образом программа как будто бы работает с боооольшим участком памяти. Есть также некоторая надежда, что система и не будет читать тех кусков файла, которые не понадобятся.

4
  • Да, это может оказаться куда лучшим решением, чем работа с такими количествами памяти.
    – Harry
    19 сен 2018 в 14:55
  • не факт, конечно его можно замаппить и работать как с памятью, но скорость будет невысокая, выгоднее считать буфер и работать с ним (учитывая, что мне нужно только последовательное чтение данных - у меня последовательно находятся записи, которые я и обрабатываю и обработав одну запись к ней уже не возвращаюсь)
    – Zhihar
    19 сен 2018 в 14:56
  • @Zhihar ну что там быстрее сказать сложно без измерений, но выделение и ЗАПОЛНЕНИЕ из файла буфера точно сожрет оперативку, а замапленный файл, может быть, и нет.
    – Alex Titov
    19 сен 2018 в 15:04
  • 2
    Мне кажется (понятно, что надо экспериментировать!), что если нужно обращение последовательное - то отображение в память должно дать неплохой результат. Если постоянно лезть в разные концы - тогда вопрос, конечно. Но! Все же, не XY ли проблема у нас? Не выясняем ли, в какой руке держать микроскоп, а не как забить гвоздь? можно немного подробнее, в чем состоит изначальная задача и что за обработка таких огромных файлов?...
    – Harry
    19 сен 2018 в 17:46
2
// Returns the number of bytes actually read
__int64 ReadFile64(HANDLE hFile, LPVOID buf, __int64 size) {
  DWORD len;
  DWORD bytesRead;
  __int64 readTotal = 0;

  _ASSERTE (size > 0);
  do {
    len = (size > (unsigned __int64)ULONG_MAX) ? ULONG_MAX : (unsigned long)size;
    if (!ReadFile(hFile, buf, len, &bytesRead, NULL)) ProcessError();
    buf = (LPBYTE)buf + bytesRead;;
    size -= bytesRead;
    readTotal += bytesRead;
  } while (size > 0 && bytesRead == len);

  return readTotal ;
}

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.