1

Самый быстрый способ удалить первую строку из файла это:

var lines = File.ReadLines("input.txt").Skip(1);
File.WriteAllLines("output.txt", lines);

Однако нужно совершить подобную операцию для файла весом 500МБ, и сделать это из SQL сборки (dll файл) и как следствие есть ограничение на использование оперативной памяти процессом. Есть ли какой другой способ?

2 ответа 2

5

да, и он очень простой и наивный.

(я шарп практически не знаю, поэтому пишу алгоритм. Он будет работать практически на любом языке, который умеет работать с файлами)

(алгоритм считает, что строки нумеруются с 1)

открыть исходный файл на чтение
открыть временный файл на запись.
счетчик строк = 0
пока (есть строки в исходном файле) (while (not in.eof()))
  прочитать строку
  увеличить счетчик строк на 1
  если счетчик строк равен заданной строке, то пропустить (continue)
  записать прочитанную строку в временный файл.
конец_цикла

закрыть исходный файл
закрыть временный файл
Удалить исходный файл
переместить временный файл на место исходного файла.

Этот алгоритм потребляет очень мало памяти (если только строки не очень длинные) и не зависит от размера файла.

Если есть желание, то можно сделать более быстрый алгоритм. Суть в том, что нужно пробежаться по файлу, найти смещение для строки и ее длину. Потом, сместившись на начало строки, подтянуть конец. Это будет сильно быстрее, если нужно удалить строки в конце.

3
  • Можно в качестве временного файла использовать исходный. В конце его просто надо усечь на длину удаленной строки. Очевидная оптимизация -- открываем исходный файл для модификации после чтения удаляемой строки и позиционируемся на ее начало. А быстрее всего сделать это через mmap. Мапируем файл в память, ищем заданную строку и ее длину, переписываем хвост в нужное место и усекаем файл.
    – avp
    11 авг 2014 в 8:29
  • фокус с временным файлом имеет один огромный плюс. Если в процессе переноса строк произойдет ошибка (а это всегда может случиться), то ничего плохого не будет - файл не потеряется (а для временного файла можно выставить специальный флажок - и система его сама подчистит).
    – KoVadim
    11 авг 2014 в 8:55
  • Безусловно. Если требуется, то таким манером (переименовывая файлы) можно делать .bak файлы.
    – avp
    11 авг 2014 в 9:48
5

.NET 4.0 и выше? Считать первую строку из потока, встать на ее длину+длину конца строки, сделать CopyTo с требуемым буфером. Что-нибудь типа:

        FileStream fs=new FileStream(inputFileName,FileMode.Open);
        StreamReader sr=new StreamReader(fs);

        FileStream fsnew = new FileStream(outputFileName, FileMode.Create);
        var ss=sr.ReadLine();

        fs.Seek(ss.Length+rowTerminator.Length,SeekOrigin.Begin);
        fs.CopyTo(fsnew,81920);

на текстовом файле в 160мб отработало за 160мс. ReadLines/WriteAllLines - за 1400

2
  • Ну у меня разница была примерно в 1 сек в пользу ReadLines/WriteAllLines, но зато памяти жрёт намного меньше
    – DiegoTM
    11 авг 2014 в 23:26
  • Интересный разброс результатов! Наводит на мысли о правильности измерений (сколько раз запускать и в каком порядке, учитывать ли первый замер, удалять ли каждый раз результат и т.д.).
    – avp
    12 авг 2014 в 10:09

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.