0

Читать весь файл, размером 500-600 Мб я не могу, так как эти данные грузятся в оперативную память, для меня это слишком затратно.

Читаю файл file_get_content'ом c лимитом строк (условно по 1000 строк). Как мне после этого скажем удалить конкретные строки. Без использования $f = file.

Подробнее: Я читаю очень большой файл по 1000 строк (первые 1000 строк), по своему их обрабатываю и в зависимости от условий, какие-то строки нужно удалить, а какие-то оставить.

Я могу записывать результат во временный файл, а что если скрипт остановится или что-то еще, а возможности отката нет.

14
  • 3
    А sed не спасёт отца русской демократии?
    – alexlz
    28 ноя 2012 в 10:01
  • 1
    @ifrops, мне не понятны Ваши тревоги начет записи во временный файл. Как делали - так и делайте. Читаете по строкам старый, пишите нужные строки во временный. Потом переименовываете (mv) его в старый. Только делайте файлы на одной и той же файловой системе. Все ОК. Имя временного файла запоминаете в каком нибудь файле. Если скрипт свалился, то ничего страшного не произошло. Конечно, кто-то (м.б. сам скрипт перед началом основной работы) должен удалять "неактуальные" временные файлы.
    – avp
    28 ноя 2012 в 10:16
  • 1
    @avp Что значить "по месту"? Без создания результирующего файла? Так удаление строки в начале файла 600M с последующим перелопачиванием всех строк -- зрелище апокалиптическое. Ежели же речь идёт о том, что sed'у надо задавать имя результирующего файла -- так это не так.(-i)
    – alexlz
    28 ноя 2012 в 10:21
  • 1
    @ifrops: а что плохого, если скрипт упадёт? Ну во временном файле будут неправильные данные, удалите его нафиг и стартуйте скрипт заново.
    – VladD
    28 ноя 2012 в 11:08
  • 1
    @ifrops, если какие-то действия для решения Вашей задачи не подходят, то это потому что Вы ее (смысл задачи) толком не описали. Кстати, вот открыли Вы файл (целиком). Отсылаете данные. Скрипт падает. При повторном вызове он все равно будет их повторно отправлять (файл-то не изменился). Так что в этом плане ничего не улучшилось.
    – avp
    28 ноя 2012 в 11:45

2 ответа 2

4
cat myfile.txt | grep -v текст_строки_которого_удалить > newfile.txt

а вообще более подробно опишите, пару строк исходного файла, и что удаляете по какому принципу. Данный выше пример убог, и явно не для вашего случая, но и инфы мало ))

1
  • 5
    лучше избежать лишней команды: grep -v filter myfile.txt >newfile.txt
    – VladD
    28 ноя 2012 в 10:45
2

Идея такая.

Вычитываем с файла 100 (200, 1000 строк), фильтруем и пишем в результирующий файл. Потом отмечаем в специальном файле, сколько строк вычитали и с какой позиции (либо просто номер блока). И так далее в цикле.

Если скрипт упадет и его перезапустят, то он вычитает с спец файла метку для старта и начнет обрабатывать далее.

Минусов два:

  • некоторые блоки будут фильтроваться два раза и более (так как скрипт будет перезапускаться).
  • нужно как то отмечать в результирующем файле, что весь блок был записан. Например добавлять в конец файла метку, а при записи следующего блока - удалять и добавлять снова в конец.
1
  • Товарищи минусующие, вы хоть напишите, что вам не нравиться.
    – KoVadim
    6 дек 2012 в 8:00

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.