0

У меня есть огромный файл txt формата (вес около 25 Гб) в нём определённые данные, мне нужно искать слово и если оно есть то выводить всю строку. Какой самый быстрый способ поиска и вообще целесообразно использовать txt или может перевести в другой формат например csv для увеличения скорости чтения? Кто поможет буду благодарен.

1
  • 3
    Упаковать в базу данных. Конкретный ответ зависит от того, какие конкретно у вас данные, есть ли у них структура? Иначе, что бы Вы не делали, у Вас будет только линейная скорость поиска
    – Vovin
    7 мая в 22:50

2 ответа 2

1

вы, скорее всего под виндой, но есть пакет busybox https://busybox.net/ команда grep (осуществляет указанный в комментарии) линейный поиск:

cat /путь/файл.txt | grep "слово_для поиска" # либо регулярное выражение
grep "string" file.txt

небольшая статья https://habr.com/ru/articles/229501/

если требуется регулярная выборка, то, действительно, лучше занести данные в базу данных. если вы начинающий, можете попробовать sqlite, h2, hsqldb

2
  • 1
    А зачем конвейер? grep "слово_для поиска" /путь/файл.txt сделает то же самое, только быстрее
    – avp
    8 мая в 17:29
  • ну, например, когда идёт затем еще 2-3 поиска, одним запросом я ищу и подкрашиваю красным error, потом зелёным OK-success. и вуаля, визуальный мониторинг критического ресурса. вместо cat стоит tail -f файл.txt|
    – nexoma
    8 мая в 18:24
0

как вариант - использовать подход MapReduce. То есть, разбить файл на(допустим) сотню поменьше. Распараллелить обработку(с asyncio) каждого файла. Затем объединить данные. можно воспользоваться не asyncio а чем-то более знакомым -threading/multiprocessing

6
  • 1
    Если не раскидывать файлы по разным физическим носителям (желательно на разных интерфейсах), то imho такой подход может лишь замедлить задачу, поскольку основное время тут будет тратиться на чтение данных с диска, а последовательное чтение (без перемещения головок) на порядок быстрее
    – avp
    8 мая в 17:33
  • если не использовать что-то наподобие облачной службы, то да, согласен.
    – Noskill
    8 мая в 17:37
  • С облачной службой (если, конечно, у вас не кластер с infiniband) вы в лучшем случае получите скорость в половину сырой скорости сетевого интерфейса (хорошо если это будет мегабайт 50 в секунду)
    – avp
    8 мая в 17:42
  • почему? 32 ядра 65 гигов, расп-ть и все. как пример -> aws.amazon.com/ru/ec2
    – Noskill
    8 мая в 17:46
  • Ваш комп (там где запущена программа, которая читает файл(ы) и ищет слово) подключен к облачной службе через сетевой интерфейс. Никакие данные от самой лучшей облачной службы (даже если ваши данные уже находятся там в памяти (в файловом кэше)) не попадут к вам быстрее, чем может пропустить интерфейс. Скорость сетевого интерфейса на порядок меньше скорости передачи из памяти в процессор. Поэтому количество ядер тут ни при чем. Скорость будет определяться самым медленным звеном в цепи передачи. А половина скорости интерфейса, это эмпирика (из личного опыта)
    – avp
    8 мая в 18:03

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.