У меня есть огромный файл txt формата (вес около 25 Гб) в нём определённые данные, мне нужно искать слово и если оно есть то выводить всю строку. Какой самый быстрый способ поиска и вообще целесообразно использовать txt или может перевести в другой формат например csv для увеличения скорости чтения? Кто поможет буду благодарен.
2 ответа
вы, скорее всего под виндой, но есть пакет busybox https://busybox.net/ команда grep (осуществляет указанный в комментарии) линейный поиск:
cat /путь/файл.txt | grep "слово_для поиска" # либо регулярное выражение
grep "string" file.txt
небольшая статья https://habr.com/ru/articles/229501/
если требуется регулярная выборка, то, действительно, лучше занести данные в базу данных. если вы начинающий, можете попробовать sqlite, h2, hsqldb
-
1А зачем конвейер?
grep "слово_для поиска" /путь/файл.txt
сделает то же самое, только быстрее– avp8 мая в 17:29 -
ну, например, когда идёт затем еще 2-3 поиска, одним запросом я ищу и подкрашиваю красным error, потом зелёным OK-success. и вуаля, визуальный мониторинг критического ресурса. вместо cat стоит tail -f файл.txt|– nexoma8 мая в 18:24
как вариант - использовать подход MapReduce. То есть, разбить файл на(допустим) сотню поменьше. Распараллелить обработку(с asyncio) каждого файла. Затем объединить данные. можно воспользоваться не asyncio а чем-то более знакомым -threading/multiprocessing
-
1Если не раскидывать файлы по разным физическим носителям (желательно на разных интерфейсах), то imho такой подход может лишь замедлить задачу, поскольку основное время тут будет тратиться на чтение данных с диска, а последовательное чтение (без перемещения головок) на порядок быстрее– avp8 мая в 17:33
-
-
С облачной службой (если, конечно, у вас не кластер с infiniband) вы в лучшем случае получите скорость в половину сырой скорости сетевого интерфейса (хорошо если это будет мегабайт 50 в секунду)– avp8 мая в 17:42
-
почему? 32 ядра 65 гигов, расп-ть и все. как пример -> aws.amazon.com/ru/ec2– Noskill8 мая в 17:46
-
Ваш комп (там где запущена программа, которая читает файл(ы) и ищет слово) подключен к облачной службе через сетевой интерфейс. Никакие данные от самой лучшей облачной службы (даже если ваши данные уже находятся там в памяти (в файловом кэше)) не попадут к вам быстрее, чем может пропустить интерфейс. Скорость сетевого интерфейса на порядок меньше скорости передачи из памяти в процессор. Поэтому количество ядер тут ни при чем. Скорость будет определяться самым медленным звеном в цепи передачи. А половина скорости интерфейса, это эмпирика (из личного опыта)– avp8 мая в 18:03