0

Версия Python. Microsoft Windows [Version 6.1.7601] (c) Корпорация Майкрософт (Microsoft Corp.), 2009. Все права защищены.

C:\Users\admin>python --version Python 3.5.0

C:\Users\admin> Задача: Построчно читать файл и с помощью регулярных выражений извлечь из него e-mailы.

Я написал такой

import re

file_name = "path to file base.txt"
result_file_name = "path to file result.txt"
my_file = open(file_name, mode="r", encoding="UTF-8", )
results_file_read = open(result_file_name, mode="w", encoding="UTF-8")

my_text = my_file.read()
look_for = r"[\w.-]+@[A-Za-z-]+\.[\w.]+"


results = re.findall(look_for, my_text)

for item in results:
    print(item)
    results_file_read.write(item + "\n")
print("Total: " + str(len(results)))

но он работает с файлами до 100мб, а у меня один txt файл 8гб. Разбивать файл не вариант т.к на это уйдет много времени.

Подскажите пожалуйста: как в Python 3 читать файл построчно и обрабатывай его регулярным выражением.

P.S файлы свыше 100 мб выдают ошибку Memory Error (не зависит от ОЗУ запускал на сервере с 8гб ОЗУ не помогло). Так же такие файлы выдают ошибку UnicodeDecodeError: 'charmap' codec can't decode byte 0x90 in position 2907500: character maps to <undefined> (кодировка файла-базы проверил utf8 поэтому подозреваю проблема скорее в размере файла нежели в кодировке т.к файлы меньше 100 мб обрабатываюся нормально).

https://gist.github.com/pySamurai/4f4eb8c3474e8ff8e05ac28347113781

3
  • 1
    for line in my_file:
    – andreymal
    9 авг 2018 в 18:24
  • У вас один файл 8ГБ или папка с файлами, общим объемом 8Г?
    – Hellseher
    9 авг 2018 в 22:58
  • Один txt файл-база. 10 авг 2018 в 11:56

3 ответа 3

1

Плохая идея делать findall так как он выгружает все результаты в один массив.

results = re.findall(look_for, my_text)

Для таких данных лучше подойдет finditer

В вашем случае просто замените на:

results = re.finditer(look_for, my_text)

А читать файл построчно можно просто через встроенный итератор:

for line in my_file:
    ...
2
  • Спасибо за ваш ответ но, мне нужно непросто прочитать построчно, мне нужно в каждой строке прочитанной тут же применить регулярных выражений. 9 авг 2018 в 19:42
  • 1
    Так что мешает?
    – eri
    10 авг 2018 в 4:43
1

Чтобы построчно прочитать файл с текстом, закодированным в utf-8 кодировке, и напечатать e-mail, выбранные с помощью регулярного выражения:

with open('входной файл.txt', encoding='utf-8') as file:
    for line in file:
        m = email_regex.search(line)   
        if m:  # found email
            print(m.group(1), end='')  # print e-mail

где email_regex = re.compile(r'your (e-mail) regex').

-1

Вопрос и ответ на него вышел как испытание новых трюков, может пригодится.

Примеры проходят на GNU/Linux:

~$ uname -r; lsb_release -sir
4.17.3-200.fc28.x86_64
Fedora 28

Создаем "большой файл" 100M+ c размером строк 80

~$ strings /dev/urandom | head -c 200M | sed -e ':a;N;$!ba;s/\n//g' -e 's/ //g' -e 's/\t//g' | fold -s -w80 > file_100M_plus

~$ ls -gaGh file_100M_plus
-rw-rw-r--. 1 163M Aug  9 22:25 file_100M_plus

Для сравнения пробуем прочесть тем, что уже есть в системе - cat

$ time cat file_100M_plus > /dev/null
real    0m0.034s
user    0m0.000s
sys     0m0.034s

Набрасываем небольшой скрипт на основе требований в вопросе:

open_large_file.py

#!/usr/bin/env python3

import re
import os
import sys

def with_open_file(filepath):
    ''' Open file line-by-line, checking if it exists '''
    if not os.path.isfile(filepath):
        print("File {} does not exist. Exit.".format(filepath))
        sys.exit()
    with open(filepath, mode='r', encoding="UTF-8") as fl:
         return fl.readlines()

def matched_email(string_in):
    ''' Retrun matched email as a list of strings '''
    email_re = re.compile(r'[\w.-]+@[A-Za-z-]+\.[\w.]+')
    return email_re.findall(str(string_in))

def main():
    if len(sys.argv) != 3:
        print("Not enough arguments.\nusage: {} file_in file_out.\n Exit.".format(sys.argv[0]))
        sys.exit()

    f_in_path = sys.argv[1]
    f_out_path = sys.argv[2]
    matched_list = []

    print("Reading input file: {}".format(f_in_path))
    for l in with_open_file(f_in_path):
      matched_list += matched_email(l)

    print("Writing to file: {}".format(f_out_path))
    with open(f_out_path, mode='w') as wf:
        wf.write("\n".join(matched_list))

if __name__ == '__main__':
    main()
# End of script

Гоняем тесты

~$ time ./open_large_file.py file_100M_plus out_file
Reading input file: file_100M_plus
Writing to file: out_file
real    0m14.616s
user    0m14.446s
sys     0m0.141s

~$ time perl -lne 'print $1 if /([\w.-]+@[A-Za-z-]+\.[\w.]+)/i' file_100M_plus > /dev/null
real    0m2.938s
user    0m2.900s
sys     0m0.032s

~$ time grep -Po "[\w.-]+@[A-Za-z-]+\.[\w.]+" file_100M_plus  > /dev/null

real    0m0.002s
user    0m0.000s
sys     0m0.002s

Сравним

Python: 0m14.616s
Perl: 0m2.938s
grep: 0m0.002s

Для пользователей Windows

Проверял с испльзованием Python 3.5.0 с главного сайта https://www.python.org/ После установки должен быть доступен py.exe

> py.exe C:\Users\admin\Documents\Python\Parsing\Mail.txt .\Parsed.txt
7
  • Спасибо за ваш ответ. Но к сожалению ваш скрипт выдал ошибку Traceback (most recent call last): File "test_pars.py", line 34, in <module> main() File "test_pars.py", line 21, in main f_in_path = sys.argv[1] IndexError: list index out of range И ещё я понимаю так. Чтобы передать путь к файлу необходимо передать функции with_open_file("C://Users//admin//Documents//Python//Parsing//Mail.txt")поправьте меня если это не так. 10 авг 2018 в 12:00
  • @МихаилРоманов добавте в вопрос вывод python --version. вы можете заменить полным путем
    – Hellseher
    10 авг 2018 в 17:21
  • Microsoft Windows [Version 6.1.7601] (c) Корпорация Майкрософт (Microsoft Corp.), 2009. Все права защищены. C:\Users\admin>python --version Python 3.5.0 C:\Users\admin> 10 авг 2018 в 18:15
  • @МихаилРоманов обновил ответ, укажите прямой путь к вашей базе и желаемое имя для файла выхлопа (создается или перезаписывается автоматически)
    – Hellseher
    10 авг 2018 в 19:03
  • Я так и делал выдает ошибку Traceback (most recent call last): File "test_pars.py", line 34, in <module> main() File "test_pars.py", line 21, in main f_in_path = sys.argv[1] IndexError: list index out of range 10 авг 2018 в 20:03

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.