0

Версия Python. Microsoft Windows [Version 6.1.7601] (c) Корпорация Майкрософт (Microsoft Corp.), 2009. Все права защищены.

C:\Users\admin>python --version Python 3.5.0

C:\Users\admin> Задача: Построчно читать файл и с помощью регулярных выражений извлечь из него e-mailы.

Я написал такой

import re

file_name = "path to file base.txt"
result_file_name = "path to file result.txt"
my_file = open(file_name, mode="r", encoding="UTF-8", )
results_file_read = open(result_file_name, mode="w", encoding="UTF-8")

my_text = my_file.read()
look_for = r"[\w.-]+@[A-Za-z-]+\.[\w.]+"


results = re.findall(look_for, my_text)

for item in results:
    print(item)
    results_file_read.write(item + "\n")
print("Total: " + str(len(results)))

но он работает с файлами до 100мб, а у меня один txt файл 8гб. Разбивать файл не вариант т.к на это уйдет много времени.

Подскажите пожалуйста: как в Python 3 читать файл построчно и обрабатывай его регулярным выражением.

P.S файлы свыше 100 мб выдают ошибку Memory Error (не зависит от ОЗУ запускал на сервере с 8гб ОЗУ не помогло). Так же такие файлы выдают ошибку UnicodeDecodeError: 'charmap' codec can't decode byte 0x90 in position 2907500: character maps to <undefined> (кодировка файла-базы проверил utf8 поэтому подозреваю проблема скорее в размере файла нежели в кодировке т.к файлы меньше 100 мб обрабатываюся нормально).

https://gist.github.com/pySamurai/4f4eb8c3474e8ff8e05ac28347113781

3
  • 1
    for line in my_file:
    – andreymal
    9 авг 2018 в 18:24
  • У вас один файл 8ГБ или папка с файлами, общим объемом 8Г?
    – Hellseher
    9 авг 2018 в 22:58
  • Один txt файл-база. 10 авг 2018 в 11:56

3 ответа 3

1

Плохая идея делать findall так как он выгружает все результаты в один массив.

results = re.findall(look_for, my_text)

Для таких данных лучше подойдет finditer

В вашем случае просто замените на:

results = re.finditer(look_for, my_text)

А читать файл построчно можно просто через встроенный итератор:

for line in my_file:
    ...
2
  • Спасибо за ваш ответ но, мне нужно непросто прочитать построчно, мне нужно в каждой строке прочитанной тут же применить регулярных выражений. 9 авг 2018 в 19:42
  • 1
    Так что мешает?
    – eri
    10 авг 2018 в 4:43
1

Чтобы построчно прочитать файл с текстом, закодированным в utf-8 кодировке, и напечатать e-mail, выбранные с помощью регулярного выражения:

with open('входной файл.txt', encoding='utf-8') as file:
    for line in file:
        m = email_regex.search(line)   
        if m:  # found email
            print(m.group(1), end='')  # print e-mail

где email_regex = re.compile(r'your (e-mail) regex').

-1

Вопрос и ответ на него вышел как испытание новых трюков, может пригодится.

Примеры проходят на GNU/Linux:

~$ uname -r; lsb_release -sir
4.17.3-200.fc28.x86_64
Fedora 28

Создаем "большой файл" 100M+ c размером строк 80

~$ strings /dev/urandom | head -c 200M | sed -e ':a;N;$!ba;s/\n//g' -e 's/ //g' -e 's/\t//g' | fold -s -w80 > file_100M_plus

~$ ls -gaGh file_100M_plus
-rw-rw-r--. 1 163M Aug  9 22:25 file_100M_plus

Для сравнения пробуем прочесть тем, что уже есть в системе - cat

$ time cat file_100M_plus > /dev/null
real    0m0.034s
user    0m0.000s
sys     0m0.034s

Набрасываем небольшой скрипт на основе требований в вопросе:

open_large_file.py

#!/usr/bin/env python3

import re
import os
import sys

def with_open_file(filepath):
    ''' Open file line-by-line, checking if it exists '''
    if not os.path.isfile(filepath):
        print("File {} does not exist. Exit.".format(filepath))
        sys.exit()
    with open(filepath, mode='r', encoding="UTF-8") as fl:
         return fl.readlines()

def matched_email(string_in):
    ''' Retrun matched email as a list of strings '''
    email_re = re.compile(r'[\w.-]+@[A-Za-z-]+\.[\w.]+')
    return email_re.findall(str(string_in))

def main():
    if len(sys.argv) != 3:
        print("Not enough arguments.\nusage: {} file_in file_out.\n Exit.".format(sys.argv[0]))
        sys.exit()

    f_in_path = sys.argv[1]
    f_out_path = sys.argv[2]
    matched_list = []

    print("Reading input file: {}".format(f_in_path))
    for l in with_open_file(f_in_path):
      matched_list += matched_email(l)

    print("Writing to file: {}".format(f_out_path))
    with open(f_out_path, mode='w') as wf:
        wf.write("\n".join(matched_list))

if __name__ == '__main__':
    main()
# End of script

Гоняем тесты

~$ time ./open_large_file.py file_100M_plus out_file
Reading input file: file_100M_plus
Writing to file: out_file
real    0m14.616s
user    0m14.446s
sys     0m0.141s

~$ time perl -lne 'print $1 if /([\w.-]+@[A-Za-z-]+\.[\w.]+)/i' file_100M_plus > /dev/null
real    0m2.938s
user    0m2.900s
sys     0m0.032s

~$ time grep -Po "[\w.-]+@[A-Za-z-]+\.[\w.]+" file_100M_plus  > /dev/null

real    0m0.002s
user    0m0.000s
sys     0m0.002s

Сравним

Python: 0m14.616s
Perl: 0m2.938s
grep: 0m0.002s

Для пользователей Windows

Проверял с испльзованием Python 3.5.0 с главного сайта https://www.python.org/ После установки должен быть доступен py.exe

> py.exe C:\Users\admin\Documents\Python\Parsing\Mail.txt .\Parsed.txt
7
  • Спасибо за ваш ответ. Но к сожалению ваш скрипт выдал ошибку Traceback (most recent call last): File "test_pars.py", line 34, in <module> main() File "test_pars.py", line 21, in main f_in_path = sys.argv[1] IndexError: list index out of range И ещё я понимаю так. Чтобы передать путь к файлу необходимо передать функции with_open_file("C://Users//admin//Documents//Python//Parsing//Mail.txt")поправьте меня если это не так. 10 авг 2018 в 12:00
  • @МихаилРоманов добавте в вопрос вывод python --version. вы можете заменить полным путем
    – Hellseher
    10 авг 2018 в 17:21
  • Microsoft Windows [Version 6.1.7601] (c) Корпорация Майкрософт (Microsoft Corp.), 2009. Все права защищены. C:\Users\admin>python --version Python 3.5.0 C:\Users\admin> 10 авг 2018 в 18:15
  • @МихаилРоманов обновил ответ, укажите прямой путь к вашей базе и желаемое имя для файла выхлопа (создается или перезаписывается автоматически)
    – Hellseher
    10 авг 2018 в 19:03
  • Я так и делал выдает ошибку Traceback (most recent call last): File "test_pars.py", line 34, in <module> main() File "test_pars.py", line 21, in main f_in_path = sys.argv[1] IndexError: list index out of range 10 авг 2018 в 20:03

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.