1

Добрый день! У меня есть файл в формате txt на ~3,5 млн. строк. Большинство строк примерно такого вида:

Иванов Иван Иванович 12.02.1942 675195, Москва, ул. Ивановых, дом 15, 4512 125345 выдан Орденом Ивановых 11.11.2011.

Соответственно, я пытаюсь записать строки в DataFrame и разбить на столбцы по регулярному выражению таким кодом:

#Входной и выходной файлы
file = 'file.txt'
out = 'file1.txt'

#Чтение файла и запись в список
data = []
with open(file) as read_file:
    for line in read_file:
        data.append(line.strip())
read_file.close()

#Создание фрейма
df = pd.DataFrame({'Name' : data})

#Регулярка, проверенная на regex101.com
rx = '(?P<Name>.*?)\s+(?P<Date>\d{2}\.\d{2}\.\d{4})\s+(?P<Adress>.*)\s+(?P<Passport>\d{4}\s+.*)'

#Запись во фрейм
df = df.Name.str.extract(rx, expand=True)

В результате этого кода Python уходит в задумчивость из которой больше не возвращается.

Функуция timeit дает тот же эффект - задумчивость.

Подскажите, пожалуйста, как быть?

UPDATE: Решил разбить строки по сериям, которые складываются во фрейм таким образом и все получилось как надо:

#Регулярные выржаения для разделителей
rxName = '(?P<Name>[а-яАЁ-ёя\s]*)'
rxDate = '(?P<Date>\d{2}.\d{2}.\d{4})'
rxAdress = '(?P<Adress>\d*,\s\D*\s\d*)'
rxPassport = '(?P<Passport>\d{4}\s\D\d{6}\s.*\s\\d{2}.\d{2}.\d{4})$'

#Процедура разделения по столбцам
df['Name'] = df.Name.str.extract(rxName, expand=False)
df['Date'] = df.Name.str.extract(rxDate, expand=False)
df['Adress'] = df.Name.str.extract(rxAdress, expand=False)
df['Passport'] = df.Name.str.extract(rxPassport, expand=False)

Похоже что в задумчивость Python вводили некоторые строки, которые сильно не соответствовали шаблону и поэтому он не понимал в какую группу их отнести.

Решение конечно не идеальное, наверняка есть и получше, но работает.

3
  • Комментарии не предназначены для расширенной дискуссии; разговор перемещён в чат.
    – user177221
    3 июн 2017 в 12:31
  • 1
    В общем случае (без pandas), можно mmap использовать, чтобы применить регулярное выражение к файлу (пример)
    – jfs
    26 июл 2017 в 22:32
  • А что собственно с этими строками вы хотите делать? Отсортировать, отфильтровать, что-то проанализировать? У вас оперативной памяти сколько? Хватает для всего считывания данных? Вот полезная статья - quora.com/… 26 авг 2017 в 5:58

1 ответ 1

1

При разделении строк в файлах большого объема с использованием регулярного выражения имеет смысл разделять строку отдельно по группам и затем собирать полученнные серии в датафрейм.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.