2

Мне требуется написать функцию, выводящую в переменную все данные, заключенные между двумя ключевыми словами (они одинаковы для всех, так что их не должно быть в аргументе функции) в достаточно большом файле. К примеру, если у нас есть файл, состоящий из строки "Едет Грека через реку" и ключевые слова "Грека" и "реку", то функция должна вернуть строку " через ". Пробовал подсчет байтов используя функцию len(), потом seek(), но этот способ кажется чересчур кривым. Должен быть вариант получше.

"Грека Едет Грека через реку в реку" в тех файлах, с которыми предстоит работать, такого быть не может. Можно просто выходить из программы, если между первым встреченным начальным маркером и первым встреченным конечным маркером есть еще один или несколько [маркеров].

7
  • уточните тип файла, возможен ли вариант, что маркеры лежат на разных линиях, жадный или ленивый алгоритм хотите ...?
    – Lex Hobbit
    Commented 17 июл. 2017 в 0:17
  • Тип файла txt. Маркеры могут лежать на разных линиях, да. Не совсем понял про жадный или ленивый алгоритм :) Commented 17 июл. 2017 в 0:29
  • 1
    "Грека Едет Грека через реку в реку", что должно вывеститсь в таком случае? (маркеры как в вопросе)
    – Lex Hobbit
    Commented 17 июл. 2017 в 0:31
  • Такой вариант я не рассматривал, потому что в тех файлах, с которыми предстоит работать, такого быть не может. Можно просто выходить из программы, если между первым встреченным начальным маркером и первым встреченным конечным маркером есть еще один или несколько. Commented 17 июл. 2017 в 0:40
  • А такой сегмент в файле один или много?
    – Nick Volynkin
    Commented 17 июл. 2017 в 8:00

3 ответа 3

1

А регулярные выражения можно использовать?

Часть регулярного выражения start(.*?)end, заключенная в скобки, называется группой. Мы хотим найти в тексте сегменты между нужными словами, но не включая сами эти слова. Поэтому искомую часть обозначаем группой.

Флаг re.DOTALL нужен для того, чтобы . обозначала в том числе (кроме любого символа) переносы строк — так мы найдем сегменты, у которых начальное и конечное слово находятся на разных строках.

re.escape() экранирует символы из искомых строк, которые могут быть прочитаны как синтаксис регулярного выражения. Без re.escape, например, точка в искомой строке будет означать "найти любой символ".

import re

def find_segments(text, start, end):
    pattern = re.escape(start) + r'(.*?)' + re.escape(end)
    return re.findall(pattern, text, flags=re.DOTALL)

text = """
Ехал Грека через реку
Грека-без-пробелов-через-реку
Грекареку пустая строка 
Ехал Грека через перенос строки 
реку
Грека Грека повтор начального слова реку
Грека повтор конечного слова реку реку
реку обратный порядок Грека
"""

print(find_segments(text, 'Грека', 'реку'))

[' через ', '-без-пробелов-через-', '', ' через перенос строки \n', ' Грека повтор начального слова ', ' повтор конечного слова ']
6
  • "Ехал Грека через перенос строки", посмеялся :) А что будет, если пары маркеров встречаются несколько раз? Commented 17 июл. 2017 в 8:04
  • @DenisBurov добавьте еще тестовых строк да проверьте.
    – Nick Volynkin
    Commented 17 июл. 2017 в 8:11
  • @Nick Volynkin♦ - насколько ваше решение оптимально?
    – Lex Hobbit
    Commented 17 июл. 2017 в 9:24
  • @LexHobbit а каков критерий оптимизации?
    – Nick Volynkin
    Commented 17 июл. 2017 в 9:54
  • 1
    @LexHobbit: для файлов, которые в память не помещаются, можно mmap+re.findall использовать.
    – jfs
    Commented 17 июл. 2017 в 18:10
1

Простой читаемый вариант:

import re
from pathlib import Path

segments = re.findall("(?s)Грека(.*?)реку", Path('файл.txt').read_text())

Чтобы в память весь файл целиком не загружать, можно mmap использовать:

import re
import locale
import mmap

charset = locale.getpreferredencoding(False)
with open('файл.txt', 'rb', 0) as file,\
      mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ) as s:
    for m in re.finditer("(?s)Грека(.*?)реку".encode(charset), s):
        print(m.group(1).decode(charset))  # print segment

Для сравнения, вот код без mmap для файла с большим количеством не очень больших строк:

import re

with open('файл.txt') as file:
    segment = []
    for line in file:
        for m in re.finditer('(Грека)|(реку)', line):
            is_start, is_end = m.groups()
            assert (bool(is_start) + bool(is_end)) == 1  # either or
            if is_start and not segment:  # start new segment
                segment.append(m.end(1))  # store the start index
            if is_end and segment:  # found the end of the segment
                segment.append(line[start_index(segment):m.start(2)])
                print(''.join(segment))  # print the full segment
                segment = []  # clear
        if segment:  # the segment hasn't ended, add the rest so far
            segment.append(line[start_index(segment):])

где повторяющийся код в функцию вынесен:

def start_index(segment):  # helper
    return segment.pop(0) if isinstance(segment[0], int) else 0

Результаты всех трёх вариантов совпадают в моих тестах.

0

Не уверен, что это более лучший вариант. Но готов буду выслушать критику тогда =)

import sys

def get_sentences(filename):
    with open(filename) as file_contents:
        d1, d2 = 'lot', 'Eggs' # just example delimiters
        res = []
        inCopy = 0
        for line in file_contents:
            start = 0
            end = len(line)
            if not inCopy:
                try:
                   start = line.index(d1)
                   inCopy += 1
                   line = line[start + len(d1):]
                except Exception as ex:
                    pass
            if inCopy:      
                try:
                   end = line.index(d2)
                   inCopy -= 1
                   line = line[:end]
                except Exception as e:
                   pass
                res.append(line)
            if inCopy == 0:
                yield res
            elif inCopy != 1:
                sys.exit(-1)

print (''.join(*get_sentences('data.txt')))
2
  • Мне очень понравился Ваш вариант! Но возникла проблема с запуском: >TypeError: join() takes exactly one argument (7 given). Commented 17 июл. 2017 в 3:00
  • @DenisBurov там * раскрывает объект-список в список аргументов функции. Видимо, в тексте по условию нашлось 7 фрагментов.
    – Nick Volynkin
    Commented 17 июл. 2017 в 3:19

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.