0

Имеется текстовый файл, в котором есть 150млн рандомных строчек (a-z). В этом файле нужно отсортировать строки по первой букве в алфавитном порядке. Ограничение: если во время сортировки нашлось больше чем 30к строчек на 1 букву, то нужно создать новый файл и закинуть туда остаток.

5
  • 2
    А что делать, если 30к строчек набралось, но на разные буквы? а что делать с остатком? а что делать, если миллион строк на разные буквы и 30к на одну?
    – strawdog
    21 окт 2020 в 14:01
  • @strawdog Не понял вопроса про разные буквы. Если на одну букву у меня, например, 60к строк, то программа должна создать новый текстовый файл и закинуть туда остаток. Т.е у меня ограничение 30к строк в одном документе. Если в результате сортировки получилось больше 30к, надо создать новый файл, дописать в его названии, допустим, 1 или букву А и закинуть туда остаток. UPD: Если это важно, то строки все одной длины. Максимум 15 символов
    – M1X
    21 окт 2020 в 14:46
  • 1
    В чём вопрос-то? Вы что-то cделали, но не всё получилось? Да и задача не поставлена нормально. Очевидно, что для почти всех букв строк будет более 30000.
    – MBo
    21 окт 2020 в 15:38
  • такие вещи лучше делать не на Python, а использовать стандартные утилиты Linux/UNIX: sort, awk, sed. Для Windows можно найти скомпилированные бинарники... 21 окт 2020 в 15:45
  • Приведите пример, только пусть у вас будет скажем 3 строки на букву a и 8 строк на букву b (всё это вперемешку в исходном файле). Ограничение размера выходного файла 5 строк при этом. Покажите какой должен быть результат в этом примере: какие файлы и с какими строками.
    – CrazyElf
    22 окт 2020 в 5:07

1 ответ 1

0

Ну, сделайте так, если я всё правильно понял.

  1. Создайте и откройте на запись файлы на каждую букву латинского алфавита от a.txt до z.txt
  2. Пройдите по вашему файлу и допишите каждую строку в файл, соответствующий первой букве этой строки.
  3. Теперь по очереди прочитайте содержимое файлов от a.txt до z.txt, записывая строки подряд в новый файл. Когда число записанных строк превышает ограничение - открывайте новый файл и пишите дальше туда.

Набросал код, включая создание входного файла, чтобы сразу протестировать это всё. На Google Colab файл в 15 млн. строк создаётся минуту и разбирается потом за 15 секунд. 150 млн. не пробовал, но, наверное, будет в 10 раз дольше, масштабируется тут всё линейно.

from random import choices
from tqdm.auto import tqdm

class LetterFile:
    def __init__(self, letter, max_lines):
        self.letter = letter
        self.number = 0
        self.line_count = 0
        self.max_lines = max_lines
        self.create()

    def create(self):
        self.open('w')

    def open(self, mode = 'w+'):
        self.file = open(self.letter + str(self.number) + '.txt', mode)

    def close(self):
        self.file.close()

    def append(self, line):
        self.file.write(line)
        self.line_count += 1
        if self.line_count >= self.max_lines:
            self.close()
            self.number += 1
            self.line_count = 0
            self.open()

def get_latin_letters():
    for ch in range(ord('a'), ord('z') + 1):
        yield chr(ch)

input_file_name = 'data.txt'
input_file_rows = 15_000_000
max_lines = 30_000
str_len = 15
alphabet = list(get_latin_letters())
print(*alphabet)

print('generating input file')
with open(input_file_name, 'w') as f:
    for i in tqdm(range(input_file_rows)):
        s = ''.join(choices(alphabet, k=str_len))
        f.write(s)
        f.write('\n')

files = {}

print('create files')
for ch in alphabet:
    f = LetterFile(ch, max_lines)
    files[ch] = f

print('process input file')
with open(input_file_name) as fr:
    for s in tqdm(fr.readlines()):
        fw = files[s[0]]
        fw.append(s)
 
print('closing files')
for ch in alphabet:
    f = files[ch]
    f.close()

Нумерация файлов такая: a0, a1 и т.д. Поменять её легко если что.

6
  • Да, можно, пожалуйста, код? Понятия не имею как это всё сортировать и как программа должна создать новый текстовый файл в случае превышения 30к
    – M1X
    22 окт 2020 в 4:38
  • Если программа, например, записывает все строки на букву A в файл a.txt и получается больше 30к, то она должна создать новый файл, сохранив исходное имя и дописав к нему 1. Т.е будет A_1.txt, A_2.txt и т.д
    – M1X
    22 окт 2020 в 4:41
  • Погодите, так в итоге в файлах должны ведь быть строки с разных букв, но сортированные? Тогда файлы из начального этапа не надо делить, это промежуточный этап. Или вы нечетко задачу сформулировали
    – CrazyElf
    22 окт 2020 в 5:03
  • Нужно прочитать перемешанный файл и перебрать все строки. Если строка попадает под условие: начинается с буквы а, то она идёт в соответствующий файл
    – M1X
    22 окт 2020 в 7:35
  • То есть нужно слова с разными начальными буквами оставить в разных файлах? У вас про это в условиях задачи ни слова. Я в процессе решения такое предложил как промежуточный вариант.
    – CrazyElf
    22 окт 2020 в 7:43

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.