0

Имеется текстовый файл, в котором есть 150млн рандомных строчек (a-z). В этом файле нужно отсортировать строки по первой букве в алфавитном порядке. Ограничение: если во время сортировки нашлось больше чем 30к строчек на 1 букву, то нужно создать новый файл и закинуть туда остаток.

5
  • 2
    А что делать, если 30к строчек набралось, но на разные буквы? а что делать с остатком? а что делать, если миллион строк на разные буквы и 30к на одну?
    – strawdog
    21 окт 2020 в 14:01
  • @strawdog Не понял вопроса про разные буквы. Если на одну букву у меня, например, 60к строк, то программа должна создать новый текстовый файл и закинуть туда остаток. Т.е у меня ограничение 30к строк в одном документе. Если в результате сортировки получилось больше 30к, надо создать новый файл, дописать в его названии, допустим, 1 или букву А и закинуть туда остаток. UPD: Если это важно, то строки все одной длины. Максимум 15 символов
    – M1X
    21 окт 2020 в 14:46
  • 1
    В чём вопрос-то? Вы что-то cделали, но не всё получилось? Да и задача не поставлена нормально. Очевидно, что для почти всех букв строк будет более 30000.
    – MBo
    21 окт 2020 в 15:38
  • такие вещи лучше делать не на Python, а использовать стандартные утилиты Linux/UNIX: sort, awk, sed. Для Windows можно найти скомпилированные бинарники... 21 окт 2020 в 15:45
  • Приведите пример, только пусть у вас будет скажем 3 строки на букву a и 8 строк на букву b (всё это вперемешку в исходном файле). Ограничение размера выходного файла 5 строк при этом. Покажите какой должен быть результат в этом примере: какие файлы и с какими строками.
    – CrazyElf
    22 окт 2020 в 5:07

1 ответ 1

0

Ну, сделайте так, если я всё правильно понял.

  1. Создайте и откройте на запись файлы на каждую букву латинского алфавита от a.txt до z.txt
  2. Пройдите по вашему файлу и допишите каждую строку в файл, соответствующий первой букве этой строки.
  3. Теперь по очереди прочитайте содержимое файлов от a.txt до z.txt, записывая строки подряд в новый файл. Когда число записанных строк превышает ограничение - открывайте новый файл и пишите дальше туда.

Набросал код, включая создание входного файла, чтобы сразу протестировать это всё. На Google Colab файл в 15 млн. строк создаётся минуту и разбирается потом за 15 секунд. 150 млн. не пробовал, но, наверное, будет в 10 раз дольше, масштабируется тут всё линейно.

from random import choices
from tqdm.auto import tqdm

class LetterFile:
    def __init__(self, letter, max_lines):
        self.letter = letter
        self.number = 0
        self.line_count = 0
        self.max_lines = max_lines
        self.create()

    def create(self):
        self.open('w')

    def open(self, mode = 'w+'):
        self.file = open(self.letter + str(self.number) + '.txt', mode)

    def close(self):
        self.file.close()

    def append(self, line):
        self.file.write(line)
        self.line_count += 1
        if self.line_count >= self.max_lines:
            self.close()
            self.number += 1
            self.line_count = 0
            self.open()

def get_latin_letters():
    for ch in range(ord('a'), ord('z') + 1):
        yield chr(ch)

input_file_name = 'data.txt'
input_file_rows = 15_000_000
max_lines = 30_000
str_len = 15
alphabet = list(get_latin_letters())
print(*alphabet)

print('generating input file')
with open(input_file_name, 'w') as f:
    for i in tqdm(range(input_file_rows)):
        s = ''.join(choices(alphabet, k=str_len))
        f.write(s)
        f.write('\n')

files = {}

print('create files')
for ch in alphabet:
    f = LetterFile(ch, max_lines)
    files[ch] = f

print('process input file')
with open(input_file_name) as fr:
    for s in tqdm(fr.readlines()):
        fw = files[s[0]]
        fw.append(s)
 
print('closing files')
for ch in alphabet:
    f = files[ch]
    f.close()

Нумерация файлов такая: a0, a1 и т.д. Поменять её легко если что.

6
  • Да, можно, пожалуйста, код? Понятия не имею как это всё сортировать и как программа должна создать новый текстовый файл в случае превышения 30к
    – M1X
    22 окт 2020 в 4:38
  • Если программа, например, записывает все строки на букву A в файл a.txt и получается больше 30к, то она должна создать новый файл, сохранив исходное имя и дописав к нему 1. Т.е будет A_1.txt, A_2.txt и т.д
    – M1X
    22 окт 2020 в 4:41
  • Погодите, так в итоге в файлах должны ведь быть строки с разных букв, но сортированные? Тогда файлы из начального этапа не надо делить, это промежуточный этап. Или вы нечетко задачу сформулировали
    – CrazyElf
    22 окт 2020 в 5:03
  • Нужно прочитать перемешанный файл и перебрать все строки. Если строка попадает под условие: начинается с буквы а, то она идёт в соответствующий файл
    – M1X
    22 окт 2020 в 7:35
  • То есть нужно слова с разными начальными буквами оставить в разных файлах? У вас про это в условиях задачи ни слова. Я в процессе решения такое предложил как промежуточный вариант.
    – CrazyElf
    22 окт 2020 в 7:43

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.