0

Есть файл test.txt

text0/text1
text5/text4
text8/text51
и тд

Хочу получить вывод вида:

text1
text4
text51
и тд

Пришел пока к такому:

with open(r"test.txt") as f_in, \
     open(r"final.txt", "w", encoding="utf-8") as f_out:
     for line in f_in:
         s = line.split("/")[1]
         print(*s, sep='', end='', file=f_out)

На небольших файлах работает, проблем нет. Но на файлах 10GB+ получается больше часа времени.

Как вывести текст после разделителя более просто? Чтоб не разделять на части, а потом выводить кусок.

3
  • Попробую позже s = line.partition("/")[2] , возможно будет быстрее
    – Tenge
    5 апр 2020 в 18:33
  • Просто хочется уточнить, не делает ли этот код лишних действий, сначала разделяя строку на 2 части. Возможно есть способ считывать строку пока не обнаружжится разделитель и далее сразу удалять текст до разделителя, не разделяя текст на 2 части.
    – Tenge
    5 апр 2020 в 19:07
  • Вряд ли на питоне можно быстрее сделать. Подозреваю, что просто прочитать и записать такого размера файл на питоне будет почти так же медленно.
    – CrazyElf
    5 апр 2020 в 19:22

1 ответ 1

1

Ты приблизился к пределу по скорости для интерпретируемых языков программирования с динамической типизацией, GIL-ом, сборщиком мусора и прочими плюшками. Для решения поставленной задачи рекомендую использовать компилируемый язык, а не питон. Например Си. Можешь попробовать ускорить код с помощью JIT или Cython, но т.к. в твоём коде в основном вызываются библиотечные функции, то, вероятно, не сильно выиграешь в скорости. Си, друг, да...только Си)

2
  • Ради интереса можно еще на ассемблере написать, ну и оптимизации ради опкодами прописать все команды (не ирония)
    – Ivan
    5 апр 2020 в 18:50
  • Просто хотел уточнить, не делает ли этот код "лишних" действий. Возможно быстрее будет, если будет считываться строка и как только обнаружится разделитель "/" код сразу выведет текст после "/" или удалит текст перед "/"
    – Tenge
    5 апр 2020 в 19:02

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.