2

Привет всем!

Просьба помочь разобраться с tempfile в python3.4 под centos6. Допустим, я с помощью mysql.connector делаю выборку из таблицы по двум полям и получаю в cursor примерно следующее

bgp_path 15970839
sys_calls 3189266
regs 2802296
sys_users 2463881
routes 1253487
current 879094

Теперь всё, что я хочу - это получить некий временный файлик который бы содержал вот всё прям в таком виде и some.str в начале каждой строки

some.str bgp_path 15970839
some.str sys_calls 3189266
some.str regs 2802296
some.str sys_users 2463881
some.str routes 1253487
some.str current 879094

чтоб потом этот файлик передать системным вызовом через subprocess некоему исполняемому файлу как аргумент. Что я для этого делаю:

with tempfile.NamedTemporaryFile() as fp:
    print (fp.name)

    for line in cursor.splitlines():
        if len(line) == 0: continue

        tmp = "some.str {0}".format(line)
        fp.write(tmp.encode('utf-8'))
        fp.seek(0)
    print(fp.read())

и получаю в ответ b'some.str current 879094881' либо b''. Пример https://ideone.com/bumMi3

Что я делаю не так?

6
  • отступы в Питоне имеют значение. Что по вашему fp.seek(0) делает?
    – jfs
    17 апр 2018 в 18:02
  • Что я делаю не так? - очевидно же, каждую строку с начала файла записываете.
    – insolor
    17 апр 2018 в 18:03
  • Я не знаю куда впихнуть этот fp.seek(0). Если его не использовать или использовать за циклом - файл будет пустой.
    – who know
    17 апр 2018 в 18:12
  • задайте отдельный вопрос с явным примером где вы пустой файл получаете. Только не нужно тащить с базой данных пример. Искусственные данные пишите: for line in 'abc': минимальный воспроизводимый пример
    – jfs
    17 апр 2018 в 18:17
  • @jfs прошу, маэстро ideone.com/bumMi3
    – who know
    18 апр 2018 в 4:35

1 ответ 1

3

fp.seek(0) внутри цикла приводит к тому, что каждую новую строку вы выводите с начала файла, каждая новая строка перезаписывает предыдущую.

По поводу того, что строки не записываются в файл. Вывод в файл буферизируется (накапливается в буфере, потом выгружается относительно большим куском при заполнении буфера, закрытии файла, или при операции seek, как в вопросе). Чтобы выгрузить данные в файл принудительно, делайте fp.flush() после цикла, или создавайте временный файл с отключенным буферизированием: tempfile.NamedTemporaryFile(buffering=0)

Пример:

import tempfile

data = '''
bgp_path 15970839
sys_calls 3189266
regs 2802296
sys_users 2463881
routes 1253487
current 879094
'''.lstrip()

with tempfile.NamedTemporaryFile() as fp:
    print (fp.name)

    for line in data.splitlines():
        if len(line) == 0: continue

        tmp = "some.str {0}\n".format(line)
        fp.write(tmp.encode('utf-8'))

    fp.flush()  # в данном случае не обязательно, т.к. seek сам флушит файл
    # Но перед чтением файла сторонней утилитой файл все же нужно будет зафлушить
    fp.seek(0)  # чтобы прочитать содержимое, нужно сначала перейти в начало файла - но только непосредственно перед чтением файла
    print(fp.read())

Вывод:

C:\Users\3084~1\AppData\Local\Temp\tmpigel0fsa
b'some.str bgp_path 15970839\nsome.str sys_calls 3189266\nsome.str regs 2802296\nsome.str sys_users 2463881\nsome.str routes 1253487\nsome.str current 879094\n'

Если нужно получить результат в виде текстового файла, можно в NamedTemporaryFile указать, что файл нужно открыть в текстовом режиме, тогда не нужно будет каждый раз явно перекодировать строки в байты:

with tempfile.NamedTemporaryFile('w+t', encoding='utf-8') as fp:
    print (fp.name)

    for line in data.splitlines():
        if len(line) == 0: continue

        tmp = "some.str {0}".format(line)
        print(tmp, file=fp)

    fp.flush()
    fp.seek(0)
    print(fp.read())

Результат:

C:\Users\3084~1\AppData\Local\Temp\tmpd4moggw9
some.str bgp_path 15970839
some.str sys_calls 3189266
some.str regs 2802296
some.str sys_users 2463881
some.str routes 1253487
some.str current 879094
17
  • Как же всё сложно-то, мне всего лишь надо во временный файл поместить текст :'( Ни fp.flush() ни buffering=0 не помогают, в файл всё так же записывается b''
    – who know
    18 апр 2018 в 4:34
  • Добавьте в вопрос как пробовали
    – insolor
    18 апр 2018 в 5:07
  • ideone.com/bumMi3 в вопрос добавил пример.
    – who know
    18 апр 2018 в 5:14
  • Добавил рабочий пример
    – insolor
    18 апр 2018 в 5:18
  • 1
    Если что-то непонятно, уточняйте. По поводу seek еще раз: после записи данных в файл текущая позиция чтения/записи становится в конце файла. Когда вы пробуете оттуда что-то прочитать, то получаете пустую строку (после конца файла ничего нет). Чтобы прочитать весь файл, нужно после записи всех строк переместить позицию чтения/записи в начало файла (с помощью fp.seek(0)), а потом уже читать файл.
    – insolor
    18 апр 2018 в 5:50

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.