0
df = pd.read_csv(file_patch, sep='|')

прекрасно качает и парсит файл формата csv в dataframe. А как ему вскормить объект уже скачанный с помощью

import httpx

r = httpx.get('https://site.org/file.csv')

Например конкретно вот этот

Хочется скорости, по факту httpx.get .text.splitlines() в цикле разбрасывает файл в словарь раз в 10 быстрее чем pd.read_csv скачивает и парсит в dataframe...

2
  • Конечно будет быстрее, стрелять из пушки по воробьям и забивать гвозди микроскопом вообще занятия малопродуктивные. Модуль csv Вам в помощь. Все зависит от того, что на выходе Вы хотите получить.
    – Namerek
    20 апр 2023 в 9:35
  • Объект Dataframe хочу получить. С максимальной скоростью, вроде посыл понятный в вопросе. Обсудить микроскопы, оружие или столярное дело я бы выбрал другой форум. Про модуль csv понятно, но здесь вроде приветствуются примеры кода.
    – GreenX5
    20 апр 2023 в 17:20

1 ответ 1

1

Кажется нашел.

import io
import httpx
import pandas as pd


res = httpx.get('https://site.org/file.csv')
df = pd.read_csv(io.StringIO(res.text), sep='|')

Это в 4-5 раз быстрее чем просто pd.read_csv('https://site.org/file.csv', sep='|') Но всё равно в 2 раза медленнее чем в словарь без Pandas...

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.