0

Есть огромный CSV файл. Сейчас работаю с ним через Pandas (примеры ниже).

Можно ли обращаться к CSV файлу используя SQL запросы, если нет БД на компьютере, и если да, то как?

data = pd.read_csv('Data/2021-03-06.csv', delimiter=';')
data.groupby('information').size()
6
  • При работе с Dataframe, а именно его возвращает read_csv, можно использовать любые свойства реляционной алгебры, методы описаны в документации pandas.pydata.org/pandas-docs/stable/index.html. Чистый sql, разумеется писать нельзя
    – asanisimov
    10 мар 2021 в 11:48
  • 1
    Ну там есть query, MaxU любит через него запросы делать, это некое подобие sql или linq. И всё же вопрос не совсем понятен - что именно вы хотите - делать groupby не в функциональном виде, а подобно sql запросу чтобы выглядело?
    – CrazyElf
    10 мар 2021 в 12:17
  • Учти, что практически каждый запрос должен будет заново прочитать весь CSV (если он действительно огромный и не лезет в ОЗУ) - и соответственно обработать. так что работать будет... скажем так - неспешно.
    – Akina
    10 мар 2021 в 13:40
  • @Akina, в коде, приведенном в вопросе, используется Pandas для чтения CSV файла в DataFrame. DataFrame хранится в памяти, поэтому можно делать разные запросы, прочитав CSV файл один раз в DataFrame 10 мар 2021 в 14:42
  • @MaxU Вот зачем писать. что "DataFrame хранится в памяти" в ответ на комментарий со словами "если он действительно огромный и не лезет в ОЗУ"?
    – Akina
    10 мар 2021 в 15:44

1 ответ 1

2

В классическом Pandas можно имитировать только WHERE clause из SQL, используя метод DataFrame.query():

id_list = [1,2,3]
df.query("col1 < 12 and id in @id_list")

Если же нужно большее - группировки и агрегация, более сложные условия и т.д. то можно попробовать pandasql (последний релиз - апрель 2016).

Если возможностей pandasql не хватит, тогда можно воспользоваться Apache Spark SQL, который полностью поддерживает ANSI SQL Standard.

NOTE: установка и настройка Apache Spark кластера может оказаться непростой процедурой для неопытного пользователя.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.