0

Есть огромный CSV файл. Сейчас работаю с ним через Pandas (примеры ниже).

Можно ли обращаться к CSV файлу используя SQL запросы, если нет БД на компьютере, и если да, то как?

data = pd.read_csv('Data/2021-03-06.csv', delimiter=';')
data.groupby('information').size()
6
  • При работе с Dataframe, а именно его возвращает read_csv, можно использовать любые свойства реляционной алгебры, методы описаны в документации pandas.pydata.org/pandas-docs/stable/index.html. Чистый sql, разумеется писать нельзя
    – asanisimov
    10 мар 2021 в 11:48
  • 1
    Ну там есть query, MaxU любит через него запросы делать, это некое подобие sql или linq. И всё же вопрос не совсем понятен - что именно вы хотите - делать groupby не в функциональном виде, а подобно sql запросу чтобы выглядело?
    – CrazyElf
    10 мар 2021 в 12:17
  • Учти, что практически каждый запрос должен будет заново прочитать весь CSV (если он действительно огромный и не лезет в ОЗУ) - и соответственно обработать. так что работать будет... скажем так - неспешно.
    – Akina
    10 мар 2021 в 13:40
  • @Akina, в коде, приведенном в вопросе, используется Pandas для чтения CSV файла в DataFrame. DataFrame хранится в памяти, поэтому можно делать разные запросы, прочитав CSV файл один раз в DataFrame 10 мар 2021 в 14:42
  • @MaxU Вот зачем писать. что "DataFrame хранится в памяти" в ответ на комментарий со словами "если он действительно огромный и не лезет в ОЗУ"?
    – Akina
    10 мар 2021 в 15:44

1 ответ 1

2

В классическом Pandas можно имитировать только WHERE clause из SQL, используя метод DataFrame.query():

id_list = [1,2,3]
df.query("col1 < 12 and id in @id_list")

Если же нужно большее - группировки и агрегация, более сложные условия и т.д. то можно попробовать pandasql (последний релиз - апрель 2016).

Если возможностей pandasql не хватит, тогда можно воспользоваться Apache Spark SQL, который полностью поддерживает ANSI SQL Standard.

NOTE: установка и настройка Apache Spark кластера может оказаться непростой процедурой для неопытного пользователя.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.