Всем привет! Я не особо хорош в Python и у меня есть небольшой веб-парсер с использованием библиотеки BeautifulSoup. Я хочу сделать интерфейс для этого парсера, чтобы при нажатии на кнопку в приложении на выходе программа выдавала csv файл и его можно было скачать или чтобы он автоматически добавлял данные на диск и тп. Если можно обойтись без интерфейса, подскажите пожалуйста как автоматизировать парсер. Например, чтобы он автоматически каждый час все данные сохранял на диск как эксель файл. Любые библиоткеи или фреймворки, буду признателен любой помощи!
-
Пожалуйста, уточните вашу конкретную проблему или приведите более подробную информацию о том, что именно вам нужно. В текущем виде сложно понять, что именно вы спрашиваете.– Дух сообщества Бот6 янв 2022 в 16:14
-
Так Вы определитесь всё же, что Вам нужно. Выберите какой-то один путь решения– nomnoms126 янв 2022 в 16:30
-
Если подойдёт простой перезапуск скрипта — на Linux можно воспользоваться утилитой cron– nomnoms126 янв 2022 в 16:31
2 ответа
Вот примерный код:
import time
import datetime
from csv import writer
def write(name, array_):
with open(name, "w+", newline='', encoding="utf-8") as csv_file:
w = writer(csv_file, delimiter=',')
for line in array_:
w.writerow(line)
csv_file.close()
count = 0
while True:
"""Работа парсера"""
result = [["A", "B", "C"], ["F", "L", "S"]] # результат работы парсера в виде матрицы (список со списками)
now_time = datetime.datetime.now().strftime('%Y-%m-%d_%H-%M-%S')
write(name=f"Result_{count}-{now_time}.csv", array_=result)
count += 1
time.sleep(3600)
Чтобы парсер работал 24/7 можно либо запустить его у себя на машине, или найти хост. Можно воспользоваться бесплатной heroku. Пример загрузки
Что касается автоматизации работы скрипта, в качестве одного из вариантов решения, можно использовать модуль schedule, крайне простой метод если у вас уже есть готовый парсер и машина на которой он будет работать на постоянной основе (например на арендованном хосте).
примерный код:
import schedule
from datetime import datetime
import csv
def scrap_func():
"""функция вашего парсера"""
def main():
"""запуск функции парсера по расписанию: каждый час"""
schedule.every().hour.do(scrap_func)
while True:
"""Запускаем бесконечный цикл"""
schedule.run_pending()
if __name__ = '__main__':
main()
что касается записи данных в csv файл, можете поместить его выполнение прямо в функцию вашего парсера.
Если если в каждый новый запуск требуется создание нового файла (например для сравнения данных с прошлыми файлами), записать можно так:
def scrap_func():
"""функция парсера"""
cur_date = datetime.now().strftime('%d_%m_%y_%H')
"""объект с текущей датой в формате день_месяц_год_час,
понадобится далее для добавления к имени файла при создании"""
with open(f'data_{cur_date}.csv', 'w', encoding="utf-8", newline='') as file:
"""создаем файл с текущей датой и нужными заголовками столбцов"""
writer = csv.writer(file)
writer.writerow(
(
'Название',
'ссылка на продукт',
'цена'
)
)
try:
"""блок сбора данных вашего парсера"""
except:
"""обработка ошибок"""
далее в зависимости от алгоритма вашего парсера, вы можете открывать файл на добавление либо добавлять данные в файл на каждой итерации в конце цикла (если сбор данных со страницы реализован через цикл), тогда в конце цикла сбора данных просто добавляете:
with open(f'data_{cur_date}.csv', 'a', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(
(
product_name,
product_url,
product_price,
)
)
или как вариант (если записи собирались в список), то можно написать отдельный цикл для добавления уже собранных данных в файл, и располагаться этот цикл будет уже после блока обработки ошибок (или в отдельную функцию например в функции main, в которую так же можно (и в этом случае даже нужно) вынести первоначальное создание файла с заголовками, но это уже вашему желанию) сам цикл записи выглядит примерно так:
for data in list_data:
with open(f'data_{cur_date}.csv', 'a', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(
(
data['product_name'],
data['product_url'],
data['product_price'],
)
)