0

Есть код, который берет ссылки из готового csv-файла и, переходя по ним, парсит необходимые данные (за ошибки или недочеты не душите, я ток учусь парсить). Все данные надо спарсить в новый csv-файл, но мой код сохраняет только последний словарь

import requests
    from bs4 import BeautifulSoup
    import csv
    
    HEADERS = {
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 YaBrowser/20.11.3.183 Yowser/2.5 Safari/537.36'
    }
    FILE = 'games.csv'
    
    
    def get_html(url, params=None):
        req = requests.get(url, headers=HEADERS, params=params)
        return req
    
    def get_content(html):
        soup = BeautifulSoup(html, 'html.parser')
        items = soup.find_all('div', class_='block_content page_content')
        games = []
    
    
        for item in items:
           # link = soup.select("a.tab_item[class*='app_impression_tracked']")
           date = item.find('div', class_='date')
           if date:
               date = date.get_text(strip=True)
           else:
               date = 'Date unknown'
           games.append(
                {
                    'date': date,
                    'developer': item.find('div', class_='dev_row').get_text(strip=True).replace('Developer:',''),
                    'description': item.find('div', class_='game_description_snippet').get_text(strip=True)
                }
            )
        return games
    
    
    def save_file(items, path):
        with open(path, 'w', newline='', encoding='cp1251') as file:
            writer = csv.writer(file, delimiter=';')
            writer.writerow(['DATE','DEVELOPER','DESCRIPTION'])
            for item in items:
                writer.writerow([item['date'], item ['developer'], item['description']])
    
    
    
    def parser():
        with open("racesru.csv", newline='', encoding='cp1251') as csvfile:
            reader = csv.reader(csvfile, delimiter=';')
            for row in reader:
                link = row[4]
                if (link != '0' and link != 'LINK'):
                    url=link
                    print(url)
                    html = get_html(url)
                    if html.status_code == 200:
                        games = []
                        games.extend(get_content(html.text))
                        save_file(games, FILE)
                        print(games)
                    else:
                        print('Error')
    
    parser()

введите сюда описание изображениявведите сюда описание изображения

1 ответ 1

4

Ну, видимо, структура кода где идёт накопление и запись данных должна быть тогда такая:

def parser():
    games = [] # список, в котором будут копиться данные
    with open("racesru.csv", newline='', encoding='cp1251') as csvfile:
        reader = csv.reader(csvfile, delimiter=';')
        for row in reader:
            link = row[4]
            if (link != '0' and link != 'LINK'):
                url=link
                print(url)
                html = get_html(url)
                if html.status_code == 200:
                    games.extend(get_content(html.text))
                    #print(games)
                else:
                    print('Error')
    save_file(games, FILE) # записываем весь накопленный список

Инициализация списка вынесена в самое начало, а запись перенесена в самый конец.

1

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.