1

Скрипт не загружает данные с сайта в CSV файл,который создал. Где проблема?

from bs4 import BeautifulSoup as Soup
from urllib.request import urlopen
from collections import Counter
import re
import csv

PAGENUMBER = 4
ARAWDATA = []
BRAWDATA = []
OFFICIALDATA = {}
NUMBERS = []
TIMES = []
CHANCE = []
zc = 0

while PAGENUMBER <=1:  # Our way of filtering through pages
    COUNTER = 0  # We will need this later
    url = urlopen('https://www.stoloto.ru/4x20/archive/ {}'.format(PAGENUMBER))
    RAW = url.read()  # Reads data into variable
    url.close()  # Closes connection
    PARSED = Soup(RAW, 'html.parser')  # (DATA, Type of Parser)

    for line in PARSED.findAll('div', attrs = {"class":"numbres","class":"numbers_wrapper","class":"container.cleaered" }):
        if 'stoloto.ru/4x20/archive' in str(line):  # Checks if tag has those char
            pRAW = re.findall('d=(.*?)\">', str(line))  # Gathers only the dates from that text
            for pline in pRAW:
                ARAWDATA.append(pline)  # Stores data in list for mutation later

    for line in PARSED.findAll('div',  attrs = {"class":"numbres","class":"numbers_wrapper","class":"container.cleaered" }):
        if '<strong>' in str(line) and 'wrap' in str(line):  # Needs to be setup this long way
            pRAW = re.findall('<b>(.*?)</b>', str(line))
            for pline in pRAW:
                BRAWDATA.append(pline.replace(" · ", " "))

    for date in ARAWDATA:
        OFFICIALDATA[date] = BRAWDATA[COUNTER]  # For every date it will give it value of the numbers
        COUNTER += 1
    PAGENUMBER += 1

with open('lotto.csv', 'w') as data:
    file = csv.writer(data)
    file.writerows(OFFICIALDATA.items())
5
  • 1
    Там случаем не через ajax подгружаются данные? Сохраните результат RAW в файл и убедитесь что там есть ваши данные
    – gil9red
    4 дек 2018 в 11:20
  • Увы,я программированием занимался 15 лет тому назад.Сейчас хочу освоить питон,которым занимаюсь только 2 недели.Просто,помоготе,pls. 4 дек 2018 в 14:44
  • 1) Напишите в коде open('rs.html', 'wb').write(RAW) и посмотрите файл rs.html убедитесь что там есть нужные вам данные 2) Чтобы проверить вопрос о ajax есть и другой способ на том сайте откройте инструмент разработчика (например через F12), обновите страницу и посмотрите какие запросы ходят
    – gil9red
    4 дек 2018 в 14:52
  • А что парсер должен был с того сайта вытащить?
    – gil9red
    4 дек 2018 в 14:59
  • Благодарю!Парсер должен ,был бы вытащить цифры(numbers). 4 дек 2018 в 15:32

1 ответ 1

1

Так у вас цикл даже не выполнялся. Условие будет False:

PAGENUMBER = 4
...

while PAGENUMBER <=1:  # Our way of filtering through pages
    ...

Но правильное условие цикла не поможет - сам парсер сломанный


Накидал пример парсинга того сайта:

from bs4 import BeautifulSoup
from urllib.request import urlopen
import csv


def parse_page(page_number):
    url = 'https://www.stoloto.ru/4x20/archive/{}'.format(page_number)
    root = BeautifulSoup(urlopen(url), 'html.parser')

    # Название, пример: "Результаты тиража № 1, 31 декабря 2016 в 15:10"
    title = root.select_one('#content > h2').text.strip()

    # Вытаскиваем дату, пример: "31 декабря 2016 в 15:10"
    date_time_str = title.split(', ')[1]

    # Вытаскиваем номера, пример: ['20', '2', '10', '4', '2', '16', '9', '17']
    numbers = [x.text.strip() for x in root.select('.winning_numbers > ul > li')]

    return date_time_str, numbers


max_page_number = 4
result = []

# Перебор страниц от 1 до <max_page_number> включительно
for page_number in range(1, max_page_number + 1):
    date_time_str, numbers = parse_page(page_number)

    # Список чисел преобразуем в строку:
    # ['20', '2', '10', '4', '2', '16', '9', '17'] -> '20 2 10 4 2 16 9 17'
    numbers = ' '.join(numbers)
    result.append((page_number, date_time_str, numbers))

print(result)

with open('lotto.csv', 'w', encoding='utf-8', newline='') as f:
    file = csv.writer(f)
    file.writerows(result)

Файл lotto.csv:

1,31 декабря 2016 в 15:10,20 2 10 4 2 16 9 17
2,3 января 2017 в 22:00,12 6 20 17 3 16 9 13
3,5 января 2017 в 22:00,5 19 18 17 14 11 20 12
4,8 января 2017 в 08:20,19 17 12 5 3 8 7 6
2

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.