1

надо достать с сайта https://koleso.ru/shops/ адрес, телефон, время работы, координаты. вроде с первыми тремя более менее понятно, то с координатами никак. не могу найти как достать координаты. и вообще найти их

import requests
    from bs4 import BeautifulSoup as bs

    headers = {'User-Agent':
    'Mozilla/5.0 (X11; Ubuntu; Linu…) Gecko/20100101 Firefox/66.0'
    }

    url = 'https://koleso.ru/shops/?region=all'

def parse_koleso(url):
    session = requests.Session()
    request = session.get(url)
    soup = bs(request.content, 'lxml')
    divs = soup.find('div', class_='shopList').find_all('a')
    # print (divs)
    # print('===')
    # print(type(divs))
    full_links_cities = [x.get("href") for x in divs][0:-1]
         # print(full_links_cities)
    for city in full_links_cities:
         request1 = session.get(city)
         soup = bs(request1.content, 'lxml')
         shops_list = soup.find('div',class_='currentShopList').find_all('a')
    full_links_shops = [x.get("href") for x in shops_list]
    # print(shops_list)

    links_shops = [i.split('s/')[1] for i in full_links_shops]
    # print(links_shops)
    # print('==================/=====')

    my_list = []
    my_list.append(links_shops)
    print(my_list)

parse_koleso(url)
2
  • 1
    Ну да, судя по всему, координаты там в HTML нигде не хранятся. Вероятно и точки на Яндекс карте формируются по адресам. Соответственно лучшее решение – запихнуть выгруженные адреса в АПИ Гугл или Яндекс карт и взять координаты оттуда.
    – AivanF.
    14 мая 2019 в 21:00
  • @AivanF. а не подскажите, как это делается ?
    – Hvedarok
    15 мая 2019 в 6:47

2 ответа 2

3

Судя по всему, координаты на том сайте в HTML нигде не хранятся. Возможно хранятся в JavaScript'e, но скорее всего точки на Яндекс карте формируются по адресам. Соответственно лучшее решение – запихнуть выгруженные адреса в АПИ Гугл или Яндекс карт и взять координаты оттуда. Это называется геокодинг.

Ссылки на документацию:

Насколько мне известно, оба сервиса требуют предварительной регистрации для использования АПИ. Вполне возможно, что существуют также и другие, менее популярные сервисы, где есть АПИ и геокодинг, но их качество под вопросом; например, АПИ 2GIS.

Возможно будет интересным – есть понятие обратного геокодинга, то есть, преобразования координат в адрес. Пример: Google Maps JS API: Reverse Geocoding.

3
  • спасибо. буду пытаться. а такой еще вопрос: когда я начинаю парсить, получаю переменную full_links_cities - это список. а когда я пытаюсь получить links_shops - это не список, вернее, мне выводится много списки адресов всех магазин в городе. примерно так: [ ], [ ], [ ] и тд, а надо чтото типо список списков [ [ ], [ ], [ ] ...]. где ошибка ?
    – Hvedarok
    15 мая 2019 в 9:08
  • @Hvedarok благодарность на этом сайте выражают стрелкой вверх и галочкой принятия вопроса ;) А проблема в коде такая: в результате выполнения цикла сохраняется лишь последнее значение shops_list, а остальные теряются. Просто в цикле сохраняйте результат в объявленный заранее список.
    – AivanF.
    15 мая 2019 в 9:42
  • чтото не получается. я код переписал, но все равно ничего ru.stackoverflow.com/questions/982270/… помогите, пожалуйста
    – Hvedarok
    16 мая 2019 в 17:56
2

Координаты находятся в Javascript коде, отвечающем за отображение карты. Вы можете увидеть строки вроде:

createObject("Placemark", new YMaps.GeoPoint(37.698304,55.863035), "Koleso", '<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/3655068/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br />Ярославское ш., д. 38 стр. 1</div>');

Вытащить эти строки из кода страницы можно с помощью регулярных выражений.

import re

import requests


r = requests.get('https://koleso.ru/shops/')

pattern = r'YMaps.GeoPoint.*\);'
addresses = re.findall(pattern, r.text)
print(addresses[:5])

В результате получаем список таких строк. Из этих строк можно извлечь координаты, а также достать дополнительную информацию.

['YMaps.GeoPoint(37.834803,55.776082), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/3653118/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br />ш. Энтузиастов, д. 63<br />тел.: +7(499)308-59-93</div>\');',
 'YMaps.GeoPoint(37.828129,55.812248), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/576609/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br/>Щелковское ш., д. 98/57 <br /> тел.:+7 (495) 468-80-86</div>\');',
 'YMaps.GeoPoint(37.698304,55.863035), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/3655068/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br />Ярославское ш., д. 38 стр. 1</div>\');',
 'YMaps.GeoPoint(37.7238,55.6027), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/5672617/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>Москва</b><br />ул. Ясеневая, д.13<br />АЗС «BP»<br />тел.: +7 (495) 399-86-90</div>\');',
 'YMaps.GeoPoint(37.162781,55.981445), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/576618/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br />Зеленоград, корп. 1812<br />тел.:+7 (499) 733-71-50</div>\');']

В исходном коде страниц магазинов также можно найти координаты:

# https://koleso.ru/shops/576603/
var bundle = {
    x: 37.509857,
    y: 55.888157,
    comment: '<b>г. Москва</b><br />ул. Ижорская, вл. 8Б<br />тел.:+7 (495) 221-74-45'
};
3
  • спасибо, подскажите, а print(addresses[:5]) идут не по алфавиту, а как их сортировать ? lambda func или обычным сортом ? чтобы координаты отсортировались в том порядке, как идут названия улиц тут koleso.ru/shops
    – Hvedarok
    17 мая 2019 в 20:04
  • понял как форматнуть. лучше всего в переменную r записывать url именно магазина. r = requests.get('koleso.ru/shops/5139227/')
    – Hvedarok
    18 мая 2019 в 10:48
  • @Hvedarok извините, не было времени ответить вчера. Решили проблему сами, как я вижу?
    – Andrey
    18 мая 2019 в 11:40

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.