1

надо достать с сайта https://koleso.ru/shops/ адрес, телефон, время работы, координаты. вроде с первыми тремя более менее понятно, то с координатами никак. не могу найти как достать координаты. и вообще найти их

import requests
    from bs4 import BeautifulSoup as bs

    headers = {'User-Agent':
    'Mozilla/5.0 (X11; Ubuntu; Linu…) Gecko/20100101 Firefox/66.0'
    }

    url = 'https://koleso.ru/shops/?region=all'

def parse_koleso(url):
    session = requests.Session()
    request = session.get(url)
    soup = bs(request.content, 'lxml')
    divs = soup.find('div', class_='shopList').find_all('a')
    # print (divs)
    # print('===')
    # print(type(divs))
    full_links_cities = [x.get("href") for x in divs][0:-1]
         # print(full_links_cities)
    for city in full_links_cities:
         request1 = session.get(city)
         soup = bs(request1.content, 'lxml')
         shops_list = soup.find('div',class_='currentShopList').find_all('a')
    full_links_shops = [x.get("href") for x in shops_list]
    # print(shops_list)

    links_shops = [i.split('s/')[1] for i in full_links_shops]
    # print(links_shops)
    # print('==================/=====')

    my_list = []
    my_list.append(links_shops)
    print(my_list)

parse_koleso(url)
2
  • 1
    Ну да, судя по всему, координаты там в HTML нигде не хранятся. Вероятно и точки на Яндекс карте формируются по адресам. Соответственно лучшее решение – запихнуть выгруженные адреса в АПИ Гугл или Яндекс карт и взять координаты оттуда.
    – AivanF.
    14 мая 2019 в 21:00
  • @AivanF. а не подскажите, как это делается ?
    – Hvedarok
    15 мая 2019 в 6:47

2 ответа 2

3

Судя по всему, координаты на том сайте в HTML нигде не хранятся. Возможно хранятся в JavaScript'e, но скорее всего точки на Яндекс карте формируются по адресам. Соответственно лучшее решение – запихнуть выгруженные адреса в АПИ Гугл или Яндекс карт и взять координаты оттуда. Это называется геокодинг.

Ссылки на документацию:

Насколько мне известно, оба сервиса требуют предварительной регистрации для использования АПИ. Вполне возможно, что существуют также и другие, менее популярные сервисы, где есть АПИ и геокодинг, но их качество под вопросом; например, АПИ 2GIS.

Возможно будет интересным – есть понятие обратного геокодинга, то есть, преобразования координат в адрес. Пример: Google Maps JS API: Reverse Geocoding.

3
  • спасибо. буду пытаться. а такой еще вопрос: когда я начинаю парсить, получаю переменную full_links_cities - это список. а когда я пытаюсь получить links_shops - это не список, вернее, мне выводится много списки адресов всех магазин в городе. примерно так: [ ], [ ], [ ] и тд, а надо чтото типо список списков [ [ ], [ ], [ ] ...]. где ошибка ?
    – Hvedarok
    15 мая 2019 в 9:08
  • @Hvedarok благодарность на этом сайте выражают стрелкой вверх и галочкой принятия вопроса ;) А проблема в коде такая: в результате выполнения цикла сохраняется лишь последнее значение shops_list, а остальные теряются. Просто в цикле сохраняйте результат в объявленный заранее список.
    – AivanF.
    15 мая 2019 в 9:42
  • чтото не получается. я код переписал, но все равно ничего ru.stackoverflow.com/questions/982270/… помогите, пожалуйста
    – Hvedarok
    16 мая 2019 в 17:56
2

Координаты находятся в Javascript коде, отвечающем за отображение карты. Вы можете увидеть строки вроде:

createObject("Placemark", new YMaps.GeoPoint(37.698304,55.863035), "Koleso", '<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/3655068/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br />Ярославское ш., д. 38 стр. 1</div>');

Вытащить эти строки из кода страницы можно с помощью регулярных выражений.

import re

import requests


r = requests.get('https://koleso.ru/shops/')

pattern = r'YMaps.GeoPoint.*\);'
addresses = re.findall(pattern, r.text)
print(addresses[:5])

В результате получаем список таких строк. Из этих строк можно извлечь координаты, а также достать дополнительную информацию.

['YMaps.GeoPoint(37.834803,55.776082), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/3653118/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br />ш. Энтузиастов, д. 63<br />тел.: +7(499)308-59-93</div>\');',
 'YMaps.GeoPoint(37.828129,55.812248), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/576609/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br/>Щелковское ш., д. 98/57 <br /> тел.:+7 (495) 468-80-86</div>\');',
 'YMaps.GeoPoint(37.698304,55.863035), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/3655068/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br />Ярославское ш., д. 38 стр. 1</div>\');',
 'YMaps.GeoPoint(37.7238,55.6027), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/5672617/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>Москва</b><br />ул. Ясеневая, д.13<br />АЗС «BP»<br />тел.: +7 (495) 399-86-90</div>\');',
 'YMaps.GeoPoint(37.162781,55.981445), "Koleso", \'<div><a class="MenuNav_YmapsBalloonPreButton" style="font-size:11px;" href="/shops/576618/">Карточка магазина</a></div><div class="MenuNav_YmapsBalloonComment"><b>г. Москва</b><br />Зеленоград, корп. 1812<br />тел.:+7 (499) 733-71-50</div>\');']

В исходном коде страниц магазинов также можно найти координаты:

# https://koleso.ru/shops/576603/
var bundle = {
    x: 37.509857,
    y: 55.888157,
    comment: '<b>г. Москва</b><br />ул. Ижорская, вл. 8Б<br />тел.:+7 (495) 221-74-45'
};
3
  • спасибо, подскажите, а print(addresses[:5]) идут не по алфавиту, а как их сортировать ? lambda func или обычным сортом ? чтобы координаты отсортировались в том порядке, как идут названия улиц тут koleso.ru/shops
    – Hvedarok
    17 мая 2019 в 20:04
  • понял как форматнуть. лучше всего в переменную r записывать url именно магазина. r = requests.get('koleso.ru/shops/5139227/')
    – Hvedarok
    18 мая 2019 в 10:48
  • @Hvedarok извините, не было времени ответить вчера. Решили проблему сами, как я вижу?
    – Andrey
    18 мая 2019 в 11:40

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.