0
import requests
from bs4 import BeautifulSoup

url = "http://amdy.su/"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
}

res = requests.get(url, headers)

with open("ParcingEx3/index.html", "r", encoding="utf-8") as file:
    src = file.read()

soup = BeautifulSoup(src, "lxml")


hrefs = soup.find_all("h2")

print(hrefs)

Вот одна из ссылок, их там много: <a href="http://amdy.su/2018/07/13/%d0%ba%d0%b0%d0%ba-%d0%b8%d1%81%d0%bf%d1%80%d0%b0%d0%b2%d0%b8%d1%82%d1%8c-%d0%bf%d1%80%d0%be%d0%b1%d0%bb%d0%b5%d0%bc%d1%83-%d1%81-%d1%83%d1%81%d1%82%d0%b0%d0%bd%d0%be%d0%b2%d0%ba%d0%be%d0%b9-viber/"

Проблема заключается в том что перейти по ней можно, а вытащить к себе в БД - нет

3
  • Так отделите зерна от плевел Commented 4 июл. 2022 в 20:35
  • @СергейШ комментарий не понятен, что это значит
    – Dmitry
    Commented 4 июл. 2022 в 20:39
  • @СергейШ а поподробнее можно? ни слово не понял
    – blazzity
    Commented 4 июл. 2022 в 20:39

1 ответ 1

2

Если я правильно понял проблему автора, то могу посоветовать следующий способ решения

from urllib.parse import unquote

url = 'http://amdy.su/2018/07/13/%d0%ba%d0%b0%d0%ba-%d0%b8%d1%81%d0%bf%d1%80%d0%b0%d0%b2%d0%b8%d1%82%d1%8c-%d0%bf%d1%80%d0%be%d0%b1%d0%bb%d0%b5%d0%bc%d1%83-%d1%81-%d1%83%d1%81%d1%82%d0%b0%d0%bd%d0%be%d0%b2%d0%ba%d0%be%d0%b9-viber/'

print(
    unquote(url)
)
# http://amdy.su/2018/07/13/как-исправить-проблему-с-установкой-viber/

Небольшой бонус

from bs4 import BeautifulSoup as Soup
from requests import Session
from fake_useragent import UserAgent
import re
from urllib.parse import unquote

ua = UserAgent()
s = Session()
s.headers.update(
    {
        'User-Agent': ua.random
    }
)

base_url = 'http://amdy.su'
page_path = '/page/%s'

article_links = []


def parse_page(page_num):
    response = s.get(
        base_url + page_path % page_num
    )

    soup = Soup(response.content, 'html.parser')

    article_links.extend(
        [
            unquote(
                la.get('href')
            )
            for item in soup.find_all('h2', class_='entry-title') if (
            la := item.find('a')
        )
        ]
    )

    if page_num == 1:
        return max(
            [
                int(
                    pa.get_text(strip=True)
                )
                for pa in soup.find_all(
                'a',
                href=re.compile(r'/page/\d+/$'),
                text=re.compile(r'^\d+$')
            )
            ],
            default=1
        )


for _ in map(parse_page, range(2, parse_page(1) + 1)):
    pass

print(
    *article_links,
    sep='\n'
)

output

http://amdy.su/2021/08/23/cache/
http://amdy.su/2018/07/13/как-исправить-проблему-с-установкой-viber/
http://amdy.su/2018/07/06/рефакторинг-блога/
http://amdy.su/2016/03/25/недостатки-laravel/
http://amdy.su/2015/03/07/проблемы-с-обновлением-ubuntu/
http://amdy.su/2015/03/04/continuous-integration-delivery-deployment/
http://amdy.su/2015/02/17/модули-в-angularjs/
http://amdy.su/2014/12/31/itogi-2014/
http://amdy.su/2013/10/20/continuous-integration-with-jenkins/
http://amdy.su/2013/09/19/order-by-field-v-laravel/
http://amdy.su/2013/06/01/laravel-4/
http://amdy.su/2013/05/14/shablon-dlya-php-prilozheniy/
http://amdy.su/2013/02/11/pattern-decorator/
http://amdy.su/2012/09/28/twig-goodies/
http://amdy.su/2012/03/04/pattern-money/
http://amdy.su/2011/12/08/ajax-in-zend-framework/
http://amdy.su/2011/11/28/meetup-in-grodno-design-and-usability/
http://amdy.su/2011/11/22/conbinatorics-find-summand-by-sum/
http://amdy.su/2011/08/15/ciklum-php-saturday/
http://amdy.su/2011/07/28/yandex-and-private-data/
http://amdy.su/2011/07/23/task-on-php-for-junior/
http://amdy.su/2011/07/04/sotial-hopelessnees-of-google/
http://amdy.su/2011/06/30/kill-bad-plugin-without-loading-netbeans/
http://amdy.su/2011/06/23/testovoe-zadanie-i-voprosyi-na-sobesedovanii-dlya-programmista/
http://amdy.su/2011/06/17/developing-by-fatfree/
http://amdy.su/2011/06/08/parochka-skrinshotov-rabochego-stola-programmista/
http://amdy.su/2011/03/29/seo-for-developers/
http://amdy.su/2011/01/24/jokular-code-for-tshirt/
http://amdy.su/2010/11/21/wudby/
http://amdy.su/2010/09/15/uchyot-vremeni-rabotyi/
http://amdy.su/2010/09/13/programmer-day/
http://amdy.su/2010/08/31/2-years/
http://amdy.su/2010/08/22/php-for-junior/
http://amdy.su/2010/08/09/programmer-worksplace/
http://amdy.su/2010/08/08/nice-var_dump-with-xdebug/
http://amdy.su/2010/07/25/class-request/
http://amdy.su/2010/05/20/hello-typing/
http://amdy.su/2010/05/15/typing-in-php/
http://amdy.su/2010/05/07/mail-from-tut-to-gmail/
http://amdy.su/2010/04/24/writing-your-bike-part-0/
http://amdy.su/2010/03/30/search-worker/
http://amdy.su/2010/02/18/version-7-0/
http://amdy.su/2010/02/11/stop-shame/
http://amdy.su/2010/02/01/use-arrayaccess/
http://amdy.su/2010/01/23/i-change-work/
http://amdy.su/2010/01/14/chpu/
http://amdy.su/2010/01/13/work-with-forms/
http://amdy.su/2010/01/11/mix-singleton-and-registry/
http://amdy.su/2009/12/30/pattern-singleton/
http://amdy.su/2009/12/26/better-zend-studio/
http://amdy.su/2009/12/11/belarusian-freelancer/
http://amdy.su/2009/12/10/update-netbeans/
http://amdy.su/2009/12/03/pereezd/
http://amdy.su/2009/11/28/update_plugin_wp/
http://amdy.su/2009/11/16/vkontakte-sloman-snovo/
http://amdy.su/2009/11/07/blog-snovo-zhiv/
http://amdy.su/2009/05/20/otchyot-o-konferentsii-baynet-23-gamma/
http://amdy.su/2009/05/11/konferentsiya-baynet-23-gamma-v-novom-format/
http://amdy.su/2009/04/06/google-imperiya-zla/
http://amdy.su/2009/04/04/kompaniya-microsoft-otkryila-kod-mvc-freymvorka-dl/
http://amdy.su/2009/04/02/pattern-registry/
http://amdy.su/2009/03/28/opera-speed-dial/
http://amdy.su/2009/03/27/work-with-session/
http://amdy.su/2009/03/20/konstantyi/
http://amdy.su/2009/02/08/perezd-fida/
http://amdy.su/2008/12/16/encoding/
http://amdy.su/2008/12/10/personalnyi-attestat-webmoney/
http://amdy.su/2008/12/08/php-doungreyd-do-526/
http://amdy.su/2008/12/07/obnovlyaemsya-do-versii-php-527/
http://amdy.su/2008/12/03/doctrine-11-alpha/
http://amdy.su/2008/12/02/spl-in-php-arrayobject/
http://amdy.su/2008/12/01/86/
http://amdy.su/2008/11/29/template-and-view/
http://amdy.su/2008/11/27/flash-message-2/
http://amdy.su/2008/11/25/find-bom/
http://amdy.su/2008/11/18/novaya-versiya-zend-framework-17/
http://amdy.su/2008/11/15/own-templater-2/
http://amdy.su/2008/11/12/own-templater/
http://amdy.su/2008/11/11/krosbrauzernaya-vyorstka/
http://amdy.su/2008/11/08/flash-message/
http://amdy.su/2008/11/06/chyornyiy-piar-sokryitie-dohodov-i-neupla/
http://amdy.su/2008/10/29/facebook-vyilozhila-nekotoryie-ishodniki/
http://amdy.su/2008/10/23/malenkaya-mest-spameram/
http://amdy.su/2008/10/17/oblako-tegov/
http://amdy.su/2008/10/15/o-plohih-shablonizatorah/
http://amdy.su/2008/10/15/template-what-is/
http://amdy.su/2008/10/02/formyi-i-safari/
http://amdy.su/2008/08/31/nemnozhko-o-trablah/
http://amdy.su/2008/08/31/dozhdalsya/

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.