0

имею вот такой код, который по факту если изменить параметр offset с 90 до 180 должен передать страницу с следующими 90 участниками, но как бы я его не менял, получаю все те же первые 90

from termcolor import colored
from bs4 import BeautifulSoup as BS
import re
import time

offset = 900
s = requests.Session()

link = "https://www.freelancejob.ru/freelancers/"
ss = s.head(link)

payload = {
      "MOZG": "1",
      "start": f"{offset}",
      "id": "16"
}
headers = {
      "accept": "*/*",
      "accept-encoding": "gzip, deflate, br",
      "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36",
      "x-requested-with": "XMLHttpRequest",
      "referer": "https://www.freelancejob.ru/freelancers/",
      "cookie": "PHPSESSID=26902f7365e198369d9bc1dcabe1ad4f; fid=54a611d5-6c6b-48e4-be53-c9b489f4b049; tmr_lvid=d4db3d3fd2ff759f5d5033d5ca9fd7e7; tmr_lvidTS=1642446566767; _ym_uid=164244656733660386; _ym_d=1642446567; _ym_isad=2; __gads=ID=44089174e9fe5947-2239ca3422cd003b:T=1642446568:RT=1642446568:S=ALNI_MbA1fb0kHZgrqkcxhtQZsXH9gYqHw; tmr_detect=0%7C1642451650761; tmr_reqNum=45"
}

login = s.post(link, headers=headers, data=payload) # post requests

html = BS(login.content, 'html.parser')

with open('Kwork/index.html', 'w') as file:
    file.write(html.text)

1 ответ 1

2

Так правильно:

payload = {'MOZG': 1, 
           'start': offset,
           'id': 16
}

Весь код:

from bs4 import BeautifulSoup as BS
import re
import time

offset = 90
import requests
s = requests.Session()

link = "https://www.freelancejob.ru/scripts/ajax_freelancers.php"

payload = {'MOZG': 1, 
           'start': offset,
           'id': 16
}

headers = {
      "accept": "*/*",
      "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36",
      "x-requested-with": "XMLHttpRequest",
      "cookie": "PHPSESSID=26902f7365e198369d9bc1dcabe1ad4f; fid=54a611d5-6c6b-48e4-be53-c9b489f4b049; tmr_lvid=d4db3d3fd2ff759f5d5033d5ca9fd7e7; tmr_lvidTS=1642446566767; _ym_uid=164244656733660386; _ym_d=1642446567; _ym_isad=2; __gads=ID=44089174e9fe5947-2239ca3422cd003b:T=1642446568:RT=1642446568:S=ALNI_MbA1fb0kHZgrqkcxhtQZsXH9gYqHw; tmr_detect=0%7C1642451650761; tmr_reqNum=45"
}

login = s.post(link, headers=headers, data=payload) # post requests

html = BS(login.content, 'html.parser')
print(html)
# with open('Kwork/index.html', 'w') as file:
#     file.write(html.text)

Ответ от сайта:

 <div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/MrSL1m/">
<img alt="фрилансер Александр Гирев" class="img-thumbnail img-responsive img-circle" src="/upload/433/f90aa8c8471e6ebf90b6ca109794a6b0.jpg" title="фрилансер Александр Гирев"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/MrSL1m/">Александр Гирев</a></div>
<div class="x16"><br/><span class="x16T">Киров (Кировская обл.)</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Добрый день!Меня зовут Александр, я предоставляю услуги по:• 3d визуализации...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/r.sidenkov/">
<img alt="фрилансер Роман Сиденков" class="img-thumbnail img-responsive img-circle" src="/upload/236/00f89710be74dde19bc90aa44428010c.jpg" title="фрилансер Роман Сиденков"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/r.sidenkov/">Роман Сиденков</a></div>
<div class="x16"><br/><span class="x16T">Биробиджан</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Заказы принимаю через социальную сеть Вконтакте или Почта-Mail.ru.Давайте...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/Cruciann/">
<img alt="фрилансер Данила Карасев" class="img-thumbnail img-responsive img-circle" src="/upload/556/5e732bdaa1db9f3eca580400449afdcc.jpg" title="фрилансер Данила Карасев"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/Cruciann/">Данила Карасев</a></div>
<div class="x16"><br/><span class="x16T">Москва</span></div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/tresepy/">
<img alt="фрилансер Иван Герасимов" class="img-thumbnail img-responsive img-circle" src="/upload/389/281d493316d1e81f9ef822da23cf12a0.jpg" title="фрилансер Иван Герасимов"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/tresepy/">Иван Герасимов</a></div>
<div class="x16"><br/><span class="x16T">Москва</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Привет!Меня зовут Иван.Я прошёл курсы Веб-дизайна и Веб-разработчика .Изучаю...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/ekaterinadsgn/">
<img alt="фрилансер Екатерина Решетникова" class="img-thumbnail img-responsive img-circle" src="/upload/775/d8a727795cca884ad702a142ad1edb57.jpg" title="фрилансер Екатерина Решетникова"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/ekaterinadsgn/">Екатерина Решетникова</a></div>
<div class="x16"></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Доброго времени суток! Создам лучший дизайн для вашего бизнесаМеня зовут...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/valer1k/">
<img alt="фрилансер Валерий Приходько" class="img-thumbnail img-responsive img-circle" src="/upload/938/3f2ea6484daff48f4222f284962638a2.jpg" title="фрилансер Валерий Приходько"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/valer1k/">Валерий Приходько</a></div>
<div class="x16"><br/><span class="x16T">Вологда</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Приветствую! Я начинающий копирайтер, в данный момент прохожу курсы от...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/Vlev/">
<img alt="фрилансер Artemy Ivliev" class="img-thumbnail img-responsive img-circle" src="/upload/895/e73dba9311213099db299883fb63784e.jpg" title="фрилансер Artemy Ivliev"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/Vlev/">Artemy Ivliev</a></div>
<div class="x16"></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Sound Designer or Producer. (Style: Ambient, Techo, House, Lo-Fi House, HipHop,...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/Clava/">
<img alt="фрилансер Наталья Васильева" class="img-thumbnail img-responsive img-circle" src="/upload/939/1c0331bdecdb14d30db6d97b5a8467dd.jpg" title="фрилансер Наталья Васильева"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/Clava/">Наталья Васильева</a></div>
<div class="x16"><br/><span class="x16T">Новгород</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Ответственна, исполнительна, порядочна, доброжелательна, умею работать с...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/anasteysha1aa/">
<img alt="фрилансер Анастасия Мерчина" class="img-thumbnail img-responsive img-circle" src="/upload/113/092063eb7d42fe154fe992eb7e495bc0.jpg" title="фрилансер Анастасия Мерчина"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/anasteysha1aa/">Анастасия Мерчина</a></div>
<div class="x16"></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Высшее образование и 5 лет опыта в области подбора и адаптации персонала.Курсы...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/damilya05/">
<img alt="фрилансер Дамиля Абылгазынова" class="img-thumbnail img-responsive img-circle" src="/upload/978/352c4f72c43f13e2bf5ff103d34c3865.jpg" title="фрилансер Дамиля Абылгазынова"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/damilya05/">Дамиля Абылгазынова</a></div>
<div class="x16"></div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/Petros607/">
<img alt="фрилансер Петрос Маркарян" class="img-thumbnail img-responsive img-circle" src="/upload/840/e57678620f7f91f73f8cbfd349362cdb.jpg" title="фрилансер Петрос Маркарян"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/Petros607/">Петрос Маркарян</a></div>
<div class="x16"></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Принимаю все правки, готов поддерживать разработку после закрытия...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/sevostyanova_3D/">
<img alt="фрилансер Ольга Севостьянова" class="img-thumbnail img-responsive img-circle" src="/upload/952/06e2ec7bb0027c6eb91c6eee9220e819.jpg" title="фрилансер Ольга Севостьянова"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/sevostyanova_3D/">Ольга Севостьянова</a></div>
<div class="x16"><br/><span class="x16T">Калининград</span></div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/PolyVg/">
<img alt="фрилансер Полина Вагнер" class="img-thumbnail img-responsive img-circle" src="/upload/501/79a7abb87ad498b7c20a7c076d2b6770.jpg" title="фрилансер Полина Вагнер"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/PolyVg/">Полина Вагнер</a></div>
<div class="x16"><br/><span class="x16T">Балаково</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">На бирже фриланса я новичок, но к своей работе отношусь максимально...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/Maxei/">
<img alt="фрилансер Никита Михеенко" class="img-thumbnail img-responsive img-circle" src="/upload/518/eedab98e5565055428afc38c6cff4dd9.jpg" title="фрилансер Никита Михеенко"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/Maxei/">Никита Михеенко</a></div>
<div class="x16"></div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/ykifoxrp/">
<img alt="фрилансер Anastasia Kovalenko" class="img-thumbnail img-responsive img-circle" src="/upload/524/5afc933f9662d66ed99dd36a5410d1f1.jpg" title="фрилансер Anastasia Kovalenko"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/ykifoxrp/">Anastasia Kovalenko</a></div>
<div class="x16"><br/><span class="x16T">Шахты</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">В моих интересах Аниме арты , хумонизации и даже простые арты людей и животных,...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/alizard/">
<img alt="фрилансер Алиса Бойко" class="img-thumbnail img-responsive img-circle" src="/upload/308/e56b7c4faadb9743f74c2430210c41d8.jpg" title="фрилансер Алиса Бойко"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/alizard/">Алиса Бойко</a></div>
<div class="x16"><br/><span class="x16T">Николаев</span></div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/Webfact/">
<img alt="фрилансер Webfact Webfact" class="img-thumbnail img-responsive img-circle" src="/upload/941/9874dbc1a64103e31037a4d3fa66cf55.jpg" title="фрилансер Webfact Webfact"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/Webfact/">Webfact Webfact</a></div>
<div class="x16"><br/><span class="x16T">Москва</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Мы начинали с нескольких человек и небольшого офиса на окраине Москвы, а сейчас...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/[email protected]/">
<img alt="фрилансер Феликс Геворгян" class="img-thumbnail img-responsive img-circle" src="/upload/775/2c7238e0d96f4c24e9cec08a68141147.jpg" title="фрилансер Феликс Геворгян"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/[email protected]/">Феликс Геворгян</a></div>
<div class="x16"></div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/qwerty123410/">
<img alt="фрилансер Артём Зуев" class="img-thumbnail img-responsive img-circle" src="/upload/444/520052d174605c30905799f4c4e41f15.jpg" title="фрилансер Артём Зуев"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/qwerty123410/">Артём Зуев</a></div>
<div class="x16"><br/><span class="x16T">Воронеж</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Являюсь студентом воронежского государственного технического университета по...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/d_semakov/">
<img alt="фрилансер Дмитрий Семаков" class="img-thumbnail img-responsive img-circle" src="/upload/846/25050c26a082f62987f82566a5c7f434.jpg" title="фрилансер Дмитрий Семаков"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/d_semakov/">Дмитрий Семаков</a></div>
<div class="x16"><br/><span class="x16T">Новочеркасск</span></div>
<div style="color:#9A9A9A; font-size:13px; line-height:16px;">Работаю с: PHP, Laravel, Symfony, YII2, JavaScript (jQuery, VueJS, VueRouter),...</div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/bouddha/">
<img alt="фрилансер Валерий Зубков" class="img-thumbnail img-responsive img-circle" src="/upload/504/e5afc1a52bc6996f1e78918f1084c891.jpg" title="фрилансер Валерий Зубков"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/bouddha/">Валерий Зубков</a></div>
<div class="x16"><br/><span class="x16T">Саратов</span></div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/mascara11freak/">
<img alt="фрилансер Дарья Кузнецова" class="img-thumbnail img-responsive img-circle" src="/upload/533/d8fa6be20b3b413bd3662b34194167a9.jpg" title="фрилансер Дарья Кузнецова"/>
</a>
</div>
<div class="col-xs-8 col-sm-8 x1R">
<div><a href="/users/mascara11freak/">Дарья Кузнецова</a></div>
<div class="x16"><br/><span class="x16T">Новокузнеск</span></div>
</div>
<div class="clearfix"></div>
</div>
</div>
<div class="col-xs-12 col-sm-6 col-md-4 x1R x7R2">
<div style="margin-right:30px; padding:4px; ">
<div class="col-xs-4 col-sm-4 x1Y x67"><a href="/users/coolyamina/">
<img alt="фрилансер Алина Кулямина" class="img-thumbnail img-responsive img-circle" src="/upload/379/ae0e10c1a64ec792045aa5ae9

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.