Нужно написать бота, который будет заходить на сайт, заполнять некоторые формы и скачивать информацию с сайта. До этого никогда не писал ботов и вообще не представляю как это работает. На сервере используется Node.js и хотелось бы писать бота на js. Подскажите c чего начать и где искать информацию (по каким запросам в гугле)?
-
Selenium — автоматизация браузеров– Sergiks22 апр 2013 в 10:10
-
@sergiks ТС не пишет automation тесты, ТС пишет бота...– user354522 апр 2013 в 10:14
-
@AlexWindHope ТС пишет вопрос, потому, что не знает пока как подступиться к написанию бота ) Selenium вполне оправданный подход к задаче автоматизации заполнения форм и скачивания инфы.– Sergiks22 апр 2013 в 11:30
-
@sergiks, тогда уж лучше casper.js– user354522 апр 2013 в 11:45
-
@AlexWindHope casper.js выглядит очень интересно, кажется это как раз то, что я искал. Спасибо. Есть ли возможность автоматически запускать скрипт время от времени? Точнее, чтоб сервер сам запускал скрипт, в зависимости от каких-то условий.– danilamihailov23 апр 2013 в 4:35
|
Показать ещё 1 комментарий
1 ответ
Нужно понять, что будет имитировать бот:
- какой-то запрос на сайт
- парсинг ответа
- следующий запрос, если таковой нужен
Читаем: http.request(options, callback)
В итоге запрос выглядит примерно так:
var options = {
hostname: 'www.google.com',
port: 80,
path: '/upload',
method: 'POST'
};
var req = http.request(options, function(res) {
console.log('STATUS: ' + res.statusCode);
console.log('HEADERS: ' + JSON.stringify(res.headers));
res.setEncoding('utf8');
res.on('data', function (chunk) {
console.log('BODY: ' + chunk);
});
});
req.on('error', function(e) {
console.log('problem with request: ' + e.message);
});
// write data to request body
req.write('data\n');
req.write('data\n');
req.end();
В общем тут ничего сложного, задавайте вопросы, если какие-либо возникнут. Но прежде сами пробуйте их решить.