0

На текущий момент мы имеем проблему...

Node.js скрипт, запускает сервер и ждет клиентов, на запрос клиента парсит сразу несколько сайтов (от 4) и отдает в ответ отсортированные результаты...

При нагрузке от 50 обращенй в секунду, через 5-10 секунд после запуска начинают зависать все внешние соединения к сайтам которые нужно парсить, соединения обрываются по таймауту (получаем Error: socket hang up), но это ничего не дает любые новые так же зависают...

Пробовали запуск на разных серверах в разных дц, проблема в самом скрипте...

FreeBSD: 9.2 Node.js: 0.10.22

Тестовый скрипт - https://www.alphabid.com/parser2.js

6
  • я надеюсь вы в курсе что async!=fork ? в том смысле что var _async = require('async'); function a(cb) { var c=0; for (var i=0;i<100000000;i++) { c=i*2; } console.log("A end"); cb(null,c); } function b(cb) { console.log("B end"); cb(null,"BBB"); } _async.parallel([a,b],function(err,results) { console.log(err,results); }); выведет: A end B end null [ 199999998, 'BBB' ]
    – zb'
    17 янв 2014 в 19:46
  • но по мне всё хорошо выглядит, скорее всего вас притормаживают поставщики данных, возьмите свой "сервер", который тупо будет отдавать данные без всяких ограничений (можно статику) и попробуйте нагрузить, скорее всего таких тормозов не будет.
    – zb'
    17 янв 2014 в 19:53
  • вот я простеньким скриптом проверил одного из ваших поставщиков: time curl megayachts.ru/news >/dev/null;for ((a=0;a<500;a++));do echo $(echo -n "$a ";curl -v megayachts.ru/news &> $a.log && echo OK) & done $ grep 'left intact' * |wc -l 413 это значит, что 413 соединений из 500 они отбросили. так-то. tip: кэшируйте данные, не переспрашивайте аплинка по каждому чиху - мы не в XXIV веке живем
    – zb'
    17 янв 2014 в 20:05
  • megayachts.ru это случайный сайт вот пример реальной xml xml.intecppc.com/… смысл в том, что кешировать нельзя
    – Bender2009
    18 янв 2014 в 0:44
  • необходимо получать всегда свежие данные...
    – Bender2009
    18 янв 2014 в 0:45

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.