0

Есть набор задач, которые нужно распараллелить:

Поисковый запрос пользователя передается нескольким поисковым системам, результаты объединяются и возвращаются пользователю. Идея в том, чтобы запросы к сайтам были не последовательными (критично время ожидания), а параллельными.

Зацепила идея выставления задачи отдельному скрипту или демону..., чтобы потом ajax'ом проверять завершение выполнения задачи. Год назад @org, отвечая на вопрос о асинхронных потоках, описывал логику работы, которая, на мой взгляд может быть здесь полезна:

  1. Скрипт A складывает в определенное место задачу и отдаёт ответ, что задача в процессе.
  2. Скрипт Б (скрытый от пользователей) берет активные задачи и начинает выполнять.
  3. Скрипт А проверяет статус задачи (в процессе / выполнена / не выполнена) и отдает ответ в случае успешности.

Пункты 1 и 3 - понятны. А вот мысль про отдельный скрипт (2) или даже отдельные скрипты - не совсем. В общем, буду рад наводкам на возможные решения.


UPD. Ковыряю и модифицирую код, который приводится на странице Разработка многозадачных приложений на PHP v5. Попробовал добавить два сайта. В чем затык?

<?php
  $timeout               = 10; 
  $result                = array(); 
  $sockets               = array(); 
  $convenient_read_block = 8192;
  $urls                  = array('ya.ru', 'google.com');
  $id                    = 0;

  foreach($urls as $url) {
    $s = stream_socket_client($url . ":80", $errno, $errstr, $timeout,
            STREAM_CLIENT_ASYNC_CONNECT|STREAM_CLIENT_CONNECT); 
    if ($s) { 
      $sockets[$id++] = $s; 
      fwrite($s, "GET / HTTP/1.0\r\nHost: " . $url . "\r\nAccept: */*\r\n\r\n");
    } else {
      echo "Stream " . $id . " failed to open correctly.";
    } 
  } 

  while (count($sockets)) { 
    $read = $sockets; 
    stream_select($read, $w = null, $e = null, $timeout); 
    if (count($read)) {
      foreach ($read as $r) { 
        $id   = array_search($r, $sockets); 
        $data = fread($r, $convenient_read_block); 
        if (strlen($data) == 0) { 
          fclose($r); 
          unset($sockets[$id]); 
        } else { 
          $result[$id] .= $data; 
        } 
      } 
    } else { 
      echo "Time-out!\n";
      break;
    } 
  }
?>
5
  • 1
    Подавляющее большинство тех кто пишет на php, являются веб-разработчиками. Подавляющее большинство веб-разработчиков знают в той или иной степени JavaScript. Внимание, вопрос: почему не node.js?
    – neoascetic
    19 июл 2012 в 7:56
  • @neoascetic, это моя первая мысль и я над ней думаю. Хочется однако узнать и об альтернативах. 19 июл 2012 в 7:58
  • @neoascetic - знать "в той или иной степени", к сожалению - недостаточно :) Вообще не вижу проблемы реализации пункта Б на php, CRON же.
    – user3545
    19 июл 2012 в 8:18
  • 1
    Жаль, что нет кнопки "мне не нравится этот комментарий". 19 июл 2012 в 10:21
  • @DenisKhvorostin теперь есть такая кнопка, флажок на ней )
    – Nick Volynkin
    15 ноя 2016 в 9:05

4 ответа 4

2

Мысли вслух: нечто навроде MapReduce. Пусть JS на стороне пользователя делает асинхронный запрос к разным частям сервер-сайда, которые, очевидно, будут выполняться параллельно:

/foo/
/bar/
/baz/

И потом же он (клиент-сайд) сам собирает то, что получил. Таким образом, распараллеливание задачи мы возлагаем на веб-сервер, который будет форкать (или что там он делает) обработчики, и на клиент-сайд

4
  • Ага. Эта часть квеста мне понятна. Вопрос в том, что должно быть на сервер-сайде в данном описании. 19 июл 2012 в 8:05
  • При условии, что скорость доступа к каждому отдельному сервису удовлетворительная - то хоть PHP. Каждый скрипт будет работать параллельно и выдавать результат как только его получит (и обработает). Проблема только, если клиенту необходимо отобразить результат, только когда получит ответы из всех источников (для сортировки или еще чего). MapReduce же! :D
    – neoascetic
    19 июл 2012 в 8:10
  • Node.js - не вариант: ограничение хостинга ("К сожалению, такой возможности не имеется. В настоящее время, использование данного скрипта возможно только на тарифах VDS без администрирования") 19 июл 2012 в 8:43
  • Промахнулись, куда коммент отправить? Потому как в этом ответе предполагается JS использовать на клиенте, на сервере какие угодно обработчики, хоть brainfuck :) Главное, чтобы общались на одном языке (JSON, разумеется)
    – neoascetic
    19 июл 2012 в 8:52
0

cURL'ом делайте параллельные запросы. См. пример и комменты к curl_mutli_init

0

Если всё серьёзно, можно попробовать Job-сервер поставить, например Gearman

0

Для многопоточности можно использовать это https://github.com/stas29a/php_threads Там реализован весь функционал необходимый для полноценного решения задачи многопоточности. Ну а всякие нюансы можете сами допилить под свои требования.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.