0

Доброго времени суток.

Я недавно попробовал писать демоны на PHP и работать с ними. Как показала практика, это гораздо более быстрый вариант работы сервер-сайда, но сразу же возникает много вопросов.

Например:

  1. Утечки памяти. Их решил. Нужно просто быть внимательным :)
  2. Связь между несколькими демонами и передача параметров между клиент-сайдом и сервер-сайдом. Это можно делать через memcache, но мне кажется, что можно как-то либо это сделать на сокетах в обход Мемкэша. Есть ли у кого-либо тут опыт в этой части?
1
  • Как понимаю, вы занимаетесь написанием ботов для компьютеров, так? Если да, то я этим тоже занимаюсь, причем занимаюсь серьёзно. Начинал с написания механизмов для вирусов и самих вирусов, но, поняв, что это ооочень нехорошо, занялся ботами. Сейчас занимаюсь организацией ботнета. Правда, я пишу ботов на низком уровне, т.е не на PHP.
    – AseN
    8 апр 2012 в 10:48

5 ответов 5

3

Спустя три года.

Если взять проблему целиком, то она называется IPC - Inter-Process Communication, межпроцессное сообщение. ОС всегда поддерживает некоторые низкоуровневые способы, такие, как сигналы (+семафоры и разделяемая память в sys v); кроме того, всегда можно задействовать сеть для передачи сообщений. Однако всё это низкоуровневые инструменты, которые используются для конкретной задачи и требуют постоянной доработки при расширении сервиса: например, требуется передавать одну задачу исключительно одному клиенту, а другую - вообще всем; в случае, если клиент не ответил утвердительно о принятии задачи, то передать ее следующему клиенту и т.д.

Я, конечно, клоню к тому, что для удобной реализации IPC нужен брокер сообщений - сервер, который принимает сообщения и рассылает их клиентам. Как бы просто это не звучало, за этим кроется очень много работы и некоторая логика, которая позволяет уйти от простой модели "послал напрямую клиенту" (например, распараллелить одно сообщение в несколько очередей). Я пока работал только с AMQP 0.9.1 (и этот протокол - далеко не единственное, что существует), однако все мое сообщение сейчас пишется только потому, что с ним удобно работать. AMQP хорош тем, что для него есть куча взаимозаменяемых реализаций (поэтому приложение даже не знает, что именно у него за брокер, а брокер не знает, какие приложения он обслуживает), а сама модель позволяет очень гибко назначать роутинг сообщений - и "раскидать по всем подключенным очередям", и "проверить все привязки и раздать только тем, маска которых соответствует подписи сообщения".

Конкретно AMQP требует некоторого чтения документации, и если вам нужно что-то очень быстрое - можно использовать gearman, который прост, как дрова, и позволяет накарябать передачу-прием сообщений в пару присестов.

Подытоживая, я бы рекомендовал всем зашедшим в этот вопрос сразу использовать тот или иной брокер сообщений, потому что это снимет кучу головной боли и добавит красивую аббревиатуру в резюме.

0
  1. Необходимо не забывать все подчищать за собой.
  2. Попробуйте научить демон понимать http-запросы, это не сложно, зато облегчит взаимодействие с другими сервисами.
  3. Когда ваш демон разрастется, будет гораздо сложнее его поддерживать.Любая ошибка в коде даже самого редкого функционала легко может положить демона. Еще много всяких мелочей, суть которых сводится к тому, что код демона гораздо сложнее поддерживать, нежели "набор короткоживущих скриптов"(прошу обратить снимание на кавычки).
8
  • 1. Не забываю, спасибо :D 2. не универсально. 3. Это понятно. Если руки не из (!), то боятся таковой технологии смысла не имеет :) P.S. Ответ на свой вопрос не получил. 8 апр 2012 в 10:48
  • Для этого надо использовать апдейтер и связку Dll`ок, чтобы можно было обновиться в нужный момент. Также советую позаботиться о разрешении в файерволе.
    – AseN
    8 апр 2012 в 10:54
  • 1
    В любом случае должен быть демон который следит за тем, что демон, который, непосредственно, выполняет необходимую работу - работает и не упал и если он упал - оперативно подымал бы его. По поводу руки не из Ж - если вы думаете что ваш демон не будет падать, значит это либо демон уровня helo world, либо ваш опыт работы с ними ~= 0. PS: лично я считаю что демон на PHP это страшно ^_^
    – user3545
    8 апр 2012 в 11:39
  • @AlexWindHope, я тоже так думал, пока не прочитал одну очень интересную статью из журнала "Хакер". Она наглядно демонстрировала, что на PHP можно сделать вполне себе так нехилое приложение для десктопа. В некоторых случаях даже приходится пристраивать к программам на C# или Delphi отдельные файлы с PHP-кодом. Вот так. В любом случае должен быть демон который следит за тем, что демон, который, непосредственно, выполняет необходимую работу - работает и не упал и если он упал - оперативно подымал бы его. кэп =)
    – AseN
    8 апр 2012 в 11:52
  • @Asen - о да, PHP разнесет в пух и прах рынок десктоп приложений, ну к чему это?.. По поводу "кэпа" - я вас уверяю, абсолютное большинство тех, кто пишет демоны впервые этого не делают, так что, возможно, кэп для вас, но, как не странно - далеко не для всех
    – user3545
    8 апр 2012 в 12:07
0

Примерно год назад я захотел собрать свой поисковик с индексатором, у меня всё получилось, заработало, но применить я это с пользой не смог, так и лежит без дела.

Все файлы, которые работают постоянно и выгружаются по команде, я называл роботами. Таких файлов-роботов было 6, общались они между собою путём создания файлов в общей папке. Одновременно работать могли все роботы, однако, все работали друг за другом. Названия файлов были нечто похожие на "я робот проверяльщик ссылок завершил свою работу" "я робот проверяльщик в режиме ожидания", это как один из вариантов.

Чтобы не было утечек памяти, вам придётся удалять буквально всё, в чём может храниться информация, например переменные или массивы. Выполнять очистку результатов из mysql запроса и т.п.

0

Организация общения между несколькими демонами - эта задача имеет кучу вариантов решения. В принципе некоторые вам уже подсказали.

Мне понравился такой вариант:

  • при старте создается файл-индикатор, что-то типа #PORT#.daemon
  • в него можно раз в N сек писать какие-то данные, чисто для индикации, что демон на связи и работает
  • в самом демоне помимо его работы принимать входящие соединения и ждать оттуда некоторую структуру, например #ACCESSCODE#PORT#ID#, чтобы никто кроме собственно демонов не лез.
  • само общение производить опять же структурами, например самое банальное [4 байта, длина данных][данные (json/serialize/whatever)] и слать ответ в таком же виде.
  • при старте новый демон проверяет временную папку и коннектится со всеми найденными демонами по 127.0.0.1:#PORT#. Можно соединяться только при надобности, если не критично время.

Повторяться про память не буду) Общение непосредственно через файлы - оно дольше, но иногда вполне применимо. Вообще никто не запрещает и через БД общаться, это проще, но еще дольше.

6
  • В целом подход правильный, вот только существует множество тонкостей, нитей от одного пункта к другому, без которых бот становится уязвим к обнаружению. Например, если соединение с интернетом пропало (модем из розетки или свет отключили =) ), то нужно позаботиться о пинговании сервера, и если ответа не поступило, то делать реконнект.
    – AseN
    8 апр 2012 в 11:57
  • Автор так и не сказал, что организовывает ботнет ;) Я отвечал на вопрос об общении, а иерархия и контроль - другое же совсем.
    – Sh4dow
    8 апр 2012 в 12:05
  • При чем тут бот-нет ? :) Нет, я пишу серсисы для различной работы. Модульную систему. Т.е. будет сервер-сайд: - Работа с БД - Работа с отчетами - etc. И клиент-сайд, который, в свою очередь, у этих демонов запрашивать инфу :) ... Все же я остановился на мемкэше. Колфайлы - это огромный минус :) 8 апр 2012 в 12:23
  • Ботнет в данном случае - это сеть ботов(не вредоносных). Просто все знают, что такое ботнет, и, чтобы было легче выражаться, я говорю "ботнет", ведь я не знаю, что у вас там за сеть такая)
    – AseN
    8 апр 2012 в 12:29
  • так это @Asen про ботнет что-то рассказывает) А в вашем случае, наверно, для передачи таки придется обучить его понимать http, ибо иначе придется еще кучу ереси под это дело осваивать-настраивать, а там и иешник подтянется.
    – Sh4dow
    8 апр 2012 в 12:29
0

Вопрос закрыт.

#!/usr/bin/php
<?php
$bind_iface = get_env('STORAGE_NET_SERVER') ? split(get_env('STORAGE_NET_SERVER'), ':') : '127.0.0.1:31119';
$socket = stream_socket_server('tcp://' . bind_iface[1] . ':' . $bind_iface[0], $errno, $errstr);

while(TRUE){
    while($conn = stream_socket_accept($socket,-1)){
        $pid = pcntl_fork();
        if($pid==-1){
            fwrite(STDOUT,"Fork failed. Exiting!\n");
            exit;
        } 
        elseif($pid) {
            fclose($conn);
        } else {
            $arr = array( 'asas' => 123);
            fwrite($conn, "Hello!\n");
            fwrite($conn, "I am PID: ".posix_getpid()."\n");
            while ($conn) {
                $message = fread($conn, 1024);
                $message = preg_replace('%[^A-Za-zА-Яа-я0-9]%', '', $message);
                fputs ($conn, json_encode($arr) . "\r\n");
                if($message == "exit") {
                    fclose ($conn);
                    exit;
                }
            }
            fclose($conn);
        }
    }
}

function sig_handler($signo){
    switch ($signo) {
        case SIGTERM:
            exit;
            break;
        case SIGCHLD:
            exit;
            break;
        default:

    }
}

// setup signal handlers
pcntl_signal(SIGTERM, "sig_handler");
pcntl_signal(SIGCHLD, "sig_handler");

Ну вот и все. Получил многопоточный TCP сервер. С помощью него и будет происходить общение между демонами :)

2
  • 1
    Я бы сказал, вы подняли многопоточный tcp-сервер на многопоточном tcp-сервере)) Осталось еще два, чтобы один сидел и погонял вторым :) // юмор
    – Sh4dow
    8 апр 2012 в 23:05
  • Ну, вобщем, так и есть :) Только запуск этого скрипта ведется из консоли :)... так что http тут не при чем ) Многопоточный сервер и даст мне эффект работы демонойда ровненько так, как мне нужно :) 9 апр 2012 в 7:27

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.