6

Есть основное приложение WinForms в котором ведётся парсинг интернет ресурса с записью необходимых данных в двумерный массив string[5000, 50].

Где 1й столбец строки это ссылка, а остальные столбцы данные с ресурса.

Как только набирается строка c данными , данные этой строки сгруппировано выводятся в окне приложения.

Как мне эти данные передавать в массив другого приложения WinForms по интернету и так же выводить ?

Главный вопрос, как передавать эти данные c записью в массив ?

Самостоятельно искал, читал немного про сокеты, но пока каша в голове и не знаю про подводные камни.

Хотелось бы как то тупо, при заполнении строки массива в главном приложении, сразу эту строку массива передавать в массив удалённого приложения.

6
  • Именно по интернету, а не в локальной сети?
    – Bulson
    3 ноя 2017 в 21:45
  • @Bulson Да, по интернету. Например на ноутбук, а в будущем и на телефон android - где бы я не был. Wi/Fi , мобильные сети.
    – Xzizz
    3 ноя 2017 в 21:47
  • Зачем читать про сокеты, если есть удобные высокоуровневые классы TcpClient и TcpListener?
    – Zergatul
    4 ноя 2017 в 0:07
  • @Zergatul я вбил в гугл по поводу передачи данных, что мне там выдало, То и читал xD
    – Xzizz
    4 ноя 2017 в 8:12
  • 2
    Про кашу точно подмечено. Вам нужно промежуточное хранилище результатов парсинга, к которому смогут обращаться разные клиенты. Не забывайте, что источнику данных (парсеру) не обязательно (и не нужно) знать, есть у него клиенты или нет. Другой вопрос, как организовать оповещение клиентов об обновлениях, для этого есть много способов для разных типов клиентов и платформ, но универсального нет. А вашу идею писать данные в память другого процесса на другом устройстве лучше оставьте, нельзя так.
    – rdorn
    4 ноя 2017 в 16:44

2 ответа 2

7
+50

Хотя автор вопроса уже сделал свой выбор не дождавшись других вариантов. Я все-таки попробую составить конкуренцию :)

Дамы и господа, вашему вниманию предлагается модный и молодежный Firebase от известнейшей корпорации добра! Шутка :)

Все хипстеры, попивая смузи в Жан-Жаке, мечтают таки написать свой собственный кошерный (с шахматами и девочками) чатик для Айфона. Ну, и конечно, ничего кроме Firebase ими просто не берется в расчет. Потому, если вы даже почти шепотом посмеете сказать или даже намекнуть про какой-нибудь мускул или подобное, то в ответ вы услышите лишь презрительное фи, хлопок закрывающегося макбука и досвидос. Опять была шутка :)

Работает это так демонстрация работы программ

Зарегистрируйтесь, зайдите в консоль управления, добавьте новый проект

создание нового проекта

Слева в меню перейдите к разделу БД

шаг1

Зайдите в правила

шаг2

Измените на открытый доступ так

шаг3

Да, я знаю, что это страшно и небезопасно. Но, мы же только учимся...

1) Создание библиотеки для работы с Firebase

Создайте проект библиотеки, и в нем класс Пакета такой

public class Package
{
    public DateTime Date { get; set; }
    public string Content { get; set; }

    //ctor
    public Package()
    {
        Date = DateTime.Now;
        Content = "<?>";
    }

    public override string ToString()
    {
        return $"{Date.ToLongTimeString()}: {Content}";
    }

    public override bool Equals(object obj)
    {
        var package = obj as Package;
        return package != null &&
               Date == package.Date &&
               Content == package.Content;
    }

    public override int GetHashCode()
    {
        var hashCode = -165655869;
        hashCode = hashCode * -1521134295 + Date.GetHashCode();
        hashCode = hashCode * -1521134295 + EqualityComparer<string>.Default.GetHashCode(Content);
        return hashCode;
    }
}

Для работы с сабжем создадим класс FirebaseClient

public class FirebaseClient
{
    private enum HttpVerb
    {
        GET,
        POST,
        PATCH,
        DELETE
    }

    private const string _CONTENT_TYPE = "application/json";
    private const string _CONTENT_TYPE_WITH_CHARSET = "application/json: charset=utf-8";
    private const string _EMPTY_ANSWER_FIREBASE = "null";

    private readonly string _path;
    private WebRequest _webRequest;

    //ctor
    public FirebaseClient(string path)
    {
        if (String.IsNullOrEmpty(path)) throw new ArgumentNullException(nameof(path));
        _path = path;
    }

    /// <summary>
    /// Добавление новых данных
    /// </summary>
    /// <param name="json">текст в формате Json</param>
    /// <returns></returns>
    public string Insert(string json)
    {
        if (String.IsNullOrEmpty(json)) throw new ArgumentNullException(nameof(json));

        SetWebRequest(HttpVerb.POST);
        WriteJsonToStream(json);

        return GetResultAfterPostOrPatch();
    }

    /// <summary>
    /// Обновление данных
    /// </summary>
    /// <param name="json">текст в формате Json</param>
    /// <returns></returns>
    public string Update(string json)
    {
        if (String.IsNullOrEmpty(json)) throw new ArgumentNullException(nameof(json));

        SetWebRequest(HttpVerb.PATCH);
        WriteJsonToStream(json);

        return GetResultAfterPostOrPatch();
    }

    private void SetWebRequest(HttpVerb httpVerb)
    {
        _webRequest = WebRequest.CreateHttp(_path);

        switch (httpVerb)
        {
            case HttpVerb.GET:
                _webRequest.Method = HttpVerb.GET.ToString();
                _webRequest.ContentType = _CONTENT_TYPE_WITH_CHARSET;
                break;
            case HttpVerb.POST:
                _webRequest.Method = HttpVerb.POST.ToString();
                _webRequest.ContentType = _CONTENT_TYPE;
                break;
            case HttpVerb.PATCH:
                _webRequest.Method = HttpVerb.PATCH.ToString();
                _webRequest.ContentType = _CONTENT_TYPE;
                break;
            case HttpVerb.DELETE:
                _webRequest.Method = HttpVerb.DELETE.ToString();
                _webRequest.ContentType = _CONTENT_TYPE;
                break;
            default:
                throw new ArgumentException(nameof(httpVerb));
        }
    }

    private void WriteJsonToStream(string json)
    {
        byte[] buffer = Encoding.UTF8.GetBytes(json);

        _webRequest.ContentLength = buffer.LongLength;
        _webRequest.GetRequestStream().Write(buffer, 0, buffer.Length);
    }

    private string GetResultAfterPostOrPatch()
    {
        string result = String.Empty;

        var response = _webRequest.GetResponse();
        result = (new StreamReader(response.GetResponseStream())).ReadToEnd();
        _webRequest = null;

        return result;
    }

    /// <summary>
    /// Получение данных
    /// </summary>
    /// <returns></returns>
    public string Get()
    {
        string result = String.Empty;

        SetWebRequest(HttpVerb.GET);

        using (HttpWebResponse response = (HttpWebResponse)_webRequest.GetResponse())
        {
            if (response.StatusCode == HttpStatusCode.OK)
            {
                result = GetStringResponse(response);
            }
        }

        //если в базе нет данных в ответ приходит текст:"null"
        if (result == _EMPTY_ANSWER_FIREBASE)
        {
            result = String.Empty;
        }

        _webRequest = null;
        return result;
    }

    private string GetStringResponse(HttpWebResponse response)
    {
        using (Stream responseStream = response.GetResponseStream())
        {
            if (responseStream == null) return String.Empty;

            using (StreamReader reader = new StreamReader(responseStream, Encoding.UTF8))
            {
                return reader.ReadToEnd();
            }
        }
    }

    /// <summary>
    /// Удаление данных
    /// </summary>
    public void Remove()
    {
        SetWebRequest(HttpVerb.DELETE);

        var response = _webRequest.GetResponse();

        _webRequest = null;
    }

}

Установите нугет пакет Newtonsoft.Json в нашу библиотеку, напишем класс для отправки сообщений

public class SenderService
{
    private readonly FirebaseClient _service;

    //ctor
    public SenderService(FirebaseClient service)
    {
        _service = service ?? throw new ArgumentNullException(nameof(service));
    }

    public string SendPackage(Package package)
    {
        if (package == null) throw new ArgumentNullException(nameof(package));

        string json = Newtonsoft.Json.JsonConvert.SerializeObject(package);

        return _service.Insert(json);
    }

    public string UpdatePackage(Package package)
    {
        if (package == null) throw new ArgumentNullException(nameof(package));

        string json = Newtonsoft.Json.JsonConvert.SerializeObject(package);

        return _service.Update(json);
    }
}

А это класс для получения сообщений

public class ReceiverService
{
    private readonly FirebaseClient _service;

    //ctor
    public ReceiverService(FirebaseClient service)
    {
        _service = service ?? throw new ArgumentNullException(nameof(service));
    }

    public IEnumerable<Package> ReceivePackage()
    {
        List<Package> result = new List<Package>();

        string answer = _service.Get();
        if (String.IsNullOrEmpty(answer)) return result;

        //парсинг ответа
        JObject jObject = JObject.Parse(answer);
        var children = jObject.Children().ToArray();

        foreach (var token in children)
        {
            var package = token.Children()
                               .First()
                               .ToObject<Package>();

            result.Add(package);
        }

        return result;
    }
}

2) Приложение для отправки сообщений

Я написал WPF, приведу только ViewModel

public class MainViewModel : INotifyPropertyChanged
{
    public event PropertyChangedEventHandler PropertyChanged;

    /// <summary>
    /// Внимание! Этот адрес через пару дней я удалю.
    /// Создайте свой собственный с правилами:
    /// {
    ///  "rules": {
    ///     ".read": true,
    ///     ".write": true
    ///    }
    /// }
    /// И не забудьте в конце адреса дописать .json
    /// </summary>
    private readonly string _firebase = "https://testtodo-8d83d.firebaseio.com/.json";

    private int _sendIndex = 1;

    //ctor
    public MainViewModel()
    {
    }


    private string _InputText = "Сообщение";
    public string InputText
    {
        get { return _InputText; }
        set
        {
            _InputText = value;
            PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(InputText)));
        }
    }

    private string _OutputText;
    public string OutputText
    {
        get { return _OutputText; }
        set
        {
            _OutputText = value;
            PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(OutputText)));
        }
    }

    private bool _IsIndexed = true;
    public bool IsIndexed
    {
        get { return _IsIndexed; }
        set
        {
            _IsIndexed = value;
            PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(IsIndexed)));
        }
    }

    public void SendOnePackage()
    {
        if (String.IsNullOrEmpty(InputText))
        {
            OutputText = "Невозможно отправить пустое сообщение";
            return;
        }

        if (IsIndexed)
        {
            var chars = InputText.ToCharArray()
                                 .Where(c => !char.IsDigit(c))
                                 .ToArray();
            InputText = new string(chars) + _sendIndex.ToString();
            _sendIndex++;
        }

        Package package = new Package { Content = InputText };

        SenderService service = new SenderService(new FirebaseClient(_firebase));
        var answer = service.SendPackage(package);

        answer = answer.Substring(9, answer.Length - 11);
        OutputText = $"Получен и сохранен с именем: {answer}";
    }

}

3) Приложение получатель

Тоже только ViewModel

public class MainViewModel : INotifyPropertyChanged
{
    public event PropertyChangedEventHandler PropertyChanged;

    /// <summary>
    /// Внимание! Этот адрес через пару дней я удалю.
    /// Создайте свой собственный с правилами:
    /// {
    ///  "rules": {
    ///     ".read": true,
    ///     ".write": true
    ///    }
    /// }
    /// И не забудьте в конце адреса дописать .json
    /// </summary>
    private readonly string _firebase = "https://testtodo-8d83d.firebaseio.com/.json";

    private readonly IMainWindow _mainWindow;
    private volatile bool _shouldHearing;
    private SynchronizationContext _context = SynchronizationContext.Current;
    private HashSet<Package> _hashSet;
    private int _countElements;

    //ctor
    public MainViewModel(IMainWindow mainWindow)
    {
        _mainWindow = mainWindow ?? throw new ArgumentNullException(nameof(mainWindow));
    }


    private ObservableCollection<Package> _Messages;
    public ObservableCollection<Package> Messages
    {
        get { return _Messages; }
        set
        {
            _Messages = value;
            PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(Messages)));
        }
    }

    /// <summary>
    /// Начать слушать
    /// </summary>
    public void DoHear()
    {
        _shouldHearing = true;
        _hashSet = new HashSet<Package>();
        _countElements = 0;

        Task.Run(() => Hearing());
    }

    private void Hearing()
    {
        while (_shouldHearing)
        {
            var service = new ReceiverService(new FirebaseClient(_firebase));
            IEnumerable<Package> packages = service.ReceivePackage();
            if (packages.Count() == 0) continue;

            _context.Post(delegate { AddPackages(packages); }, null);
        }
    }

    private void AddPackages(IEnumerable<Package> packages)
    {
        foreach (var package in packages)
        {
            _hashSet.Add(package);
        }

        if (_countElements < _hashSet.Count)
        {
            Messages = new ObservableCollection<Package>(_hashSet);
            _countElements = _hashSet.Count;
        }
    }

    /// <summary>
    /// Остановка
    /// </summary>
    public void StopHearing()
    {
        _shouldHearing = false;

        if (Messages?.Count > 0)
        {
            _mainWindow.ChangeStateControls(StateControls.MessagesExists);
        }
        else
        {
            _mainWindow.ChangeStateControls(StateControls.Startup);
        }
    }

    /// <summary>
    /// Удаление ранее отправленных
    /// </summary>
    public void RemovePackages()
    {
        if (Messages.Count == 0) return;

        var client = new FirebaseClient(_firebase);
        client.Remove();

        Messages.Clear();

        _mainWindow.ChangeStateControls(StateControls.Startup);
    }

}

Весь пример лежит здесь.

3

Я мог бы вам предложить один из вариантов организации данного функционала:

Логика :

1) Серверная часть

Ваш Parser после анализа полученных данных и формирования массива значений (рекомендую использовать коллекции в место статичного массива) сериализуется в json(или XML формат) строку и добавляет их в базу данных MySQL (локальную или удалённую) (с одновременной проверкой наличия там таких данных) - SQL запрос для организации структуры базы данных для ваше случая должна быть примерно таковой

CREATE DATABASE IF NOT exists parsersystem;
use parsersystem;
    CREATE TABLE IF NOT exists Procedures  (
      number int AUTO_INCREMENT,
      id int,
      jsonData TEXT,
      ts_create timestamp NOT NULL DEFAULT '0000-00-00 00:00:00',
      ts_update timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
      PRIMARY KEY (number)
    );
  • где number это автоинкриментное поле (уникальный номер записи в БД)

    id - уникальный специфичный номер записи (заданный пользователем)

    jsonData - сериализация любых данных в том числе и массива ваших значений

    ts_create - дата и время создание записи

    ts_update - дата и время обновления записи

    • MySQL сервер настраивается таким образом чтобы к нему имели доступ клиенты через интернет либо локальную сеть (в зависимости от ваших нужд)

2) Клиенты

  • Клиентское приложение будь то Desktop, Android или другое, не имеет связи непосредственно с вашим серверным Parser приложением, а обращается к открытой MySQL базе (закрытой по желанию паролем), на предмет наличия новых записей, это становится возможным при использовании поля ts_create - которое отражает время создание записи Логика:
    • клиент периодически делает запрос к базе данных примерно такой

SELECT * FROM Procedures WHERE ts_create > TIMESTAMP (время последней добавленной клиентом записи) ORDER BY ts_create DESC

  • таким образом клиент получит только новые записи из таблицы
  • на стороне клиента происходит десереализация jsondata и формирование своей локальной копии массива (идентичного тому что на стороне сервера)
  • клиенту следует хранить дату и время последней добавленной записи для последующих запросов

Преимущество такого подхода :

  • независимость клиентской и серверной части приложения, (данные хранятся отдельно в БД)

  • нет необходимости в организации специфического протокола общения (сервер -клиент) при использовании подхода передачи при помощи сокетов

Предположим что мы имеем некий класс описывающий модель наших данных

    public class Procedure(){
     public String Name { get; set; }
         public List<String> Data { get; set; }
    }

А также мы на стороне сервера имеем набор данных (коллекцию)

public List<Procedure> procedures;

Для записи в базу данных такой конструкции стоит применять примерно такой метод:

public AddProceduresToDataBase(List<Procedure> procedureList) {
    string Connect = "Port=3306; Database=parsersystem;Data Source=127.0.0.1;Password=mysql_password;
    MySqlConnection myConnection = null;
    try
    {
        myConnection = new MySqlConnection(Connect);

        myConnection.Open();
    }
    catch (Exception e)
    {
        myConnection.Close();
Console.Out.WriteLine("Ошибка доступа к базе данных");
    }

    foreach (var proc in procedureList) 
    {
     var json = new JavaScriptSerializer().Serialize(proc);
     // Экранируем спец символы
     json = json.Replace(Convert.ToChar(0171) + "", "")
                .Replace(Convert.ToChar(0187) + "", "")
                .Replace("\\\"", "")
                .Replace("\\","\\\\");
     MySqlCommand myCommand_add = new MySqlCommand(@"INSERT INTO Procedures(id,jsondata,ts_create,ts_update) VALUE (" + сгенерить нужно ID  + "+ json + "',null,null);", myConnection);
                myCommand_add.ExecuteNonQuery();
    }

myConnection.Close(); //Обязательно закрываем соединение!

}

Для чтения коллекции из базы данных стоит использовать примерно такой метод

public List<Procedure> GetProcedures() {
    string Connect = "Port=3306; Database=parsersystem;Data Source=127.0.0.1;Password=mysql_password;
    MySqlConnection myConnection = null;
    try
    {
        myConnection = new MySqlConnection(Connect);

        myConnection.Open();
    }
    catch (Exception e)
    {
        myConnection.Close();
Console.Out.WriteLine("Ошибка доступа к базе данных");
    }

    string CommandText = "SELECT * FROM Procedures ";
    MySqlCommand myCommand = new MySqlCommand(CommandText, myConnection);

    MySqlDataReader MyDataReader;
    MyDataReader = myCommand.ExecuteReader();

    List<Procedure> procedures = new List<Procedure>();
    String jsonData;

    while (MyDataReader.Read())
    {
        try
        {
            jsonData = MyDataReader.GetString(2); // Читаем jsondata из 2го столбца таблицы
            Procedure newProcedure = new JavaScriptSerializer().Deserialize<Procedure>(jsonData);
            procedures.Add(newProcedure);
        }
        catch
        {
            Console.Out.WriteLine("Ошибка разбора JSON данных о процедуре");
        }
    }
    MyDataReader.Close();
    myConnection.Close();
    return procedures;

}

ПС. естественно методы нужно дорабатывать, внедрить проверку на наличие уже такого рода данных в БД, расширить функционал чтения для получения новых записей , но это я уже оставляю вам. ПС. так же тут в принципе показаны примеры сериализации и десиарилизации данных в JSON

3
  • > Методики реализации доступа к MySQL. Тут добавлю, что порт следует поставить "стандартный" - 80, SMTP, POP3, IMAP и т.п., т.к. некоторые wi-fi могут не пустить на порт, к примеру, 81 (стоит белый список портов).
    – Vlad Chapl
    10 ноя 2017 в 9:46
  • Андрей, это огонь ! На столько раскрытого ответа я не ожидал. но если не затрудни, ссылки бы не помешали. Не только мне, но и другим, кто в будущем будет в поисках подобного.
    – Xzizz
    10 ноя 2017 в 13:10
  • ссылки вы найдете и сами, Google в помощь, я дополнил ответ примерами. удачи 10 ноя 2017 в 14:01

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.