2

Есть приложение, которое использует множество потоков. Суть приложения такова: Запускается скажем 30 потоков, далее каждый из этих потоков порождает ещё как минимум 30 потоков, каждый из этих потоков получает информацию с устройства, и записывает в файл. Именем файла является название устройства, которые и создаются первыми 30-ю потоками. Т.е создается файл вида "Устройство_1", а в нем содержится инфо от тех потоков которые он и породил.

И вот какая проблема появилась: При запуске если указать кол-во устройств не больше 10-и, то всё отрабатывает корректно. И в файле "Устройство_1" содержится информация которая и соответствует этому устройству. А вот если указать 30 названий устройств, то появляется момент, что в файле "Устройство_X" содержится информация с устройства_Y. Т.е не соответствует. И что интересно, это время от времени происходит. И главное, на разных ПК, по разному ведет. Т.е на одном ПК, корректно обрабатывается до 10 устройств, а на большинстве до 5. На одном ПК корректно обрабатывает до 30. Все ПК с Вин7. Поэтому такой вопрос, не могут ли это быть какие-то ограничения ОС на кол-во потоков? Как вариант хочу проверить на серверной ОС, но возможности пока нет. Вот немного кода:

//Main
List<getIpMicrotik> mthreads = new ArrayList<>();

for(String getIp : ipMicrotik)
{
    System.out.println("IP: "+getIp);

   mthreads.add(new getIpMicrotik(getIp));
}
 for (getIpMicrotik f : mthreads) {f.join();}

//getIpMicrotik Первые потоки которые получают ip адреса.

Поток getIpMicrotik который у свою очередь запускает потоки getInfoFromRemotePC

public class getIpMicrotik implements Runnable
{

private static final String IP_ADDRESS_PATTERN =  
  "^([01]?\\d\\d?|2[0-4]\\d|25[0-5])\\." + 
  "([01]?\\d\\d?|2[0-4]\\d|25[0-5])\\." + 
  "([01]?\\d\\d?|2[0-4]\\d|25[0-5])\\." + 
  "([01]?\\d\\d?|2[0-4]\\d|25[0-5])$"; 

private final Pattern patternIP; 
private Matcher matcherIP;
private final String ip;
Thread microtikThread;

getIpMicrotik(String ip)
{

 this.ip = ip.trim();
 //microtikIP = ip.trim();
 //System.out.println("FROM CONC "+microtikIP);
 patternIP = Pattern.compile(IP_ADDRESS_PATTERN); 
 microtikThread = new Thread(this, ip.trim());
 microtikThread.start();
}

public void join()
{
    try {  microtikThread.join(); } catch (InterruptedException e) {  }
}

 @Override
 public void run()
{

  System.out.println("\nПолучение информации с " + ip +"\n"); 

  ArrayList<String> allIP = new ArrayList<>(); //Будут использоваться данные для запуска отдельного потока с коннектом к ip
 try
 {
  Pattern pat = Pattern.compile("10.+? ");
  Matcher mat = pat.matcher(getCommand);

  while(mat.find()) 
  {
    if(validateIP(mat.group())) //Если полученная строка является IP
    { 
        System.out.println(mat.group()); 
        allIP.add(mat.group());
    }
  }
 }
 catch(NullPointerException ne){}



  List<getInfoFromRemotePC> threads = new ArrayList<>();

  for(String localIP : allIP){threads.add(new tInfoFromRemotePC(localIP,  ip));}


  threads.forEach(f -> f.join());
 // for (getInfoFromRemotePC f : threads) {f.join();}
    try { finishedJsonFile.finished(JSON_FOLDER + ip); }              
    catch (IOException ex) {/*Если устройста с микротика все   выключены*/System.out.println("-->Все ПК с микротика "+ip+" выключены или микротик не доступен<--");};//{ System.out.println("ERROR_MODULE_getInfo " + ex); }  

} 


 //Проверка на валидность IP.
 private boolean validateIP(final String ip)
 {   
    matcherIP = patternIP.matcher(ip.trim()); 
    return matcherIP.matches();         
  }


}

Ну и сам getInfoFromRemotePC

 public final class getInfoFromRemotePC implements Runnable
 {
   String ip;
   Thread thread;
   String fileName;
   LinkedHashMap<String,String> tm = new LinkedHashMap<>();

   getInfoFromRemotePC(final String ip, final String fileName)
   {
      this.ip = ip.trim();
      this.fileName = fileName;
      thread = new Thread(this, ip.trim());
      thread.start();

   }

   public void join()
   {
    try {  thread.join(); } catch (InterruptedException e) {  }
   }

   @Override
    public void run() 
    {
        SSHAgent sshAgent = new SSHAgent();
        try
        {
             System.out.println("Поток " + thread.getName() + " ЗАПУШЕН");


                  //Получение инфы для JSON файла
                 // getCommandJSON = sshAgent.execCommand("hostname");
                 tm.put("ip", thread.getName());
                 tm.put("name", sshAgent.execCommand("hostname"));
                //..//
                 writeLogFile.writeJSON(tm, JSON_FOLDER + fileName);

             } 
             catch (IOException ex) { sshAgent.close();/*Logger.getLogger(getInfoFromRemotePC.class.getName()).log(Level.SEVERE, null, ex);*/ }

             sshAgent.close();

             System.out.println("Поток " + thread.getName() + " ЗАВЕРШЁН");


        } 
        catch(Exception e){/*sshAgent.close();*/}
}

}

И сам момент записи в файл.

public final class writeLogFile
{


 @SuppressWarnings("unchecked")
 synchronized static void writeJSON(LinkedHashMap info, final String  fileName) throws IOException
{

     try(FileWriter writer = new FileWriter(fileName+".temp", true);)
     {
         System.out.println("Запись в файл " + fileName+".temp");

       JSONObject obj = new JSONObject();




    Set<Map.Entry<String,String>> set = info.entrySet();

    for(Map.Entry<String,String> me : set)
    {               
        obj.put(me.getKey(), me.getValue());  

    }
    writer.write(obj.toJSONString());
    writer.write(",");
    writer.flush();
}

} }

Каждый пишет в свой отдельный файл, но почему получается что данные записываются в другой файл, да ещё и иногда - не пойму. При проходе отладчиком, насколько вижу, потоки получают правильную инфу, а вот запись время от времени проходит не верно, и как этот момент отловить не представляю. Если и есть проблема то только в момент записи, но я не вижу ничего неправильно в классе записи в файл.

5
  • не думаю, что ОС ограничивает. Пробуй указать -Xmx120M -Xms150M и\или нагрузить ЦПУ свое и проверить поведение проги твоей. думаю тут проблема с concurrency. 19 дек 2016 в 10:07
  • 3
    Проблема явно в логике работы потоков, а не в ОС.
    – Vartlok
    19 дек 2016 в 10:09
  • Вот если проблема в логике потоков, то как отловить этот баг не представляю . Он плавающий. Может быть, может не быть. Как в таком случае быть?
    – Kamenev_D
    19 дек 2016 в 10:20
  • ОС корректно работает с десятками тысяч потоков. У Вас явно проблемы с синхронизацией. Приведите код, может что и углядим.
    – user194374
    19 дек 2016 в 10:24
  • Вот с минимальными правками привел код. Если и есть проблема именно в коде, то думаю именно в момент записи файла.
    – Kamenev_D
    19 дек 2016 в 10:52

1 ответ 1

1

Нужно посмотреть код, но я почти уверен, что проблема не в ОС, а в том, что в вашей программе возникают race conditions, самый очевидный вариант - например, для имени файла используется разделяемый буфер, и тогда может возникнуть ситуация, что сначала один поток пишет в буфер имя "Устройство_X", второй - "Устройство_У", а потом они оба открывают файл по этому имени. Решения у этой проблемы 2 - или вы делаете буферы локальными, или защищаете критические секции мьютексами.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.