2

Есть приложение, которое использует множество потоков. Суть приложения такова: Запускается скажем 30 потоков, далее каждый из этих потоков порождает ещё как минимум 30 потоков, каждый из этих потоков получает информацию с устройства, и записывает в файл. Именем файла является название устройства, которые и создаются первыми 30-ю потоками. Т.е создается файл вида "Устройство_1", а в нем содержится инфо от тех потоков которые он и породил.

И вот какая проблема появилась: При запуске если указать кол-во устройств не больше 10-и, то всё отрабатывает корректно. И в файле "Устройство_1" содержится информация которая и соответствует этому устройству. А вот если указать 30 названий устройств, то появляется момент, что в файле "Устройство_X" содержится информация с устройства_Y. Т.е не соответствует. И что интересно, это время от времени происходит. И главное, на разных ПК, по разному ведет. Т.е на одном ПК, корректно обрабатывается до 10 устройств, а на большинстве до 5. На одном ПК корректно обрабатывает до 30. Все ПК с Вин7. Поэтому такой вопрос, не могут ли это быть какие-то ограничения ОС на кол-во потоков? Как вариант хочу проверить на серверной ОС, но возможности пока нет. Вот немного кода:

//Main
List<getIpMicrotik> mthreads = new ArrayList<>();

for(String getIp : ipMicrotik)
{
    System.out.println("IP: "+getIp);

   mthreads.add(new getIpMicrotik(getIp));
}
 for (getIpMicrotik f : mthreads) {f.join();}

//getIpMicrotik Первые потоки которые получают ip адреса.

Поток getIpMicrotik который у свою очередь запускает потоки getInfoFromRemotePC

public class getIpMicrotik implements Runnable
{

private static final String IP_ADDRESS_PATTERN =  
  "^([01]?\\d\\d?|2[0-4]\\d|25[0-5])\\." + 
  "([01]?\\d\\d?|2[0-4]\\d|25[0-5])\\." + 
  "([01]?\\d\\d?|2[0-4]\\d|25[0-5])\\." + 
  "([01]?\\d\\d?|2[0-4]\\d|25[0-5])$"; 

private final Pattern patternIP; 
private Matcher matcherIP;
private final String ip;
Thread microtikThread;

getIpMicrotik(String ip)
{

 this.ip = ip.trim();
 //microtikIP = ip.trim();
 //System.out.println("FROM CONC "+microtikIP);
 patternIP = Pattern.compile(IP_ADDRESS_PATTERN); 
 microtikThread = new Thread(this, ip.trim());
 microtikThread.start();
}

public void join()
{
    try {  microtikThread.join(); } catch (InterruptedException e) {  }
}

 @Override
 public void run()
{

  System.out.println("\nПолучение информации с " + ip +"\n"); 

  ArrayList<String> allIP = new ArrayList<>(); //Будут использоваться данные для запуска отдельного потока с коннектом к ip
 try
 {
  Pattern pat = Pattern.compile("10.+? ");
  Matcher mat = pat.matcher(getCommand);

  while(mat.find()) 
  {
    if(validateIP(mat.group())) //Если полученная строка является IP
    { 
        System.out.println(mat.group()); 
        allIP.add(mat.group());
    }
  }
 }
 catch(NullPointerException ne){}



  List<getInfoFromRemotePC> threads = new ArrayList<>();

  for(String localIP : allIP){threads.add(new tInfoFromRemotePC(localIP,  ip));}


  threads.forEach(f -> f.join());
 // for (getInfoFromRemotePC f : threads) {f.join();}
    try { finishedJsonFile.finished(JSON_FOLDER + ip); }              
    catch (IOException ex) {/*Если устройста с микротика все   выключены*/System.out.println("-->Все ПК с микротика "+ip+" выключены или микротик не доступен<--");};//{ System.out.println("ERROR_MODULE_getInfo " + ex); }  

} 


 //Проверка на валидность IP.
 private boolean validateIP(final String ip)
 {   
    matcherIP = patternIP.matcher(ip.trim()); 
    return matcherIP.matches();         
  }


}

Ну и сам getInfoFromRemotePC

 public final class getInfoFromRemotePC implements Runnable
 {
   String ip;
   Thread thread;
   String fileName;
   LinkedHashMap<String,String> tm = new LinkedHashMap<>();

   getInfoFromRemotePC(final String ip, final String fileName)
   {
      this.ip = ip.trim();
      this.fileName = fileName;
      thread = new Thread(this, ip.trim());
      thread.start();

   }

   public void join()
   {
    try {  thread.join(); } catch (InterruptedException e) {  }
   }

   @Override
    public void run() 
    {
        SSHAgent sshAgent = new SSHAgent();
        try
        {
             System.out.println("Поток " + thread.getName() + " ЗАПУШЕН");


                  //Получение инфы для JSON файла
                 // getCommandJSON = sshAgent.execCommand("hostname");
                 tm.put("ip", thread.getName());
                 tm.put("name", sshAgent.execCommand("hostname"));
                //..//
                 writeLogFile.writeJSON(tm, JSON_FOLDER + fileName);

             } 
             catch (IOException ex) { sshAgent.close();/*Logger.getLogger(getInfoFromRemotePC.class.getName()).log(Level.SEVERE, null, ex);*/ }

             sshAgent.close();

             System.out.println("Поток " + thread.getName() + " ЗАВЕРШЁН");


        } 
        catch(Exception e){/*sshAgent.close();*/}
}

}

И сам момент записи в файл.

public final class writeLogFile
{


 @SuppressWarnings("unchecked")
 synchronized static void writeJSON(LinkedHashMap info, final String  fileName) throws IOException
{

     try(FileWriter writer = new FileWriter(fileName+".temp", true);)
     {
         System.out.println("Запись в файл " + fileName+".temp");

       JSONObject obj = new JSONObject();




    Set<Map.Entry<String,String>> set = info.entrySet();

    for(Map.Entry<String,String> me : set)
    {               
        obj.put(me.getKey(), me.getValue());  

    }
    writer.write(obj.toJSONString());
    writer.write(",");
    writer.flush();
}

} }

Каждый пишет в свой отдельный файл, но почему получается что данные записываются в другой файл, да ещё и иногда - не пойму. При проходе отладчиком, насколько вижу, потоки получают правильную инфу, а вот запись время от времени проходит не верно, и как этот момент отловить не представляю. Если и есть проблема то только в момент записи, но я не вижу ничего неправильно в классе записи в файл.

5
  • не думаю, что ОС ограничивает. Пробуй указать -Xmx120M -Xms150M и\или нагрузить ЦПУ свое и проверить поведение проги твоей. думаю тут проблема с concurrency. 19 дек 2016 в 10:07
  • 3
    Проблема явно в логике работы потоков, а не в ОС.
    – Vartlok
    19 дек 2016 в 10:09
  • Вот если проблема в логике потоков, то как отловить этот баг не представляю . Он плавающий. Может быть, может не быть. Как в таком случае быть?
    – Kamenev_D
    19 дек 2016 в 10:20
  • ОС корректно работает с десятками тысяч потоков. У Вас явно проблемы с синхронизацией. Приведите код, может что и углядим.
    – user194374
    19 дек 2016 в 10:24
  • Вот с минимальными правками привел код. Если и есть проблема именно в коде, то думаю именно в момент записи файла.
    – Kamenev_D
    19 дек 2016 в 10:52

1 ответ 1

1

Нужно посмотреть код, но я почти уверен, что проблема не в ОС, а в том, что в вашей программе возникают race conditions, самый очевидный вариант - например, для имени файла используется разделяемый буфер, и тогда может возникнуть ситуация, что сначала один поток пишет в буфер имя "Устройство_X", второй - "Устройство_У", а потом они оба открывают файл по этому имени. Решения у этой проблемы 2 - или вы делаете буферы локальными, или защищаете критические секции мьютексами.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.