1

Пишу программу для подсчёта слов в текстовом файле. Проблема заключается в том что, при выполнении программы в итоге выводит 0 уникальных слов (или какое-то число не превышающее 5000 тысяч). Не могу понять в чем проблема. В качестве текстового файла взял "Войну и мир" (для увеличения символов, откопировал её 5 раз).

Код:

static int i =0;
static Map<String, Integer> mainMap = new ConcurrentHashMap<String, Integer>();

public static void main(String[] args) throws Exception {

    long startTime = System.currentTimeMillis();
    String PathToFile = "D:\\WarAndPeace1.txt";
    ArrayList<String> wordsTemp = new ArrayList<String>();


    try {
        File file = new File(PathToFile);
        Scanner scanner = new Scanner(file);

        while (scanner.hasNext()) {
            i++;
            if (wordsTemp.size()<=500000) {
                String FinalWord = convertedWord(scanner.next().toLowerCase());
                if (!FinalWord.equals("")||FinalWord!=null)
                wordsTemp.add(FinalWord);
            }
            else{
                Runnable r = new NewThread(wordsTemp);
                new Thread(r).start();

                wordsTemp.clear();
                wordsTemp.add(scanner.next().toLowerCase());
            }
        }
        scanner.close();

    } catch (FileNotFoundException e) {
        e.printStackTrace();
    }

    for (Map.Entry<String, Integer> e : mainMap.entrySet()) {
        System.out.println(e.getKey() + ":"
                + e.getValue());
    }
    System.out.println("Уникальных слов: "+mainMap.size());
    System.out.println("Всего слов: "+i);
    long timeSpent = System.currentTimeMillis() - startTime;
    System.out.println("программа выполнялась " + timeSpent + " миллисекунд");

}

// Создание второго потока
static class NewThread implements Runnable {

    Thread thread;
    //Map<String, Integer> map;
    ArrayList <String> strings;
    // Конструктор
    NewThread(ArrayList <String> strings) {
        // Создаём новый второй поток          
        this.strings = strings;
        thread = new Thread(this, "Поток для примера");
        thread.start();
    }

    public void run() {
        Map<String, Integer> mTempMap = wordCount(strings, mainMap);
        synchronized (this) {
            mainMap = mTempMap;
        }
    }
}
public static Map<String, Integer> wordCount( ArrayList <String> strings, Map<String, Integer> map) {
    Map<String, Integer> mapTemp = map;
    String s;
    for (int i = 0;strings.size()>i;i++){
        s = strings.get(i);
        if (s!=null) {
            if (!map.containsKey(s)) {  // first time we've seen this string
                map.put(s, 1);
            } else {
                int count = map.get(s);
                map.put(s, count + 1);
            }
        }
    }
    return map;
}

//Преобразование
public static String convertedWord (String word){
    String result = word.replaceAll("\\p{Punct}", "");//регулярным выражением заменяем буквы(\\w) и цифры(\\d) на пустую строку, то есть удаляем.
    return result;
}
2
  • Как вы думаете, что происходит с NewThread.strings после вызова wordsTemp.clear();?
    – andreycha
    15 окт 2016 в 7:07
  • верно заметил коллега выше. похоже, что очищаете объект по ссылке. 15 окт 2016 в 7:26

1 ответ 1

2

Напишу несколько вопросов-замечаний:

  1. Как вы думаете, что происходит с NewThread.strings после вызова wordsTemp.clear();? И что произойдет, если заменить его на wordsTemp = new ArrayList<String>();?
  2. Метод wordCount() может выдавать некорректные результаты, поскольку код внутри условия if (s!=null) не является атомарным и не синхронизирован. Например, если три потока придут на этот участок кода для одинакового слова, то после завершения выполнения этого участка в мапе может лежать не count + 3, а всего лишь count + 1:

    int count = map.get(s);
    map.put(s, count + 1);
    

    Лучше воспользоваться методом compute().

  3. synchronized вокруг присваивания ссылки не нужен -- эта операция и так атомарная. Да и само присваивание не нужно -- см. след. пункт.

  4. Не запутывайте сами себя в методе wordCount(). Вы принимаете мапу, присваиваете ее неиспользуемой переменной, модифицируете ее, возвращаете ее же, а потом переприсваиваете. Просто модифицируйте и все. Почистите код (весь), глядишь и ошибки искать будет легче.
2
  • Спасибо, с ходу помог первый пункт(вопрос-замечание). 19 окт 2016 в 9:01
  • @EgorChetvernin пожалуйста.
    – andreycha
    19 окт 2016 в 9:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.