2

Пишу программу которая считает количество повторений каждого слова в текстовом фаиле. В качестве теста взял текстовый фаил в котором, 12 раз повторяется слово "Привет".

class WordCountWithThread {

private static int i =0;

private static Map<String, Integer> mainMap = new ConcurrentHashMap<String, Integer>();

public static void main(String[] args) throws Exception {

    long startTime = System.currentTimeMillis();

    String PathToFile = "D:\\text1.txt";
    ArrayList<String> wordsTemp = new ArrayList<String>();

    try {
        File file = new File(PathToFile);
        Scanner scanner = new Scanner(file);
        while (scanner.hasNext()) {
            i++;
            if (wordsTemp.size()<500000) {
                String FinalWord = convertedWord(scanner.next().toLowerCase());
                wordsTemp.add(FinalWord);
            }
            else if (wordsTemp.size()==500000){
                Runnable r = new NewThread(wordsTemp,mainMap);
                new Thread(r).start();
                wordsTemp = new ArrayList<String>();
                wordsTemp.add(convertedWord(scanner.next().toLowerCase()));
            }
        }
        scanner.close();
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    }
    if (wordsTemp.size()>0){
        Runnable r = new NewThread(wordsTemp,mainMap);
        new Thread(r).start();
    }
    showResult(startTime);
}

// Создание второго потока
private static class NewThread implements Runnable {

    Thread thread;
    ArrayList <String> strings;
    Map<String, Integer> map;
    // Конструктор
    NewThread(ArrayList <String> strings,Map<String, Integer> map) {
        this.strings = strings;
        this.map = map;
        thread = new Thread(this, "Поток для примера");
        thread.start();
    }

    public void run() {
        wordCount(strings, map);
    }
}

private static void wordCount(ArrayList<String> strings, Map<String, Integer> map) {
    String s;
    for (String string : strings) {
        s = string;
        if (string != null) {
            if (!map.containsKey(s)) {
                map.put(s, 1);
            } else {
                map.compute(s, (tokenKey, oldValue) -> oldValue == null ? 1 : oldValue + 1);
            }
        }
    };
    mainMap = map;
}

private static void showResult(long startTime){
    for (Map.Entry<String, Integer> e : mainMap.entrySet()) {
        System.out.println(e.getKey() + ":"
                + e.getValue());
    }
    System.out.println("Уникальных слов: "+mainMap.size());
    System.out.println("Всего слов: "+i);
    long timeSpent = System.currentTimeMillis() - startTime;
    System.out.println("программа выполнялась " + timeSpent + " миллисекунд");
}

//Преобразование
static String convertedWord(String word){
    return word.replaceAll("\\p{Punct}", "");
}

В итоге выводит, что "Уникальных слов: 2". В чём может быть ошибка?

EDIT переписано на fork/join class WordCountWithThread {

private static int i =0;

public static void main(String[] args) throws Exception {

    Map<String, Integer> mainMap = new ConcurrentHashMap<String, Integer>();
    long startTime = System.currentTimeMillis();

    String PathToFile = "D:\\text1.txt";
    ArrayList<String> wordsTemp = new ArrayList<String>();

    try {
        File file = new File(PathToFile);
        Scanner scanner = new Scanner(file);
        while (scanner.hasNext()) {
            i++;
            if (wordsTemp.size()<500000) {
                String FinalWord = convertedWord(scanner.next().toLowerCase());
                wordsTemp.add(FinalWord);
            }
            else if (wordsTemp.size()==500000){
                WordCounter wordCounter = new WordCounter(wordsTemp,mainMap);
                ForkJoinPool pool = new ForkJoinPool();
                pool.execute(wordCounter);
                wordsTemp = new ArrayList<String>();
                wordsTemp.add(convertedWord(scanner.next().toLowerCase()));
            }
        }
        scanner.close();
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    }
    if (wordsTemp.size()>0) {
        WordCounter wordCounter = new WordCounter(wordsTemp,mainMap);
        ForkJoinPool pool = new ForkJoinPool();
        pool.execute(wordCounter);
        wordCounter.join();
    }
    showResult(startTime,mainMap);
}


private static void showResult(long startTime, Map<String, Integer> mainMap){

    for (Map.Entry<String, Integer> e : mainMap.entrySet()) {
        System.out.println(e.getKey() + ":"
                + e.getValue());
    }

    System.out.println("Уникальных слов: "+mainMap.size());
    System.out.println("Всего слов: "+i);
    long timeSpent = System.currentTimeMillis() - startTime;
    System.out.println("программа выполнялась " + timeSpent + " миллисекунд");
}

//Преобразование
static String convertedWord(String word){
    return word.replaceAll("\\p{Punct}", "");
}
}

class WordCounter extends RecursiveTask<Map<String, Integer>> {

ArrayList <String> strings;
Map<String, Integer> map;

WordCounter(ArrayList<String> strings, Map<String, Integer> map) {
    this.strings = strings;
    this.map = map;
}

@Override
protected Map<String, Integer> compute() {
    String s;
    for (String string : strings) {
        s = string;
        if (string != null) {
                map.compute(s, (tokenKey, oldValue) -> oldValue == null ? 1 : oldValue + 1);
        }
    }
    return map;
}

После изменения выводит: привет:1 привет:11 Уникальных слов: 2 Всего слов: 12 Стал правильно складывать map, но всё равно работает не правильно.

3 ответа 3

4

Вы выводите результат не дожидаясь окончания работы потоков подсчета. Вставьте в методе main перед строкой

showResult(startTime);

строку

Thread.sleep(1000);

Разумеется это вариант для тестирования. Для рабочего варианта вам нужно организовать ожидание в основном потоке до отработки потоков подсчета.

UPD:

Посмотрите в сторону Fork/Join. С помощью его RecursiveTask можно организовать деление по потокам подсчета менее запутано и выполняться оно будет быстрее за счет использования всех доступных процессоров.

4
  • 1
    Лучше даже переписать немного и сделать join. Так надежнее и вернее. 23 ноя 2016 в 7:23
  • @МаксимДробышев именно.
    – GreyGoblin
    23 ноя 2016 в 7:26
  • @GreyGoblin переписал, но ошибка осталась. (Код добавил выше) 23 ноя 2016 в 9:32
  • @EgorChetvernin похоже у вас "приветы" различаются. Вероятно последний обрабатывается с каким-нибудь символом вроде возврата каретки или что-то вроде этого. Сравните в отладчике последнее и предпоследнее слово, поищите различия.
    – GreyGoblin
    23 ноя 2016 в 10:15
1

Потокобезопасность ConcurrentHashMap означает атомарность каждой операции. В этом фрагменте кода выполняется не одна операция, а две:

if (!map.containsKey(s)) {
    map.put(s, 1);
} else {
    map.compute(s, (tokenKey, oldValue) -> oldValue == null ? 1 : oldValue + 1);
}

Между containsKey и put поток может задержаться, и в результате может записать единицу поверх результатов подсчета другого потока. Нужно использовать метод merge

map.merge(s, 1, Integer::sum ) // ключ, значение,
    // операция замены текущего значения f( old, new ), в данном случае сумма.

Про необходимость дождаться завершения всех ваших потоков вам уже сказали.

0

Прочитайте про ключевое слово synchronized. Кстати чтобы программа выдавала точное время выполнения добавьте Thread(r).join();

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.