0

Хочу написать код, который работал бы с бд большого размера.Задачу себе поставил написать простой код, который бы читал базу порциями(компьютер у меня не очень сильный и открыть я ее не могу) и вытаскивать какие-то данные(например адреса электронной почты). Я воспользовался библиотекой org.apache.commons:commons-csv:1.2. В базе предусматриваются большие блоки с данными(например письма, в которых есть адреса).Получился примерно такой код:

public class MainClass {

    static public final Pattern PATTERN_MAIL = Pattern.compile("([a-z0-9_-]+\\.)*[a-z0-9_-]+@[a-z0-9_-]+(\\.[a-z0-9_-]+)*\\.[a-z]{2,6}");

    public static void main(String[] args) throws Exception {

        Matcher getMail;

        String path = "cpath";
        Reader in = new FileReader(path);
        File file = new File("data.text");
        FileWriter fileWriter = new FileWriter(file.getAbsoluteFile());
        BufferedWriter bufWriter = new BufferedWriter(fileWriter);
        int k=1;

        Iterable<CSVRecord> records = CSVFormat.EXCEL.parse(in);
        List<CSVRecord> tableStr = new ArrayList<>();

        for (CSVRecord record : records) {
            tableStr.add(record);
            if (tableStr.size() == 5) {
                System.out.println("list"+k);
                for (int i=0; i<tableStr.size(); i++) {
                    getMail=PATTERN_MAIL.matcher(tableStr.get(i).toString());
                    while(getMail.find()) {
                        bufWriter.write(tableStr.get(i).toString().substring(getMail.start(), getMail.end()) +"\n");
       }
                }
                tableStr.clear();
                System.out.println("tableStr deleted");
                k++;
            }
        }
        bufWriter.close();
        System.out.println("buf was closed");

Код работает, по регулярному выражению из информации может выудить адреса. Но проблема в том,что когда происходит обработка большого текстового блока с информацией,это делается долго. Опытные программисты,подскажите пожалуйста,как можно увеличить быстродействие данного кода?Согласен,что код корявый,но я новичок, учусь. Ваши советы будут не лишними.

4
  • javax.mail.internet.InternetAddress Если нужно проверить на минимальную адекватность без маньячества. Он работает без регулярок и почти не ошибается. Commented 25 апр. 2016 в 13:06
  • вариант неплохой,но разве можно будет применить данный класс, если у меня допустим, будет сотня писем? то есть 100 блоков с информацией, в которых содержится-тексты писем,темы писем и адреса отправителей-получателей
    – Iga
    Commented 25 апр. 2016 в 13:47
  • т.е. если есть колонка в котором есть текст письма в котором есть один или несколько email, то их тоже надо найти? Commented 25 апр. 2016 в 14:03
  • понимаете, объект CSVRecord record содержит массив данных,строк. там может быть как несколько строк с полями таблиц, так и строки,содержащие например письмо. и в такой строчке к примеру 5 писем, в которых текста на несколько абзацев,темы писем и адреса. и когда мой код добирается до таких блоков с информацией,он их пробегает по регулярке,но времени это занимает прилично
    – Iga
    Commented 25 апр. 2016 в 14:19

1 ответ 1

1

По описанию задачи и уточнениям получается что CSV не нужен совсем. Есть некоторый текстовый файл в котором есть email которые надо найти и сохранить. О csv можно говорить при условии, что мы ищем(вернее проверяем) что email содержится в определенной колонке. В нашем случае csv в некоторых сроках которого ровно 5 колонок и только тогда начинаем искать email-ы как подстроку во всех колонках. В итоге все равно ищем по все строке.

Просто читаем и просто ищем

// rfc2822 + поставил в группу для Matcher
static public final Pattern PATTERN_MAIL = Pattern.compile("(?:[a-z0-9!#$%&'*+/=?^_`{|}~-]+(?:\.[a-z0-9!#$%&'*+/=?^_`{|}~-]+)*|"(?:[\x01-\x08\x0b\x0c\x0e-\x1f\x21\x23-\x5b\x5d-\x7f]|\\[\x01-\x09\x0b\x0c\x0e-\x7f])*")@(?:(?:[a-z0-9](?:[a-z0-9-]*[a-z0-9])?\.)+[a-z0-9](?:[a-z0-9-]*[a-z0-9])?|\[(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}(?:25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?|[a-z0-9-]*[a-z0-9]:(?:[\x01-\x08\x0b\x0c\x0e-\x1f\x21-\x5a\x53-\x7f]|\\[\x01-\x09\x0b\x0c\x0e-\x7f])+)\])"); 
// ---
File inFile = new File("in.txt");
BufferedReader br = new BufferedReader(inFile);
while (true) {
    String line = reader.readLine();
    if (line == null) break;
    Marcher m = PATTERN_MAIL.matcher(line);
    while (m.find()) {
        System.out.println(m.group()); 
    }
}
1
  • нет,код будет работать с большими csv базами...вот человек сделал подобную штуку на шарпе retifrav.github.io/blog/2014/08/13/insert-from-huge-csv-into-db вот и я хочу на java написать код,который бы хватал csv файл большой и вытягивал из него адреса.и чтобы работал с базами любого типа, как со структурированными csv,так и с дампами баз данных.
    – Iga
    Commented 25 апр. 2016 в 14:41

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.