1

Для поиска писем в логах posfix, попавших в спам, и для просмотра статусов писем использую bash-скрипт (http://pastebin.com/KiE6whN3), написанный давно и, в общем-то, работающим. Но он настолько коряво выглядит, что у меня возникло желание переписать его на python в целях освоения языка. Возник вопрос, как правильнее распарсить строки вида

Jan 18 14:10:51 bserv amavis[6135]: (06135-07) Blocked SPAM, DKIM_ALWAYS LOCAL [79.177.177.224] [79.177.177.224] <[email protected]> -> <[email protected]>,<[email protected]>,<[email protected]>,<[email protected]>, quarantine: h/spam-heaZTPfNlk+T.gz, Message-ID: <[email protected]>, mail_id: heaZTPfNlk+T, Hits: 14.037, size: 6648, 8490 ms
Jan 18 14:10:32 bserv postfix/smtpd[6370]: 22BAA11A67: reject: RCPT from bzq-79-177-177-224.red.bezeqint.net[79.177.177.224]: 550 5.1.1 <[email protected]>: Recipient address rejected: User unknown; from=<[email protected]> to=<[email protected]> proto=ESMTP helo=<bzq-79-177-177-224.red.bezeqint.net>
Jan 18 14:10:34 bserv postfix/smtpd[6602]: connect from f140.i.mail.ru[94.100.178.196]
Jan 18 14:10:35 bserv policyd-spf[6604]: Pass; identity=helo; client-ip=94.100.178.196; helo=f140.i.mail.ru; [email protected]; [email protected] 
Jan 18 14:10:35 bserv policyd-spf[6604]: Pass; identity=mailfrom; client-ip=94.100.178.196; helo=f140.i.mail.ru; [email protected]; [email protected] 
Jan 18 14:10:35 bserv postfix/smtpd[6602]: 1DA9317B42: client=f140.i.mail.ru[94.100.178.196]
Jan 18 14:10:35 bserv postfix/cleanup[6605]: 1DA9317B42: message-id=<[email protected]>
Jan 18 14:10:35 bserv postfix/qmgr[3364]: 1DA9317B42: from=<[email protected]>, size=399868, nrcpt=1 (queue active)
Jan 18 14:10:35 bserv postfix/smtpd[6602]: disconnect from f140.i.mail.ru[94.100.178.196]

Пока получился такой скрипт:

#!/usr/bin/python
#-*- coding:utf-8 -*-

import os, string, re, sys

def Search(a):
    """Поиск в логе"""
    maillog = ['mail.log','mail.log.0']
    s = raw_input('Введите через пробел слова, по которым будем искать:-> ').split(' ')
    s.append(a)
    for files in maillog:
        with open(files) as file:
#           s = raw_input('Введите через пробел слова, по которым будем искать:-> ').split(' ') 
#           s.append(a) # перенёс эти 2 строки выше для решения п. 1
            f = []
            for line in file:
                if all(ss in line for ss in s):
                    f.append(line)
        for i in f:
#           print i # было до решения п.2, теперь так:
            if (a == 'spam-'):
                res = i.replace(',', ' ').split(' ') # разрезаем строку, используя в качестве разделителя пробел " "(предварительно запятую "," также заменив на пробел " ") и выводим на экран лишь необходимые нам позиции:
                print res[0]+' '+res[1]+' '+res[2]+'    '+res[13]+' -> '+res[15]+'  SpamID: '+res[18]
            else:
                print i
def Menu():
    """Меню работы с программой"""
    loop = True
    while loop:
    print ("""
        ================================
            Работа с почтой и спамом
        ================================
        1. Поиск письма в папке SPAM
        2. Фильтр FROM-TO
        3. Восстановить из папки SPAM
        4. Добавить адрес в white-list
        5. Выход
        """)
        response = raw_input('ВЫБЕРИТЕ НУЖНЫЙ ПУНКТ -> ')
        if response == '1': # Поиск письма в папке SPAM
            Search(a = 'spam-')
        elif response == '2':   # Фильтр FROM-TO
            Search(a='')
        elif response == '3':   # Восстановить из папки SPAM
            pass
        elif response == '4':   # Добавить адрес в white-list
            pass
        elif response == '5':   # Выход
            loop = False
        else:
            print 'Неверно. Повторите ввод.'
Menu()

На данный момент сложности вот в чём:

  1. [решено] логи хранятся в нескольких файлах, которые скриптом открываются по очереди. К примеру, выбрал пункт 1, ввел адрес и, через пробел, слово "spam-", проходит поиск в первом файле, потом нужно повторно ввести адрес для поиска во втором файле и т. д.
  2. [решено] не придумал, как вместо целой найденной строки вывести только email'ы и спам ID?

Подскажите, на что надо посмотреть, что исправить в коде?

PS. Сейчас при запуске bash-скрипта поиск выглядит так:

   ВЫБЕРИТЕ НУЖНЫЙ ПУНКТ
1) Поиск письма в папке SPAM
2) Фильтр FROM-TO
3) Восстановить из папки SPAM
4) Добавить адрес в white-list
5) Выход
>> 1
 Введите слово, по которому будем искать:
>> user1@

Jan 19 13:09:18 <[email protected]>  ====> <[email protected]>,     SpamID: H/spam-HCbzcCR1dcGj.gz,
Jan 19 14:40:02 <[email protected]>    ====> <[email protected]>,     SpamID: x/spam-x6hiIFUQKAMd.gz,
Jan 19 15:52:44 <[email protected]> ====> <[email protected]>,     SpamID: m/spam-mk95B6TvErQn.gz,

     Найдено совпадений:
 Сегодня -   0
 Вчера -     3
 В архиве -  0
3
  • 2
    У Вас импортирован re, поэтому используйте regexp. Меню лучше убрать и использовать argparse. 23 янв 2016 в 1:25
  • @RemiZOffAlex, спасибо, читаю про argparse. Почему его лучше использовать вместо меню?
    – zombic
    25 янв 2016 в 7:39
  • 2
    потому, что у Вас не GUI, где можно потыкать кнопки и переключатели. CLI argparse предоставляет большую гибкость, меньше кода и проще в реализации. Вы реализуете код ввода внутри приложения, когда ввести можно уже через консоль и получить переменную внутри в виде списка. 25 янв 2016 в 13:09

1 ответ 1

2

Сделал такой скрипт:

#!/usr/bin/python
#-*- coding:utf-8 -*-

import os, gzip, subprocess

wh,gn,cn,rd = '\033[1;m','\033[1;32m','\033[1;36m','\033[1;31m' # раскраски

def Search(a):
    """Поиск спама в логе"""
    log = ['/var/log/mail.log','/var/log/mail.log.0'] # не gzip
    log_gz = ['/var/log/mail.log.1.gz','/var/log/mail.log.2.gz','/var/log/mail.log.3.gz','/var/log/mail.log.5.gz','/var/log/mail.log.4.gz','/var/log/mail.log.6.gz'] # gzip
    s = raw_input('Введите через пробел слова, по которым будем искать:'+'\n'+cn+'-> '+wh).split(' ')
    s.append(a)
    print ''.center(100, '_')+'\n'

    class gzopen(gzip.GzipFile): # создаём класс для работы с gzip-файлами
        def __enter__(self):
            if self.fileobj is None:
                raise ValueError("I/O operation on closed GzipFile object")
            return self
        def __exit__(self, *args):
            self.close()

    def grep(openf,logf): # разбираемся с gzip лог-файлами
        for files in logf:
            with openf(files) as file:
                f = []
                for line in file:
                    if all(ss.lower() in line.lower() for ss in s): # .lower() - поиск без учёта регистра
                        f.append(line)
                for i in f:
                    r = i.replace(', ', ' ').replace('  ', ' ').split(' ')
                    dt = gn+(' '.join(r[0:3]))+wh+' ' # подкрасим вывод даты
                    if (a == 'spam-'):
                        print dt+'SpamID: '+rd+r[16]+wh+'\n'+r[12]+cn+' -> '+wh+r[14]+'\n'
                    else:
                        print dt+(' '.join(r[3:]))

    grep(open,log)      # смотрим логи
    grep(gzopen,log_gz) # смотрим gzip-логи
    print ''.center(100, '_')

def SpamRelease():
    """Восстановление письма из спама"""
    s = raw_input('Введите SpamID:-> ').split(' ')
    for i in s:
        cmd = 'amavisd-release '+i
        p = subprocess.Popen(cmd, shell = True)
        p.communicate()

def WhList():
    """Добавление адресов в белый список"""
    s = raw_input('Введите адреса (например, [email protected] или *@mail.com) через пробел:'+'\n'+cn+'-> '+wh)
    with open('/etc/spamassassin/whitelist.cf', 'a') as f:
        f.write(' '+s)
        f.close()
        cmd = '/etc/init.d/spamassassin restart \n /etc/init.d/amavis restart'
        p = subprocess.Popen(cmd, shell = True)
        p.communicate()

def Menu():
    """Меню работы с программой"""
    loop = True
    while loop:
        print ("""
 1. Поиск письма в папке SPAM
 2. Фильтр FROM-TO
 3. Восстановить из папки SPAM
 4. Добавить адрес в white-list
 5. Выход
    """)
        response = raw_input(cn+'-> '+wh)
        if response == '1':     # Поиск письма в папке SPAM
            Search('spam-')
        elif response == '2':   # Фильтр FROM-TO
            Search('')
        elif response == '3':   # Восстановить из папки SPAM
            SpamRelease()
        elif response == '4':   # Добавить адрес в white-list
            WhList()
        elif response == '5':   # Выход
            loop = False
        else:
            print 'Неверно. Повторите ввод.'
Menu()

Принимаются замечания и исправления.

PS. Скрипт универсальный для просмотра логов postfix и им можно пользоваться всем, хотя возможно и придётся в строке print dt+'SpamID: '+rd+r[16]+wh+'\n'+r[12]+cn+' -> '+wh+r[14]+'\n' поиграть с позициями r[16],r[12] и r[14].

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.