1

Есть список, в котором есть "дубликаты". Мне нужно из него выбрать по одному элементу, т.е мне не нужны дубликаты в виде "2 третьих трейлера, 3 вторых, 5 "нулевых" и тд" с проверкой одновременного наличия в каждом из названий следующих слов:

moive = 'Стив Джобс'
year='2015'
lang = 'русский'
format = 'трейлер'

Строки могут иметь самый разный вид, к примеру:

Стив Джобс 2015 русский трейлер 3
Стив Джобс 2015 русский трейлер №3
Стив Джобс\Steve Jobs 2015 русский трейлер #2
Стив Джобс - Русский Трейлер 2 (2015)
Стив Джобс 2015 русский Трейлер
СТИВ ДЖОБС (STEVE JOBS) 2015 Трейлер №4 (Русский язык)
Стив Джобс Трейлер
Стив Джобс 2015
и тд.

В примерах выше есть:

  • 1 вариант 4го ролика,
  • 2 варианта 3го ролика,
  • 2 варианта 2го,
  • 1 вариант "нулевого",
  • 2 варианта, которые не имеют всех необходимых слов.

Мне нужно добавить в новый список: 4ый трейлер, по одному варианту из 3го и 2го, и "нулевой" трейлер.

Я себе это вижу так: прогнать через цикл от 1 до 4 каждый элемент списка, подставляя в регулярное выражение наличие слов и значение для версии трейлера (1-4). Цикл написать не проблема, проблема именно в регулярном выражении.

Как регулярным выражением решить данную задачу?

Добавлено: На данном примере:

Стів Джобс. Офіційний український трейлер (2015) HD (ghKKd_gwhU4)
СТІВ ДЖОБС / СТИВ ДЖОБС. Трейлер 3 (український) (LSeGuxtk6V4)
Стів Джобс - український трейлер №2 (PRXbPo91d5Q)
СТІВ ДЖОБС / СТИВ ДЖОБС. Трейлер 2 (український) (xIVnRf5cSpQ)
Стів Джобс / Steve Jobs (2015) (український трейлер №3) (7hqcZzawubo)

при использовании:

movie = r'(?P<movie>стив\s+джобс)'
year = '(?P<year>2015)'
lang = '(?P<lang>український)' # сменил язык
trailer = r'(?P<trailer>трейлер(?:\s+(?:№|#)?(\d))?)(?i)

выдало:

[(Title(movie=None, year=2015, lang='український', trailer=None),
  'Стів Джобс. Офіційний український трейлер (2015) HD (ghKKd_gwhU4)'),
 (Title(movie=None, year=2015, lang='український', trailer=2),
  'Стів Джобс - український трейлер №2 (PRXbPo91d5Q)'),
 (Title(movie=None, year=2015, lang='український', trailer=3),
  'Стів Джобс / Steve Jobs (2015) (український трейлер №3) (7hqcZzawubo)'),
 (Title(movie='Стив Джобс', year=2015, lang='український', trailer=3),
  'СТІВ ДЖОБС / СТИВ ДЖОБС. Трейлер 3 (український) (LSeGuxtk6V4)'),
 (Title(movie='Стив Джобс', year=2015, lang='український', trailer=2),
  'СТІВ ДЖОБС / СТИВ ДЖОБС. Трейлер 2 (український) (xIVnRf5cSpQ)')]

Ожидаемый ответ должен был быть без:

  1. Стів Джобс. Офіційний український трейлер (2015) HD (ghKKd_gwhU4)

  2. Стів Джобс - український трейлер №2 (PRXbPo91d5Q) Стів Джобс / Steve

  3. Jobs (2015) (український трейлер №3) (7hqcZzawubo)

так как "СтИв Джобс" и "СтІв Джобс" разные вещи. Ну и еще код пропустил дубли трейлеров №2 и №3.

1 ответ 1

2

Здесь два шага:

  1. Распознать элементы (movie, year, lang, format), используя входную строку
  2. Отбросить строки, с одинаковым набором элементов

Первый шаг очень сильно зависит от того какие строки на вход могут подаваться -- нет общего решения, например, как неоднозначный ввод вы хотите интерпретировать может зависеть от задачи. Чтобы самостоятельно правила руками не писать, можно скормить названия фильмов из imdb и/или натренировать NER систему (для веб-данных можно webstruct попробовать).

Для строк из вопроса, работает следующее регулярное выражение:

movie = r'(?P<movie>стив\s+джобс)'
year = '(?P<year>2015)'
lang = '(?P<lang>русский)'
trailer = r'(?P<trailer>трейлер(?:\s+(?:№|#)?(\d))?)(?i)'

token = "|".join([movie, year, lang, trailer])
title_regex = re.compile(r'(?:\b{}\b)*'.format(token), flags=re.I)

На втором шаге можно использовать словарь, где значения -- это заданные строки, а ключи нормализованные значения (movie, year, lang, format) элементов. Только последняя строка из строк с одинаковыми ключами сохраняется:

#!/usr/bin/env python3
import fileinput
import re
from collections import namedtuple

Title = namedtuple('Title', 'movie year lang trailer')

# tokens
movie = r'(?P<movie>стив\s+джобс)'
year = '(?P<year>2015)'
lang = '(?P<lang>русский)'
trailer = r'(?P<trailer>трейлер(?:\s+(?:№|#)?(\d))?)(?i)'

token = "|".join([movie, year, lang, trailer])
title_regex = re.compile(r'(?:\b{}\b)*'.format(token), flags=re.I)

titles = {}
for line in fileinput.input(): # from input files or stdin
    line = line.strip()
    # extract tokens
    title = dict.fromkeys("movie year lang trailer".split())
    title['lang'] = 'русский'  # default
    title['year'] = 2015       # default
    for m in title_regex.finditer(line):
        title.update((k, v) for k, v in m.groupdict().items() if v is not None)

    # normalize
    title['movie'] = title['movie'] and title['movie'].title()
    title['lang'] = title['lang'] and title['lang'].casefold()
    title['year'] = title['year'] and int(title['year'])
    if title['trailer']:
        n = re.fullmatch(trailer, title['trailer']).group(2)
        title['trailer'] = n and int(n)
    titles[Title(**title)] = line

from pprint import pprint
pprint(list(titles.items()))

Результат

[(Title(movie='Стив Джобс', year=2015, lang='русский', trailer=4),
  'СТИВ ДЖОБС (STEVE JOBS) 2015 Трейлер №4 (Русский язык)'),
 (Title(movie='Стив Джобс', year=2015, lang='русский', trailer=3),
  'Стив Джобс 2015 русский трейлер №3'),
 (Title(movie='Стив Джобс', year=2015, lang='русский', trailer=2),
  'Стив Джобс - Русский Трейлер 2 (2015)'),
 (Title(movie='Стив Джобс', year=2015, lang='русский', trailer=None),
  'Стив Джобс 2015')]
2
  • протестировал я ваш код. Иногда работает нормально, иногда пропускает то, что нужно отсеять. Пример того, что пропустил, а нужно отсеять, привел в шапке. Можете помочь? Спасибо. 16 ноя 2015 в 23:21
  • обратите внимание на фразу в ответе: "нет общего решения" Я указал направление куда двигаться и привёл реализацию, которая работает для первоначального ввода. Чтобы адаптировать к новому вводу нужны простые изменения, например, чтобы распознать "український" как язык, можно lang = r'(?P<lang>русский|український)' использовать и соответственно movie = r'(?P<movie>стив\s+джобс|стів\s+джобс)' для названия. Строчку title['lang'] = 'русский' # default следует убрать, если значения по умолчанию нет. Спрашивайте, если Вы не можете самостоятельно такие изменения делать.
    – jfs
    17 ноя 2015 в 1:44

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.