1

имеется список, внутри которых находятся списки. Нужно, чтобы списки внутри списка располагались например по алфавиту.

Некоторые внутренние списки имеют в себе значения None.
Это нужно для того, чтобы удалить дубликаты.
Количество списков больше 32000, поэтому проходить по каждому из них и сравнивать с другими занимает большое количество времени.
Поэтому и нужна сортировка. Также стоит отметить, что количество дубликатов в списках не превышает 1, поэтому если отсортировать списки, список нужно сравнивать с соседним, а не со всеми остальными. Пробовал метод .sort, но он ругается, что есть значения NoneType

Пример строк:

['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Даттах']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Зандак']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Гиляны']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Байтарки']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Саясан']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Аллерой']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Турты-Хутор']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Большие-Шуани']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Гордали']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Центорой']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Энгеной']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Беной']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Гендерген']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Беной-Ведено']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Симсир']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', None]
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Шовхал-Берды']
['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Даттах']
2
  • А вы эти данные случайно не из БД получаете? Если да, то отсортируйте на стороне базы данных 26 апр 2018 в 15:39
  • sorted(filter(lambda x: x is not None, ['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', 'Зандак'])) ?
    – gil9red
    26 апр 2018 в 15:45

1 ответ 1

1

Если данные читаются из БД, то наиболее эффективно будет отсортировать их прямо в базе данных:

SELECT ...
FROM ...
WHERE ...
ORDER BY column_name  /*  сортировка */

если такой возможности нет, то можно воспользоваться модулем Pandas:

In [144]: import pandas as pd

In [145]: df = pd.DataFrame(data)

In [146]: df
Out[146]:
                       0     1                   2                3             4
0   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Даттах
1   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Зандак
2   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Гиляны
3   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский      Байтарки
4   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Саясан
5   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский       Аллерой
6   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский   Турты-Хутор
..                   ...   ...                 ...              ...           ...
11  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский         Беной
12  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский     Гендерген
13  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский  Беной-Ведено
14  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Симсир
15  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский          None
16  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский  Шовхал-Берды
17  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Даттах

[18 rows x 5 columns]

In [147]: df.sort_values(4)
Out[147]:
                       0     1                   2                3              4
5   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Аллерой
3   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский       Байтарки
11  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский          Беной
13  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский   Беной-Ведено
7   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский  Большие-Шуани
12  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский      Гендерген
2   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский         Гиляны
..                   ...   ...                 ...              ...            ...
4   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский         Саясан
14  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский         Симсир
6   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский    Турты-Хутор
9   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский       Центорой
16  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский   Шовхал-Берды
10  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Энгеной
15  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский           None

[18 rows x 5 columns]

In [148]: res = df.sort_values(4).values.tolist()

результат:

In [150]: res
Out[150]:
[['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Аллерой'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Байтарки'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Беной'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Беной-Ведено'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Большие-Шуани'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Гендерген'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Гиляны'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Гордали'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Даттах'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Даттах'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Зандак'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Саясан'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Симсир'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Турты-Хутор'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Центорой'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Шовхал-Берды'],
 ['Чеченская Республика',
  None,
  'Гудермесский район',
  'Ножай-Юртовский',
  'Энгеной'],
 ['Чеченская Республика', None, 'Гудермесский район', 'Ножай-Юртовский', None]]

чтобы отсортировать DataFrame по всем столбцам:

In [151]: df.sort_values(df.columns.tolist())
Out[151]:
                       0     1                   2                3              4
5   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Аллерой
3   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский       Байтарки
11  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский          Беной
13  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский   Беной-Ведено
7   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский  Большие-Шуани
12  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский      Гендерген
2   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский         Гиляны
..                   ...   ...                 ...              ...            ...
4   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский         Саясан
14  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский         Симсир
6   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский    Турты-Хутор
9   Чеченская Республика  None  Гудермесский район  Ножай-Юртовский       Центорой
16  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский   Шовхал-Берды
10  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский        Энгеной
15  Чеченская Республика  None  Гудермесский район  Ножай-Юртовский           None

[18 rows x 5 columns]
6
  • Данные только подготавливаются для добавления в бд. Получается у вас только сортирует только по 4 столбцу? А как отсортировать, одновременно по всем?
    – danilshik
    26 апр 2018 в 15:56
  • @danilshik, одновременно - никак, а если последовательно, т.е. сначала, по 1-му, потом по 2-му, и т.д. (аналог в SQL: ORDER BY col1, col2, col3, col4, ...) то df.sort_values([0,1,2,3,4]) 26 апр 2018 в 15:57
  • для сортировки без учёта регистра данных в БД, может специальная поддержка со стороны базы данных потребоваться. Пример для поиска без учёта регистра не ascii текста в sqlite
    – jfs
    26 апр 2018 в 20:13
  • для полноты (для будущих посетителей из гугла, привлечённых заголовком вопроса) пример сортировки вложенных список без pandas, sql в Питоне можно показать: data.sort(key=key) где для сравнения можно ключ типа: icu.Collator.createInstance(icu.Locale('ru')).getSortKey
    – jfs
    26 апр 2018 в 20:16
  • @jfs, можете показать в собственном ответе - у посетителей будет возможность выбрать тот ответ, который им больше подходит... 26 апр 2018 в 20:18

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.