1

Помогите разобраться из-за чего возникает ошибка: File "", line 22, in IndexError: index out of range: 0

На небольших списках скрипт отрабатывает корректно. Но на списке более 200 элементов возникает подобная ошибка. Читал, что скорее всего элемент списка вышел за груницы массива, но так и не могу понять почему.

import json

from org.apache.spark.sql import RowFactory
from org.apache.spark.sql.types import StructType, DataTypes

from java.lang import Long

struct_def = StructType().add('partyRole', DataTypes.StringType).add('MSISDN', DataTypes.LongType)

rows = []


for i in range(len(source)):
    
    msisdn = source[i]['MSISDN']
    partyRole = ''
    
    
    dictData = json.loads(source[i]['body'])
    print(i)
    
    for each in dictData[0]["PartyRole"]: #как я понял, ошибка тут
        if each["Characteristic"][0]["value"] == msisdn:
            partyRole = each["id"]
            rows.append(RowFactory.create(partyRole, Long(int(float(msisdn)))))
            break
    
ds_result = sqlContext.createDataFrame(rows, struct_def)

Пример json-a

[{
        "sid": [],
        "@baseType": "Party",
        "@type": "Individual",
        "fid": "a422978d-1ffe-423d-9746-34614a43e2dc",
        "PartyRole": [{
                "EntityRef": {
                    "id": "ce2abb93-1c20-4735-a461-610104e01b58"
                },
                "MarketingSegment": "aaa",
                "id": "3139275a-77e1-4fc3-b3f5-3521dd7dbc61",
                "status": "active",
                "name": "Customer",
                "Characteristic": [{
                        "name": "phoneNumber",
                        "valueType": "string",
                        "value": "999999999"
                    }
                ]
            }
        ]
    }, {
        "fid": "ce2abb93-1c20-4735-a461-610104e01b58",
        "sid": [{
                "service": "CAM",
                "key": "customerId",
                "id": "704493404"
            }
        ],
        "@type": "Individual",
        "@baseType": "Party",
        "PartyRole": [{
                "MarketingSegment": "Mobile",
                "id": "d497f005-ecd1-4f84-9b5f-37c31b2a51a0",
                "status": "active",
                "Characteristic": [{
                        "valueType": "string",
                        "name": "phoneNumber",
                        "value": "3333333"
                    }, {
                        "name": "Tech_assigned",
                        "valueType": "string",
                        "value": "99999999"
                    }
                ],
                "name": "Technology"
            }
        ]
    }

2 ответа 2

1

Здесь дело абсолютно не в количестве данных, а в содержании. У вас вылетает ошибка когда длина списка под ключом "Characteristic" равна нулю. То есть там пустой список. Чтобы исключить, просто добавьте проверку на пустоту. Что то такое:

    if dictData:
        for each in dictData[0]["PartyRole"]: #как я понял, ошибка тут
            if each["Characteristic"]:
                if each["Characteristic"][0]["value"] == msisdn:

То есть первая ветка if провереят пустой ли список. Если не пусто, то нулевой элемент будет существовать, и вы спокойно можете к нему обратиться, зная, что ошибки не будет

3
  • Скорее всего, дело в чем-то еще. Внес правки, но ошибка не озименилась. for each in dictData[0]["PartyRole"]: if each["Characteristic"]: if each["Characteristic"][0]["value"] == msisdn: partyRole = each["id"] rows.append(RowFactory.create(partyRole, Long(int(float(msisdn))))) break 19 янв 2022 в 14:19
  • В комментарии код совсем не читабелен. Не делайте так, но похоже на правду
    – Dmitry
    19 янв 2022 в 14:21
  • @СергейГоряшин везде где используется обращение к списку, добавьте проверку на пустоту. Смотрите исправил
    – Dmitry
    19 янв 2022 в 14:26
0

Рекомендую либо проверять на размер дополнительно, либо кинуть исключение:

Проверка №1

try:
    .... dictData[0]["PartyRole"] .....
    .....
except:
    ... # пустой список

Проверка №2

if dictData:
 if len(dictData)>0:
    ..... # тут работаете дальше
8
  • класс, что исправили первое утверждение. Это мощный и удобный способ проверять на пустоту без дополнительных заморочек. А вот tyr except кажется излишним, но это субъективно
    – Dmitry
    19 янв 2022 в 14:36
  • исключения просто убирают лишние if, да и код более предсказуем становится =) 19 янв 2022 в 14:41
  • Я не спорю, а говорю что обработка исключений - это более шире, чем проверка "список пуст?". Предсказуемость кода - расплывчатое понятие и предсказуемость в обработке исключений состоит в том, чтобы их ловить и обрабатывать надлежащим образом. В вашем коде вы ловите исключения все подряд, не указывая ни само исключение, ни его обработку. Поэтому мне кажется это излишним в конкретном случае
    – Dmitry
    19 янв 2022 в 14:48
  • @Dmitry, согласен с Вами. Я просто хотел показать еще один инструмент. 19 янв 2022 в 14:51
  • все норм. Но я все таки хочу вам дать ссылку на PEP8. Там в рекомендациях найдите эти проверки. Например, ваш совет на проверку длины последовательности, тоже считается не корректным. Это будет работать, но все таки, уже есть готовые решения и шаблоны, которые немного упрощают жизнь
    – Dmitry
    19 янв 2022 в 14:56

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.