2

Имеется таблица с 2,5 млн строками. Необходимо изменить ее скриптом. Вычитал, что метод fetchall() не рекомендуется использовать, т.к. результат запроса будет помещен в память. Использую fetchmany():

def GetData(cur):
v_query = """select fio_contact, id_contact from atb_segmen_email_col where fio_contact is not null"""
u_query = """update atb_segmen_email_col set sex = :v1 where id_contact = :v2"""
cur.execute(v_query)
sql = cur.fetchmany(100)
while sql:
    for row in sql:
        v_id = row[0]
        w = morph.parse(translit(str(row[0]), 'ru'))[0].tag.gender
        cur.execute(u_query, {'v1' : w, 'v2: v_id'})
        cur.execute('commit')
    sql = cur.fetchmany(100)

Но получаю ошибку:

cx_oracle.InterfaceError: not a query

Что не так? Может есть другой способ, более быстрый?

Даже до возникновения ошибки, запрос на изменение был совсем медленный.

9
  • Поправил, как есть
    – ss_beer
    31 янв 2017 в 9:59
  • 2
    Я бы попробовал "апдейтить" кусками (скажем по 1000) используя executemany() 31 янв 2017 в 10:29
  • MaxU, а по-поводу ошибки, не знаете? Я предполагаю что след. 100 строк он взять не может?
    – ss_beer
    31 янв 2017 в 10:36
  • А на какую строку ругается? На cur.execute('commit')? 31 янв 2017 в 10:50
  • 2
    После выполнения for в cur будет содержаться результат коммита а не селекта.
    – Arnial
    31 янв 2017 в 11:24

2 ответа 2

3

Может есть другой способ, более быстрый?

Выполнять массовые (bulk) изменения. Для этого, аналогично fetchmany(), есть executemany(). Например, сделать так:

conn = connect (<params>)
curq = conn.cursor ()
curu = conn.cursor ()
qry = '''
    select rowid, fio  
    from contact 
    where sex = 'x' and fio is not null 
    '''
curu.prepare ('update contact set sex=:1 where rowid=:2') 
curq.execute (qry)
numrows = 10000
while True:
    sources = curq.fetchmany (numrows)
    if not sources: 
        break
    # для теста вместо morph.parse() анализ по первой букве
    targets = [('f',rid) if (val[0] == 'Ж') else ('m',rid) for (rid, val) in sources]
    curu.executemany (None, targets)
    conn.commit ()
conn.close ()

Заметьте, использовать надо ROWID вместо id.
Результат на следуюшей тестовой таблице:

create table contact (id, fio, sex) as
    select rownum, case mod (rownum, 3) when 0 then 'Жен.' else 'Муж.' end||' имя', 'x'
    from dual connect by level <= 10e5
/
select fio, sex, count (sex) num from contact 
group by fio, sex
/
-- до 
FIO            S        NUM
-------------- - ----------
Муж. имя       x     666667
Жен. имя       x     333333

-- после
FIO            S        NUM
-------------- - ----------
Муж. имя       m     666667
Жен. имя       f     333333

PS Ошибки в коде вопроса:

  • cur.execute('commit') надо заменить на connection.commit()
  • v_id = row[0] получено из fio_contact, надо v_id = row[1]
2

Другой подход. Более оптимальное решение -- отказаться от обновления таблицы пакетами, а обновить её одним единственным запросом. Это даст несомненный прирост производительности

Препятствием на пути к этому является лексический анализ с morph.parse(...), что по сути есть подготовка данных (тоже может быть времязатратной). В большинстве похожих сценариев, имеет смысл поделить задачу на следующие шаги:

  1. подготовка данных
  2. массовое обновление на основе подготовленных данных

Для тестовых данных из этого ответа, понадобится дополнительно временная таблица:

create global temporary table gttnewvalues (rid rowid, sex char (1))
/

Рабочий пример реализации кода скрипта:

conn = connect (<connect params>)
curqry = conn.cursor ()
curdml = conn.cursor ()

qry = '''
    select rowid, fio  
    from contact 
    where sex = 'x' and fio is not null 
    '''
curqry.execute (qry)
numrows = 10000
while True:
    sources = curqry.fetchmany (numrows)
    if not sources: 
        break
    # для теста вместо morph.parse() анализ по первой букве
    targets = [(rid, 'f') if (val[0] == 'Ж') else (rid,'m') for (rid, val) in sources]
    curdml.executemany ('insert into gttnewvalues values (:1, :2)', targets)

curdml.execute ('''
    merge into contact t
    using (
        select rid, sex newval  
        from gttnewvalues n) s
    on (t.rowid = s.rid) 
    when matched then update set sex = newval
''') 
conn.commit ()
conn.close ()

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.