2

Пример работающего, но не оптимального кода по созданию и заполнению БД SQLite.

Пока стиль написания кода далек от идеала, увы, мешает старая школа программирования. Конструктивная критика приветствуется.

P.S. Программа, принятая за основу (подсчет слов) не моя. Это учебный материал с Метанита.

"""
Программа подсчета слов в файле
и вывод данных в базу формата SQLite,
встроенную в Python
"""
import os
import sqlite3

conn = sqlite3.connect("testSqlite.db") # или :memory: чтобы сохранить 
                                        # в RAM
cursor = conn.cursor()

# Создание таблицы
cursor.execute("""CREATE TABLE slova (slovo text, kolvo integer)""")
symbols ="йцукенгшщзхъэждлорпавыфячсмитьбюё"

def get_words(filename):

    with open(filename, encoding="utf8") as file:
        text = file.read()
    text = text.replace("\n", " ")
    text = text.replace(",", "").replace(".", "").replace("?", 
"").replace("!", "")
    text = text.lower()
    words = text.split()
    words.sort()
    return words


def get_words_dict(words):
    words_dict = dict()

    for word in words:
        ps = word[0]
        pk = word[-1]
        if (symbols.find(pk) != -1) and (symbols.find(ps) != -1) and 
len(word)<15 :
            if word in words_dict:
                words_dict[word] = words_dict[word] + 1
            else:
                words_dict[word] = 1
    return words_dict


def main():
    filename = input("Введите путь к файлу: ")
    if not os.path.exists(filename):
        print("Указанный файл не существует")
    else:
        words = get_words(filename)
        words_dict = get_words_dict(words)

        print("Все использованные слова:")
        for word in words_dict:
             print(word.ljust(20), words_dict[word])
             sl = word.ljust(20).replace("'","")
             kol= int(words_dict[word])
             mSql="""INSERT INTO slova
                     VALUES ('slovo', 'kolvo')"""
             mySql_insert_query = mSql.replace("slovo"," 
{zsl}".format(zsl=sl.rstrip()))
             mSql = mySql_insert_query
             mySql_insert_query = mSql.replace("kolvo"," 
{zkol}".format(zkol=kol))
             cursor.execute(mySql_insert_query)
             conn.commit()
        print("Кол-во слов: %d" % len(words))
        print("Кол-во уникальных слов: %d" % len(words_dict))


if __name__ == "__main__":
    main()  
3
  • 3
    Что Вы понимаете под словами "оптимизировать SQL запрос прямым форматированием"?
    – Yaant
    27 дек 2019 в 18:24
  • Тут обходной вариант: cursor.execute(mySql_insert_query) Тело SQL запроса обработано коряво, при помощи костылей.
    – Assur
    27 дек 2019 в 18:48
  • 0xdb: cпасибо за правки. Зачетно.
    – Assur
    28 дек 2019 в 15:24

1 ответ 1

3

Для того чтобы эффективно вставить множество записей / строк в SQL таблицу следует использовать метод cursor.executemany(sql, seq_of_parameters) вкупе с параметризированным SQL запросом:

def insert_words(cursor, word_dict):
    records = [(k,v) for k,v in word_dict.items()]
    sql = """INSERT INTO slova VALUES(?, ?)"""
    # notice the usage of parameters: ^  ^ 
    cursor.executemany(sql, records)


# calling "insert_words(cursor, word_dict)"
insert_words(cursor, word_dict)
conn.commit()
2
  • Спасибо. Это то, что и хотел.
    – Assur
    28 дек 2019 в 0:54
  • Все рабочее. Единственное - поправил "очепяточку" вместо word_dict у меня в программе words_dict. Скорость обработки на порядок увеличилась. Кстати, если кому надо формирование базы слов русского языка, то на большом количестве книжных файлов можно набрать полный языковый вариант. Гоняю программку на файлах fb2-формата. И xml-разметка в этих файлах не мешает выборке слов.
    – Assur
    28 дек 2019 в 10:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.