0

Спарсил некоторые данные, сейчас хочу вставить их в таблицу

def add_to_database(product):
    sql = "INSERT INTO parser_out(product_id, serial, code, name, article, label, release, format, package, count_disks," \
          " sounding, genres, weight, status, playlist, description, count_images, images, count_videos, videos) " \
          "VALUES(%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)"
    for test in product:
        print(type(test), test)


    data = (product["product_id"],
            product["serial"],
            product["code"],
            product["name"],
            product["article"],
            product["label"],
            product["release"],
            product["format"],
            product["package"],
            product["count_disks"],
            product["sounding"],
            product["genres"],
            product["weight"],
            product["status"],
            product["playlist"],
            product["description"],
            product["count_images"],
            product["images"],
            product["count_videos"],
            product["videos"])
    print("Добавление записи", data)
    database_resuest(sql, data)

def database_resuest(sql_request, data):
    with closing(ps.connect(dbname=config["db_name"], user=config["db_user"], password=config["db_password"],
                            host=config["db_host"])) as conn:
        with conn.cursor() as cursor:
            if data is None:
                cursor.execute(sql_request)
            else:
                cursor.execute(sql_request, data)
                conn.commit()
            return cursor.fetchall()

Но у меня выкидывает ошибку:

Traceback (most recent call last):
  File "C:/Users/danil/PycharmProjects/untitled/parser.py", line 268, in <module>
    main_parse()
  File "C:/Users/danil/PycharmProjects/untitled/parser.py", line 237, in main_parse
    parse("https://collectomania.ru/product/samson-francois-debussy-childrens-corner-estampes-suite-bergamasque-pour-le-piano-lp", "test", "test", 12)
  File "C:/Users/danil/PycharmProjects/untitled/parser.py", line 186, in parse
    add_to_database(product)
  File "C:/Users/danil/PycharmProjects/untitled/parser.py", line 222, in add_to_database
    database_resuest(sql, data)
  File "C:/Users/danil/PycharmProjects/untitled/parser.py", line 44, in database_resuest
    cursor.execute(sql_request, data)
psycopg2.ProgrammingError: can't adapt type 'Tag'

Я проверил типы, но они все str

<class 'str'> name
<class 'str'> product_id
<class 'str'> serial
<class 'str'> code
<class 'str'> article
<class 'str'> label
<class 'str'> release
<class 'str'> format
<class 'str'> package
<class 'str'> count_disks
<class 'str'> sounding
<class 'str'> genres
<class 'str'> status
<class 'str'> weight
<class 'str'> playlist
<class 'str'> description
<class 'str'> count_images
<class 'str'> images
<class 'str'> count_videos
<class 'str'> videos

В чем еще может быть проблема?

1 ответ 1

1

Не знаю, почему так происходит, но помогло принудительное конвертирование для всех полей в

data = (
        str(product["product_id"]),
        str(product["serial"]),
        str(product["code"]),
        str(product["name"]),
        str(product["article"]),
        str(product["label"]),
        str(product["release"]),
        str(product["format"]),
        str(product["package"]),
        str(product["count_disks"]),
        str(product["sounding"]),
        str(product["genres"]),
        str(product["weight"]),
        str(product["status"]),
        str(product["playlist"]),
        str(product["description"]),
        str(product["count_images"]),
        str(product["images"]),
        str(product["count_videos"]),
        str(product["videos"])
    )
    print("Добавление записи", data)
    database_resuest(sql, data)

Происходит потому что psycopg2 конвертирует данные из типов питона в типы постгреса. Поддержиывает строки, числа, айпиадреса, ууиды. Но ваш парсер собирает данные из html и держит их в типе Tag о котором psycopg2 ничего не знает.

В вопросе возможно неправильно проверили типы.

Метод .get_text() или text в парсере должен извлекать текст из html. Возможно гдето contents вместо text, в который на каком-то из элементов попался вложенный tag.

1
  • @eri Единственный блок, который содержал html код я принудительно перевел в string. Поэтому я думал, как я могу получать эту ошибку, если я и так конвертировал. Возможно я где-то проморгал, поэтому я решил все поля конвертировать
    – danilshik
    21 дек 2019 в 11:42

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.