0

Изначально имеется CSV-файл с текстовыми данными, которые я вставляю в базу.

127,102,0.732,1.23,10.5,0.27,2.58,999, 6 4 2 -2, [Ne]3s²3p, ORC,10.47
172.2,238.6, -,99, 0.477 (Cl-Cl), 6.41, 20.41 (Cl-Cl),0.009,3.16,1254.9, 7 5 3 1 -1, [Ne]3s²3p, ORC,6.24
87.3, -,98,0.138, -,6.52,0.0177,0,1519.6, -, [Ne]3s²3p, FCC,5.26

Данные значения я переношу в БД следующим образом:

from __future__ import unicode_literals
import csv
import psycopg2
import re

<...>

for row in file:
    row = re.sub(r'\([^\)]+\)', '', row)
    newrow = tuple(row.split(","))
    cur.execute('INSERT INTO table_element VALUES {};'.format(newrow))
    connection.commit()

<...>

В этом случае возникает проблема - в БД элемент [Ne]3s²3p² был переведен в 'Ne]3s\xc2\xb23p\xc2\xb2'

Да, его можно успешно вывести на экран в читаемом виде:

>>> print('[Ne]3s\xc2\xb23p\xc2\xb2'.decode('utf-8'))
[Ne]3s²3p²

но в БД он сохраняется кракозябрами.

Затем я решил сразу перейти в юникод:

from __future__ import unicode_literals
import csv
import psycopg2
import re

<...>


for row in file:
    row = unicode(row, 'utf-8')
    row = re.sub(r'\([^\)]+\)', '', row)
    newrow = tuple(row.replace(' ', '').split(","))
    cur.execute('INSERT INTO table_element VALUES {};'.format(newrow))
    connection.commit()

<...>

Однако при попытки выполнения возникает ошибка:

psycopg2.ProgrammingError: type "u" does not exist
LINE 1: INSERT INTO table_element VALUES (1, u'Hydrogen', u'H', u'1'...

Базу изначально создавал со следующими параметрами:

CREATE DATABASE data WITH ENCODING='UTF8' OWNER=postgres TEMPLATE=template0 LC_COLLATE='ru_RU.UTF-8' LC_CTYPE='ru_RU.UTF-8' CONNECTION LIMIT=-1 TABLESPACE=pg_default;

На каком варианте следует остановиться? И как сохранить данные в базе в человеческом виде?

Извлекаемые данные будут выводиться конечному пользователю и дальше обрабатываться.

7
  • 2
    Первый твой косяк в том что твои спец символы типа- ² , не могут быть представлены для ячеек в базе, в том виде в котором они есть. По сему следует для начала их конвертировать в более подобающий вид к примеру - hex, и уже потом именно хекс значение заносить в базу, и потом считывать обратно(при запросе) .Посмотри документацию по своей базе, и конкретно по ячейкам, что они позволяют хранить, и в каком виде.
    – LighFusion
    8 мая 2016 в 21:33
  • Да, спецсимволы все портят, и уход от первоначального вида тоже нежелателен. Для конечного пользователя я-то смогу преобразовать, но если будет необходимо поправить значение, будет неясно куда вносить изменения в непривычной кодировке
    – while1pass
    8 мая 2016 в 22:49
  • 1
    тогда проверьте вручную можно ли внести в те самые ячейки(базы) эти спец символы !
    – LighFusion
    8 мая 2016 в 23:16
  • @LightFusion, как раз писал) Через админку джанго присвоил значение типа 1s¹. Оно корректно сохранилось и отобразилось в базе .
    – while1pass
    8 мая 2016 в 23:18
  • почему тогда не разберете метод добавления в админке ?, или хоть по крайней мере скиньте в pastebin и добавите суда, чтобы можно было оценить как там устроенно.
    – LighFusion
    8 мая 2016 в 23:27

1 ответ 1

3

Чтобы импортировать сsv в PostgreSQL, используя код близкий к тому что показано в вопросе:

cur.executemany('INSERT INTO table VALUES({})'.format(','.join(['%s']*nfields)), [
    [field.decode('utf-8') if isinstance(field, str) else field
     for field in row] for row in csv_reader])

csv модуль на Питоне 2 не поддерживает Unicode поэтому явно приходится байты (которые представляют текст, закодированный используя utf-8 кодировку) декодировать. Можно также готовый класс использовать, который скрывает эту конвертацию, например, UnicodeReader из сsv документации.

Чтобы получать из базы данных назад также Unicode:

import psycopg2
import psycopg2.extensions
psycopg2.extensions.register_type(psycopg2.extensions.UNICODE)
psycopg2.extensions.register_type(psycopg2.extensions.UNICODEARRAY)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.