Изначально имеется CSV-файл с текстовыми данными, которые я вставляю в базу.
127,102,0.732,1.23,10.5,0.27,2.58,999, 6 4 2 -2, [Ne]3s²3p, ORC,10.47
172.2,238.6, -,99, 0.477 (Cl-Cl), 6.41, 20.41 (Cl-Cl),0.009,3.16,1254.9, 7 5 3 1 -1, [Ne]3s²3p, ORC,6.24
87.3, -,98,0.138, -,6.52,0.0177,0,1519.6, -, [Ne]3s²3p, FCC,5.26
Данные значения я переношу в БД следующим образом:
from __future__ import unicode_literals
import csv
import psycopg2
import re
<...>
for row in file:
row = re.sub(r'\([^\)]+\)', '', row)
newrow = tuple(row.split(","))
cur.execute('INSERT INTO table_element VALUES {};'.format(newrow))
connection.commit()
<...>
В этом случае возникает проблема - в БД элемент [Ne]3s²3p² был переведен в 'Ne]3s\xc2\xb23p\xc2\xb2'
Да, его можно успешно вывести на экран в читаемом виде:
>>> print('[Ne]3s\xc2\xb23p\xc2\xb2'.decode('utf-8'))
[Ne]3s²3p²
но в БД он сохраняется кракозябрами.
Затем я решил сразу перейти в юникод:
from __future__ import unicode_literals
import csv
import psycopg2
import re
<...>
for row in file:
row = unicode(row, 'utf-8')
row = re.sub(r'\([^\)]+\)', '', row)
newrow = tuple(row.replace(' ', '').split(","))
cur.execute('INSERT INTO table_element VALUES {};'.format(newrow))
connection.commit()
<...>
Однако при попытки выполнения возникает ошибка:
psycopg2.ProgrammingError: type "u" does not exist
LINE 1: INSERT INTO table_element VALUES (1, u'Hydrogen', u'H', u'1'...
Базу изначально создавал со следующими параметрами:
CREATE DATABASE data WITH ENCODING='UTF8' OWNER=postgres TEMPLATE=template0 LC_COLLATE='ru_RU.UTF-8' LC_CTYPE='ru_RU.UTF-8' CONNECTION LIMIT=-1 TABLESPACE=pg_default;
На каком варианте следует остановиться? И как сохранить данные в базе в человеческом виде?
Извлекаемые данные будут выводиться конечному пользователю и дальше обрабатываться.