Приветстсвую! Создал довольно большой элемент(объект класса Element
из модуля xml.etree.cElementTree
) XML и попытался записать его в файл с помощью команды:
tree = XML.create_answer(db_result)
with open(FILENAME_ANSWER, 'w+') as f:
tree.write(f, encoding=ENCODING)
в tree
находится сам элемент XML. Я проверил наличие всех элементов внутри (там на 3-ем уровне вложенности должно быть 224 элемента 'hddAttributes') с помощью цикла и убедился, что ошибки в логике программы нет, все элементы вложены верно. Однако при попытке записи XML в файл часть данных обрезается, в результате чего XML теряет целостность. Выглядит это примерно так:
Подскажите, из-за чего происходит частичная запись в файл? Всё дело в увесистости файла (более 1700 строк) или потеря по другим причинам? Заранее спасибо за ответ.
Вот код сервера:
# -*- encoding: utf-8 -*-
import BaseHTTPServer
import xml.etree.cElementTree as xml
import sys
import sqlite3
import traceback
ENCODING = 'utf-8'
NAME_DB = 'ndatabase.db'
LOG_NAME = 'xml.log'
FILENAME_ANSWER = 'new.xml'
class XML:
@staticmethod
def parse_request(request):
try:
request_element = xml.fromstring(request)
except xml.ParseError:
print 'Error: XML declaration not well-formed.'
return False
check_results = []
elements_dict = {element.tag: element for element in request_element}
tags = ['Count', 'HddTest']
for tag in tags:
if tag not in elements_dict:
print('Error: Expected element: {}'.format(tag))
return False
try:
count = tags[0]
count_val = int(elements_dict[count].text)
check_results.append(count_val)
except ValueError:
print "Error: Expected int element: <Count></Count>"
return False
try:
hdd_test = tags[1]
atrib_dict = elements_dict[hdd_test].attrib
atrib_list = [('ctrl', 'READ'), ('code', int), ('tms', int)]
ctrl = atrib_list[0][0]
ctrl_val = atrib_list[0][1]
if atrib_dict[ctrl] != ctrl_val:
raise KeyError
except KeyError:
print "Error: Expected attribute: ctrl='READ'"
return False
try:
code = atrib_list[1][0]
code_type = atrib_list[1][1]
if code in atrib_dict:
uniq_id = code_type(atrib_dict[code])
check_results.append((code, uniq_id))
return check_results
except ValueError:
print "Error: Expected int attribute: code"
return False
try:
tms = atrib_list[2][0]
tms_type = atrib_list[2][1]
if tms in atrib_dict:
tms_val = atrib_dict[tms]
if len(tms_val) != 10:
raise ValueError
unix_time = tms_type(tms_val)
if unix_time < 0:
raise ValueError
check_results.append((tms, unix_time))
return check_results
except ValueError:
print "Error: Expected int attribute: tms in format DDDDDDDDDD"
return False
print "Error: Expected one of attributes: code or tms"
return False
@staticmethod
def create_answer(result):
data = xml.Element('data')
_id = unicode(00003072)
_from = u"маг1_касса136"
_to = u"маг1"
tstamp = unicode(1545901294)
data.attrib = {'type': 'REPLY',
'id': _id,
'from': _from,
'to': _to,
'tstamp': tstamp}
i = 0
test_columns = ['hddModule', 'testStatus', 'hddFilling', 'hddName', 'hddSerial']
attr_columns = ['name', 'value', 'thresh', 'type', 'raw_value']
for test in result[0]:
hdd_test = xml.Element('HddTest')
code = test[0]
hdd_test.attrib = {'ctrl': 'READ',
'tms': test[1],
'code': unicode(code)}
for n in range(len(test_columns)):
sub_element = xml.SubElement(hdd_test, test_columns[n])
sub_element.text = unicode(test[n + 2])
for attr in result[1][i:]:
test_id = attr[1]
if test_id == code:
hdd_attribute = xml.SubElement(hdd_test, 'hddAttributes')
hdd_attribute.attrib = {'code': unicode(attr[0])}
for n in range(len(attr_columns)):
sub_element = xml.SubElement(hdd_attribute, attr_columns[n])
sub_element.text = unicode(attr[n + 2])
i += 1
else:
break
data.append(hdd_test)
'''
for element in data:
for child in element:
if child.tag == 'hddAttributes':
print child.attrib['code']
'''
tree = xml.ElementTree(data)
return tree
class Database(object):
def __init__(self, name_database):
self.name_database = name_database
self.connection = sqlite3.connect(name_database)
self.cursor = self.connection.cursor()
def get_tms(self, unix_time, count):
sql_query = """SELECT min(uniqID)
FROM test
WHERE unixtime >= strftime('%s', {}, 'unixepoch')""".format(unix_time)
self.cursor.execute(sql_query)
code = self.cursor.fetchall()[0][0]
if code is None:
print('Warning: entries later than {} unixtime are not found.'.format(unix_time))
return False
return self.get_code(code, count)
def get_code(self, code, count):
sql_query = "SELECT * FROM test WHERE {} <= uniqID and uniqID < {}".format(code, code + count)
try:
self.cursor.execute(sql_query)
test_entries = self.cursor.fetchall()
if not test_entries:
print('Warning: entries with uniqID more than {} are not found.'.format(code))
return False
from_to = (test_entries[0][0], test_entries[-1][0])
sql_query = """SELECT *
FROM attributes
WHERE {} <= testID and testID <= {}""".format(from_to[0], from_to[1])
self.cursor.execute(sql_query)
attributes_entries = self.cursor.fetchall()
return test_entries, attributes_entries
except sqlite3.OperationalError:
print("Warning: can't make a request '{}'.".format(sql_query))
class RequestHandler(BaseHTTPServer.BaseHTTPRequestHandler):
def basic_error_send(self, error_code):
self.send_response(error_code)
with open(LOG_NAME, 'r') as f:
text_answer = f.read()
print text_answer
self.send_header("Content-length", len(text_answer))
self.end_headers()
self.wfile.write(text_answer)
self.wfile.close()
raise Exception(text_answer)
def do_POST(self):
LOG_NAME = 'log.txt'
with open(LOG_NAME, 'w') as log_file:
#sys.stdout = log_file
#sys.stderr = log_file
content_type = self.headers.gettype()
if content_type != 'text/xml':
print 'Expected content-type: text/xml'
self.basic_error_send(404)
content_length = int(self.headers.get('Content-length'))
request = self.rfile.read(content_length)
parse_results = XML.parse_request(request)
if not parse_results:
self.basic_error_send(404)
db = Database(NAME_DB)
count = parse_results[0]
if parse_results[1][0] == 'code':
code = parse_results[1][1]
db_result = db.get_code(code, count)
elif parse_results[1][0] == 'tms':
tms = parse_results[1][1]
db_result = db.get_tms(tms, count)
else:
self.send_response(500)
text_answer = 'Inform your provider about this problem.'
self.wfile.write(text_answer)
raise Exception(text_answer)
if not db_result:
self.basic_error_send(404)
tree = XML.create_answer(db_result)
with open(FILENAME_ANSWER, 'w+') as f:
tree.write(f, encoding=ENCODING)
answer = f.read()
self.send_response(200)
self.send_header("Content-length", len(answer))
self.end_headers()
self.wfile.write(answer)
self.wfile.close()
if __name__ == '__main__':
server = BaseHTTPServer.HTTPServer(('', 8008), RequestHandler)
server.serve_forever()
Запускается сервер с помощью shell скрипта:
exec curl -H 'content-type: text/xml' \
--data "<?xml version='1.0' encoding='windows-1251'?>
<data type='REQUEST' id='00003072' from='маг1' to='маг1_касса136' tstamp='741009671'>
<HddTest ctrl='READ' tms='741009671' code='5'></HddTest>
<Count> 100 </Count>
</data>" \
http://localhost:8008
То есть по сути отправляется XML запрос, после чего формируется XML ответ.
Вот ссылка (ЯД) на базу данных ('ndatabase.db'
), которая используется в работе:
https://yadi.sk/d/rwmb_GEgwKRzOA
tail -n1 path/to/new.xml
, ну или в другом редакторе открыть его. Или черезxmllint
прогони:xmllint path/to/new.xml
cat new.xml | tail -1
подтверждает i.stack.imgur.com/CVM9A.png