пишу клиент-сервер на python
и написал небольшой протокол поверх TCP что бы было удобнее отправлять сообщения
from json import dumps
def receive(socket):
data = socket.recv(1024).decode('utf8')
length = int(data[:16])
data = data[16:]
while length - 1:
data += socket.recv(1024).decode('utf8')
length -= 1
return data
def send(socket, data):
if type(data) == dict:
data = chunk_string(dumps(data), 1000 - 16)
else:
data = chunk_string(str(data), 1000 - 16)
length = len(data)
data[0] = str(length).zfill(16) + data[0]
for chunk in data:
socket.send(bytes(chunk, encoding='utf8'))
def chunk_string(string, chunk_size):
return [string[i:i + chunk_size] for i in range(0, len(string), chunk_size)]
При отправлении данные нарезаются на чанки по 1000 симоволов и в первые 16 символов добаляется количество чанков.
Работает всё, в принипе, нормально, но есть одна проблема:
Мультибайтовые символы юникода. Иногда из-за них в receive
вылетает UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 1022-1023: unexpected end of data
(Позиция байтов не именно 1022-1023, раньше размер чанков был не 1000)
Как избежать этой проблемы? Пока обхожусь пересылкой обычный символов, избегая мультибайтовых, но, конечно, хотелось бы иметь возможность и их пересылать