Есть большой текст ~ 400000 символов, который считывается из .txt файла и его нужно разбить над тексты меньше размером до ~ 9100 символов + данные фрагменты должны заканчиваться точкой. Пока что придумал решение только через str.split("."), а затем в каждом предложении считать количество символов и когда счетчик приблизится к 9100 находить ближайшую точку и обрезать выделенный фрагмент и продолжать процесс. Существуют ли какие нибудь библиотеки, которые могли бы упростить данный процесс?
5
-
Опубликуйте пример вашего решения. – S. Nick 29 апр '19 в 14:28
-
repl.it/@shardakov/MediumVelvetyCone-1 Пока что смог додуматься только до этого – dm.shardakov 30 апр '19 в 7:25
-
А если в тексте точка используется не в качестве конца предложения? Например: дробные числа, Фамилия И.О., многоточие. – user207200 30 апр '19 в 8:58
-
Я думал на счет этого, но пока что ни чего дельного в голову не пришло. Так как делал это только для перевода одной книги и тест на ней прошел, то сейчас буду думать, как улучшить код. – dm.shardakov 30 апр '19 в 9:06
-
Возможно, что-то подобное уже реализовано в инструментах токенизации языка - NTLK. – user207200 30 апр '19 в 9:12
добавить комментарий
|
3 ответа
Попробуйте мой пример. Напишите, что получилось :)
from textwrap import wrap # <---
text_input = '1.txt'
with open(text_input, 'r') as f1:
lines = f1.read()
listWrap = wrap(lines, width=9000)
text_output = '2.txt'
with open(text_output, 'w') as f2:
moveTextToNewLine = ''
for line in listWrap:
point = max(line.rfind(". "), line.rfind("! "), line.rfind("? "))
if point == -1:
moveTextToNewLine = moveTextToNewLine + line
else:
newLine = "{}{}\n".format(moveTextToNewLine, line[0:point+1])
f2.write( newLine )
moveTextToNewLine = line[point+2:] + " "
f2.write(moveTextToNewLine + "\n")
Суть выдуманной мной задачи была в том, чтобы скармливать части текста в яндекс переводчик, но так как он принимает только 10000 символов за раз, нужно было разделить текст на маленькие подтексты. В итоге я получил что-то подобное, но нужно будет еще несколько подправить итоговый вариант.
import requests
URL = "https://translate.yandex.net/api/v1.5/tr.json/translate"
# Your api key
KEY = "trnsl.1.1.20190429T065522Z.18f4830c20ee2f4b.b940037513ea0a3e99dd7129948c0a456985e3d6b"
text_input = r'1.txt'
text_output = r'2.txt'
text_ru = r'3.txt'
def rep_pdf_to_txt(text_in, text_out):
with open(text_input, 'r') as f1, open(text_output, 'w') as f2:
lines = f1.readlines()
for line in lines:
if(line.endswith(".\n")):
f2.write(line + "\n")
else:
f2.write(line.replace("\n", " ") + " ")
def split_text(text_out):
with open(text_output, 'r') as f2:
tmp_text = f2.read()
tmp = tmp_text.split(".")
n = 0
tmp_str = ""
tmp_list = []
for str in tmp:
n += len(str)
tmp_str += str + "."
if(n > 9000):
tmp_list.append(tmp_str)
tmp_str = ""
n = 0
return tmp_list
def translate(my_text):
params = {
"key": KEY,
"text": my_text,
"lang": 'en-ru'
}
response = requests.get(URL, params = params)
json_response = response.json()
return json_response
# input parameters
'''
my_text = "Test params for my text input for translate"
json = translate(my_text)
print(''.join(json["text"]))
'''
rep_pdf_to_txt(text_input, text_output)
t_list = split_text(text_output)
with open(text_ru, 'w') as f3:
for i in t_list:
f3.write(''.join(translate(i)["text"]))
f3.write("\n Переведено сервисом «Яндекс.Переводчик» http://translate.yandex.ru/ \n")
-
-
Требование яндекса к оформлению перевода tech.yandex.ru/translate/doc/dg/concepts/… Хотя, я облажался, нужно переместить эту строку – dm.shardakov 30 апр '19 в 8:53
-
Ого, спасибо :) хотя бы их сервисом можно без api-key пользоваться и на том спасибо :D – gil9red 30 апр '19 в 8:55
Если принять, что всегда можно задачу выполнить (т.е. нет слишком длинного фрагмента без точек):
s = 'abc.d.ef.g.ij.klmn.op.rq.a.tu.vwx.yz.'
sz = 5
lastpoint = -1
start = 0
for i in range(len(s)):
if s[i] == '.':
lastpoint = i
if i - start >= sz:
print(s[start:lastpoint+1])
start = lastpoint + 1
if start < len(s):
print(s[start:len(s)])
abc.d.
ef.g.
ij.
klmn.
op.rq.
a.tu.
vwx.
yz.
для sz=7:
abc.d.
ef.g.ij.
klmn.op.
rq.a.tu.
vwx.yz.