Изначально задача стоит такая:
- Сверка ссылок по домену(*) из TXT №2 с TXT №1
- Сохранение уникальны ссылок в отдельный TXT №3
- Добавление уникальных ссылок в TXT №1
При сверке по доменам - идет сверка только доменов сайта без: http:// и без https:// , так же при сверке по домену не учитывается все что после доменной зоны (.com , .ru , и т.п.)
Программа работает стабильно хорошо и выводит строки, если входные данные стандартизированы и представляют из себя это:
Входные данные:
1.txt
http://site.com/
https://sit1e.com/vwdsvdfw/vwdefei/userpanel?cid=2
https://site.com/index.php?id=1
http://sit2e.com/
http://site.com/vwifow/fwviiwf?
2.txt
http://site.com/
https://sit1e213.com/vwdsvdfw/vwdefei/userpanel?cid=2
https://site.com/index.php?id=1
http://sit222e.com/
http://site.com/vwifow/fwviiwf?
Код программы:
import urllib.parse
def get_domains(filename):
with open(filename) as f:
return ['.'.join(urllib.parse.urlparse(line.strip()).netloc.split('.')[:-1])
for line in f]
dom1 = get_domains(r'1.txt')
dom2 = get_domains(r'2.txt')
doms = set(dom1) ^ set(dom2)
import re
def search_domains(filename, doms):
with open(filename) as f:
text = f.read()
pat = r'(https?://[^./\r\n]*?\b(?:{})\b[^\r\n]*)'.format('|'.join(doms))
return re.findall(pat, text)
outin13 = search_domains(r'2.txt', doms)
with open ('1.txt', 'a') as result:
for i in outin13:
result.write('\n' + i)
with open ('3.txt', 'w') as result:
for i in outin13:
result.write(i + '\n')
input('Нажмите Enter, чтобы завершить программу')
Результат работы программы:
1.txt
http://site.com/
https://sit1e.com/vwdsvdfw/vwdefei/userpanel?cid=2
https://site.com/index.php?id=1
http://sit2e.com/
http://site.com/vwifow/fwviiwf?
https://sit1e213.com/vwdsvdfw/vwdefei/userpanel?cid=2
http://sit222e.com/
3.txt
https://sit1e213.com/vwdsvdfw/vwdefei/userpanel?cid=2
http://sit222e.com/
Когда же программу решили проверить на реальных строчках, она выдала ошибку:
TypeError: can only concatenate str (not "tuple") to str
И я начал выводить в документы таким образом:
with open ('1.txt', 'a') as file:
print(sep='\n', *outin13, file=file)
with open ('3.txt', 'w') as file:
print(*outin13, file=file, sep='\n')
Пример выходных данных в виде кортежей:
3.txt
('http://site254.com/product-detail.php?pid=86 ', '')
('http://www.site345.com/seatrip07/place.php?tid=2 ', '')
('http://site1234.hr/moto-grip/index.php?m=135 ', '')
Как сделать так, чтобы выводились строчки, а не кортежи? P.S. Пытался найти такие строчки, которые бы ломали программу и заставляли ее выводить кортежи, но идея не увенчалась успехом и найти какой-то определенный тип строчек не удалось.