У меня есть список, полученный из json файла, который мне нужно разделить по словам. Код такой:
df1 = matrix[['product/title']]
df2 = df1.apply(lambda x: ','.join(x.astype(str)), axis=1)
df_clean = pd.DataFrame({'clean': df2})
sent = [row.split(',') for row in df_clean['clean']]
sent[:10]
Аутпут кода получается таким:
['Crazy Shape Scissor Set'],
['Fiskars Softouch Multi-Purpose Scissors 10"'],
['Fiskars Softouch Multi-Purpose Scissors 10"'],
['Fiskars Softouch Multi-Purpose Scissors 10"'],
['Fiskars Softouch Multi-Purpose Scissors 10"'],
['Fiskars Softouch Multi-Purpose Scissors 10"'],
['Dritz(R) Extra Large Safety Pins-Size 3 65/Pkg'],
['Dritz(R) Extra Large Safety Pins-Size 3 65/Pkg'],
['Dritz(R) Extra Large Safety Pins-Size 3 65/Pkg']]
Для моей задачи нужно удалить все повторяющиеся элементы списка и сделать большой список из подсписков. Использую такой код:
new = []
for x in sent:
if x not in new:
new.append(x)
new1 = []
for i in new:
for j in i:
[j.split(' ', 1)[0] for i in new]
for m in j:
new_list = [m for j in i for m in j]
print(new_list)
Но он не соединяет подсписки, а делит их по буквам:
new = []
for x in sent:
if x not in new:
new.append(x)
new1 = []
for i in new:
for j in i:
[j.split(' ', 1)[0] for i in new]
for m in j:
#final_str = functools.reduce(lambda a,b : a + b, m)
#final = tuple(m)
new_list = [m for j in i for m in j]
print(new_list)
#Отлично, но очень много повторов. Может повлиять на данные.
new = []
for x in sent:
if x not in new:
new.append(x)
new1 = []
for i in new:
for j in i:
[j.split(' ', 1)[0] for i in new]
for m in j:
#final_str = functools.reduce(lambda a,b : a + b, m)
#final = tuple(m)
new_list = [m for j in i for m in j]
print(new_list)
Аутпут:
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
['C', 'r', 'a', 'z', 'y', ' ', 'S', 'h', 'a', 'p', 'e', ' ', 'S', 'c', 'i', 's', 's', 'o', 'r', ' ', 'S', 'e', 't']
Что я могу сделать, чтобы объединить подсписки в один, не теряя при этом слова?