1

Я решил попрактиковаться в анализе данных и взял dataset с kaggle "Black Friday".
Там есть 2 важных показателя это категории и название продукта , но они зашифрованы. Я не могу правильно вытащить из dataset ссылки, когда я сохраняю их в .txt файл то они сохраняются в сокращённом формате, как в анаконде их выводит:

0        https://www.amazon.com/Sanus-VLF410B1-10-Inch-...
1        http://reviews.bestbuy.com/3545/4784804/review...
2        http://reviews.bestbuy.com/3545/4784804/review...
3        http://reviews.bestbuy.com/3545/4784804/review...
4        http://reviews.bestbuy.com/3545/4784804/review...
5        http://reviews.bestbuy.com/3545/4784804/review...
6        http://reviews.bestbuy.com/3545/4784804/review...
7        http://reviews.bestbuy.com/3545/4784804/review...
8        http://reviews.bestbuy.com/3545/4784804/review...
9        http://reviews.bestbuy.com/3545/4784804/review...
10       http://reviews.bestbuy.com/3545/4784804/review...

Как правильно вытащить данные из dataset, без сокращений и чтобы они были по порядку?

Вот первые наброски парсира:

headers = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0'}

url = 'https://www.amazon.com/Acer-Predator-i7-8750H-GeForce-Keyboard/dp/B07PLK8C6P/ref=sr_1_1?fst=as%3Aoff&qid=1564684133&refinements=p_89%3AAcer&rnid=2528832011&s=computers-intl-ship&sr=1-1'
r = requests.get(url, headers = headers)
soup = BeautifulSoup(r.text, 'html.parser')


def get_name(url):
    data = []
    r = requests.get(url, headers = headers)
    soup = BeautifulSoup(r.text, 'lxml')
    data = soup.find(id='titleSection').text.strip()

    return data

product_name = []

product_name.append(get_name(url))
tr = ''.join(product_name)
print(tr) 

Без добавления в dataset названия и фильтрации по магазинам.

Как я пытался сохранить данные из переменной:

text1 = df.sourceURLs[0:]
text = open('test.txt', 'w')
text.write(str(text1))
text.close()
3
  • что значит чтобы они были по порядку? 3 авг 2019 в 10:24
  • Шёл в таком же порядке как в DataSete в основном , для того чтоб потом можно было добавить в основной сет новую переменную , названия продукта 3 авг 2019 в 10:26
  • а где та часть кода где вы читаете датасет? 3 авг 2019 в 10:26

2 ответа 2

1

Pandas обрезает данные только при выводе на печать. Если обрабатывать данные или сохранять их в файл, используя методы Pandas, то ничего обрезано не будет.

Для того чтобы контролировать параметры вывода/обрезания данных на экран, в Pandas существует метод pd.set_option(...):

Available options:

  • compute.[use_bottleneck, use_numexpr]
  • display.[chop_threshold, colheader_justify, column_space, date_dayfirst, date_yearfirst, encoding, expand_frame_repr, float_format]
  • display.html.[border, table_schema, use_mathjax]
  • display.[large_repr]
  • display.latex.[escape, longtable, multicolumn, multicolumn_format, multirow, repr]
  • display.[max_categories, max_columns, max_colwidth, max_info_columns, max_info_rows, max_rows, max_seq_items, memory_usage, min_rows, multi_sparse, notebook_repr_html, pprint_nest_depth, precision, show_dimensions]
  • display.unicode.[ambiguous_as_wide, east_asian_width]
  • display.[width]
  • io.excel.ods.[reader]
  • io.excel.xls.[reader, writer]
  • io.excel.xlsm.[reader, writer]
  • io.excel.xlsx.[reader, writer]
  • io.hdf.[default_format, dropna_table]
  • io.parquet.[engine]
  • mode.[chained_assignment, sim_interactive, use_inf_as_na, use_inf_as_null]
  • plotting.[backend]
  • plotting.matplotlib.[register_converters]

чтобы сохранить один столбец DataFrame в качестве текстового файла:

df["sourceURLs"].to_csv(r"c:/temp/urls.txt", index=False, header=False)
0
df = pd.read_csv('DatafinitiElectronicsProductsPricingData.csv')
df.head(10).T
df.sourceURLs
2
  • 1
    пожалуйста, постарайтесь оставлять чуть более развернутые ответы. 3 авг 2019 в 10:53
  • для того чтобы дополнить / отредактировать вопрос, воспользуйтесь кнопкой "править" под вопросом 3 авг 2019 в 13:11

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.