1

Имеются данные, записал в JSON. Проблемы: Дубли в JSON и как экспортировать в dataFrame? И что за ошибка: File was loaded in the wrong encoding? Вот JSON:[![введите сюда описание изображения][1]][1] Весь код смысла нет постить. Актуальную часть - вот:


    projects_data_list.append(
                {
                    'Movie_Title:': project_name,
                    'Movie_Pict:': project_logo,
                    'Movie_Review:': project_review
                }
            )
            # print(projects_data_list)
            with open(f"data/projects_data.json", "a", encoding='cp1252') as file:
                json.dump(projects_data_list, file, indent=4, ensure_ascii=False)
       
    
            with open(f"data/projects_data.json", "r", encoding='cp1252') as file:
                data = json.load(file)
    
                df = pd.DataFrame({'link': data})
                writer = pd.ExcelWriter("C:\\Users\\Joffrey\\PycharmProjects\\study\\datafiles\\study2.xlsx", engine='xlsxwriter')
    
                df.to_excel(writer, sheet_name='Sheet1')
                workbook = writer.book
                worksheet = writer.sheets['Sheet1']
                format1 = workbook.add_format({'num_format': '#,##0.00'})
                format2 = workbook.add_format({'num_format': '0%'})
                worksheet.set_column('B:B', 50, format1)
                worksheet.set_column('C:C', 35, format1)
                worksheet.conditional_format('B2:B8', {'type': '3_color_scale'})
                writer.save()
    get_data('https://www.rogerebert.com/contributors/nick-allen#articles')

Код 2:


    import requests
    from bs4 import BeautifulSoup
    import re
    import csv
    import json
    import pandas as pd
    URL = 'https://www.rogerebert.com/contributors/nick-allen#articles'
    HOST = 'https://www.rogerebert.com/'
    def get_data(url):
        headers = {
               'accept': '...',
               'user-agent': '....'
    
        }
    
        with open('review.html' ) as file:
            src = file.read()
        soup = BeautifulSoup(src, 'lxml')
        articles = soup.find_all('article', class_="blog-split")
        # print(articles)
        reviews_urls = []
        for article in articles:
            review_url ='https://www.rogerebert.com' +article.find("a", class_="blog-split--title").get('href')
            reviews_urls.append(review_url)
        #     print(review_url)
        projects_data_list = []
        for review_url in reviews_urls:
            req = requests.get(review_url, headers)
            project_name = review_url.split("/")[-1]
        #
            with open(f"data/{project_name}.html", 'w', encoding='cp1252') as file:
                file.write(req.text)
        #
            with open(f"data/{project_name}.html", encoding='cp1252') as file:
                src = file.read()
        #
            soup = BeautifulSoup(src, 'lxml')
            project_data = soup.find("div", class_='page-content container is-fullhd')
            # print(project_data)
        #     try:
            project_name = project_data.find('div', class_='columns is-spaced--medium').find_next().text.strip()
    
            project_logo = project_data.find('div', class_='column is-9').find_next().find('img').get('src')
    
            project_review = project_data.find('section', class_='column is-6').find_all('p')[-1].text.strip()
            # print(project_review)
            projects_data_list.append(
                {
                    'Movie_Title:': project_name,
                    'Movie_Pict:': project_logo,
                    'Movie_Review:': project_review
                }
            )
            # print(projects_data_list)
            with open(f"data/projects_data.json", "a", encoding='cp1252') as file:
                json.dump(projects_data_list, file, indent=4, ensure_ascii=False)
    
    
        # with open(f"data/projects_data.json", "r", encoding='cp1252') as read_file:
            data = [json.loads(line) for line in open(f"data/projects_data.json", "r")]
            # data = [json.loads(line) for line in open('data/projects_data.json', 'r')]
        #
            df = pd.DataFrame(data)
            writer = pd.ExcelWriter("C:\\......iles\\study2.xlsx", engine='xlsxwriter')
    
            df.to_excel(writer, sheet_name='Sheet1')
            workbook = writer.book
            worksheet = writer.sheets['Sheet1']
            format1 = workbook.add_format({'num_format': '#,##0.00'})
            format2 = workbook.add_format({'num_format': '0%'})
            worksheet.set_column('B:B', 50, format1)
            worksheet.set_column('C:C', 35, format1)
            worksheet.conditional_format('B2:B8', {'type': '3_color_scale'})
            writer.save()
    get_data('https://www.rogerebert.com/contributors/nick-allen#articles')

Добавил, что получилось JSON на gitHub: https://github.com/Joffrey-ops/Joffrey [1]: https://i.stack.imgur.com/u8hmO.jpg

7
  • А нажать ссылку "Reload in Windows-1251" не пробовали?
    – CrazyElf
    8 дек 2020 в 11:56
  • Открыть в Notepad++, убрать дубли, поменять кодировку, пересохранить в json? 8 дек 2020 в 12:07
  • Я вообще не очень понимаю, что вы делаете. По-хорошему кодировка должна быть UTF-8 везде, это современный стандарт. А у вас там вообще cp1252 используется, это даже не кириллическая windows кодировка, а латинская.
    – CrazyElf
    8 дек 2020 в 12:19
  • Предположим поставил я кодировку UTf 8: 'utf-8' codec can't decode byte 0x93 in position 351: invalid start byte. С кодировкой encoding='cp1252' json.decoder.JSONDecodeError: Extra data: line 8 column 5 (char 911) В сохраненном JSON ни грамма русского. Это важно? 8 дек 2020 в 12:24
  • Имеются данные, записал в JSON, после этого у вас проблемы с чтением JSON. Очевидно проблема возникает при записи в JSON. Приведите воспроизводимый пример данных, код, в котором вы читаете исходные данные и сохраняете JSON 8 дек 2020 в 13:46

1 ответ 1

1

Если я правильно понял, стоит задача значения в JSON экспортировать в pd.DataFrame. То есть конвертировать JSON в pd.Dataframe. Дело вот в чём

df = pd.DataFrame({'link': data})

Данный метод принимает ключ и список. То есть тип данных в data должен быть списком. Если же требуется сложить в это значение сам JSON, то просто поместите JSON внутрь списка и передайте его в pd.DataFrame().

df = pd.DataFrame({'link':[JSON]})

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.