0

Есть файловая структура:

files/
├── AAN
│   ├── some1.html
│   └── some2.html
└── AAPL
    ├── some3.html
    └── some4.html

Я хочу вытащить header из каждого html и вставить в Header Analyzer, но он не отрабатывает. Что я делаю не так?

import csv
import os
from bs4 import BeautifulSoup

directory = '/home/achi/Desktop/auca/web_scrap/files'


for folder in os.listdir(directory):
    with open(f'/home/achi/Desktop/auca/web_scrap/summary/{folder}.csv', 'w') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(['Foldername', 'Filenames', 'Header analyzed'])

        for filename in os.listdir(f'{directory}/{folder}'):
            if filename.endswith(".HTML"):
                f = open(filename)
                lines = f.read()
                soup = BeautifulSoup(lines, 'html.parser')
                items = soup.find_all('div',  attrs={'class': 'c4'})
                for item in items:
                    item_text = str(item)
                    soup = BeautifulSoup(item_text, 'html.parser')
                    head = soup.find_all('span', attrs={'class': 'c6'})
                    for h in head:
                        data = h.get_text()
                        writer.writerow([folder, filename, data])
    csvfile.close()
2
  • Что значит не отрабатывает? Больше конкретики
    – Alpha
    26 апр 2019 в 9:27
  • именно, что он ничего не делает, просто создает пустой csv, даже ошибки нет 26 апр 2019 в 9:29

1 ответ 1

0

Судя по файловой структуре, расширение файлов .html записано маленькими буквами. В коде аргумент ".HTML" метода endswith() у вас в верхнем регистре. Возможно поэтому условие никогда не выполняется.

Попробуйте заменить

if filename.endswith(".HTML"):

На

if filename.endswith(".html"):

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.