Есть задача: Сетнимент анализ по plot файла wiki_movie_plots_deduped.csv на английском bert
Пример датасета:
Планировал добавить столбец Sentiment, который определяет предобученная модель:
import pandas as pd
import seaborn as sns
import transformers
from transformers import pipeline
movie_df = pd.read_csv("wiki_movie_plots_deduped.csv", sep=',')
movies = movie_df
SentimentClassifier = pipeline("sentiment-analysis")
def FunctionBERTSentiment(inpText):
return(SentimentClassifier(inpText)[0]['label'])
movies['Sentiment']=movies['Plot'].apply(FunctionBERTSentiment)
Но питон ругается на размер строки:
The size of tensor a (760) must match the size of tensor b (512) at non-singleton dimension 1
Есть ли способ предварительно обработать столбец, обрезав все строки до максимального размера в 512 символов?