Preprocessing(2)
-
[자연어처리] LSTM을 이용한 챗봇(chatbot) 만들기
학습 데이터 import pandas as pd path = "C:\\Users\\student\\Desktop\\chatbot\\01.data\\" chatbotData=pd.read_csv(path+"ChatData.csv") question, answer = list(chatbotData["Q"]) , list(chatbotData["A"]) print(len(question)) print(len(answer)) >>> 11823 11823 for i in range(10): print("질문:" + question[i]) print("답변:" + answer[i]) print(" ") >>> 질문:12시 땡! 답변:하루가 또 가네요. 질문:1지망 학교 떨어졌어 답변:위로해 드립니다. 질문:3박4일..
2020.05.18 -
[파이썬] 데이터 변형 | 원핫인코딩
머신러닝을 하기 위해서 전처리 작업을 할때, 컴퓨터 알고리즘이 읽을 수 있는 범주형 데이터로 바꿔주는 작업이 필요하다. 이를 원핫인코딩이라고 한다. import seaborn as sns tip=sns.load_dataset("tips") tip.head() 원데이터를 확인해보면 'sex' colomn의 경우 Female과 Male로 되어있다. 이러면 알고리즘이 해당 데이터를 읽지 못한다. 그래서 숫자로 바꿔주어야 한다. # 원핫 인코딩 Female -> 0 , Male -> 1 from sklearn.preprocessing import LabelEncoder def genToInt(data): data['sex']=LabelEncoder().fit(['Female','Male']).transform(..
2020.04.04