머신러닝 2

AI의 두 번의 겨울 - XOR 문제, 기울기 소실 문제

ChatGPT 등장 이후 지금까지 AI는 뜨거운 화두이다. 이전까지는 상상도하지 못했던 것들이 AI를 활용하여 가능해졌고 하루가 멀다하고 새로운 역할을 하는 AI는 출시되고 있다.AI는 이떻게 이렇게 발전하게 되었을까? 인공지능의 탄생초기의 인공신경망은 단순 on/off 기능의 인공 신경을 그물망 형태로 연결하면 뇌에서 동작하는 간단한 기능을 흉내낼 수 있다는 이론에서 시작되었다.이 신경망 내에서 반복적인 시그널이 발생할 때 신경 세포들은 그 시그널을 기억하는 학습 효과가 있음을 바탕으로 최초의 퍼셉트론이 탄생하게 된다. AI의 첫번째 겨울허나 퍼셉트론을 통해 AND와 OR 같은 선형 분리가 가능한 문제는 해결할 수 있었지만 XOR 문제에는 적용할 수 없다는 것이 밝혀졌다.이로 인해 인공지능은 첫번째 겨..

머신러닝 2024.10.29

텍스트 전처리(1) - 토큰화, 정제, 정규화

토큰화주어진 문장에서의미 부여가 가능한 단위를 찾는 것 단순 공백 기준으로 잘라낼 경우 아래와 같은 이슈가 있다.단어나 숫자에 특수 문자가 들어가는 경우 존재 (ex. AT&T, $45.55)줄임말과 단어 내에 띄어쓰기가 있는 경우 존재 (ex. We’re, I’m)이와 같은 이유로 인해 섬세한 알고리즘이 필요하다. 품사 태깅단어가 어떤 품사로 사용되었는지 구분해놓는 것. 토큰화 후 진행 가능하다.어떤 품사로 쓰였는지에 따라 단어의 의미가 달라질 수 있어 진행한다.ex) fly - [동사 : 날다], [명사 : 파리] 실습영어 - NLTK 라이브러리 활용from nltk.tokenize import word_tokenizefrom nltk.tag import pos_tagtext = "I'd like t..

머신러닝 2024.09.03