9월부터 미국 카네기 멜론 대학교 AI대학원에서 공부를 하게 되었다.

이에, 학기가 시작하기 전 이미 알고 있다고 생각하는 이론들을 되짚어보는 시간을 가져보고자 책 두 권을 골라 공부하고자 하였다.

딥러닝을 전반적으로 다루고 있으며, 난이도가 쉬운 책 한 권과 수학적 설명이 뒷받침 되는 책 한 권, 학술적으로 깊이가 있는 책 한 권 이렇게 총 세 권을 보는 것을 목표로 하였다.

선정 기준은 여러 도서 판매 플랫폼에서 평점이 높은 책 위주로 리뷰를 확인하여 선정하게 되었다.

본인이 생각하는 난이도 순인데, 우측으로 갈수록 난이도가 어렵다고 판단한 책이다. 챕터의 구성은, <혼자 공부하는 머신러닝 + 딥러닝>의 경우 실무적으로 구성되어있다. 실전에 꼭 필요한 정보를 전반부에서 다루고, 후반부는 실습이 이루어진다.

<딥 러닝 제대로 시작하기>와 <심층 학습>의 경우 수학적 이론을 토대로 딥러닝에 접근한다. 챕터의 구성은 두 책이 유사한데, <심층 학습>은 더 자세하게 파고드는 구성이다. 따라서 <딥 러닝 제대로 시작하기>로 가볍게 접근하고 <심층 학습>으로 깊이 있게 공부할 계획이다.

각 책의 1장을 빠르게 읽어본 결과, 우선 <혼자 공부하는 머신러닝 + 딥 러닝>을 먼저 빠르게 읽고, <딥 러닝 제대로 시작하기>와 <심층 학습>은 챕터별로 함께 읽고자 한다.

이번 포스트에서는 신경망 연구의 개념과 역사에 대해 대략적으로 첫 챕터에서 설명하는 내용을 위 세 권의 책 모두 한 번에 정리해보고자 한다.

신경망 연구의 과거

1. 두 번의 붐, 두 번의 겨울

→ 하드웨어 및 데이터의 한계

→ 역전파 법으로 붐이 일었으나, 층수가 2층보다 많을 경우 잘 되지 않음(Vanishing gradient 해결하려함 그러나 overfitting)

→ 파라미터의 결정에 따른 성능차이, 그러나 어떻게 결정해야 좋을지 이론적으로 명확하지 x

but CNN+역전파는 80년대 후반에도 잘 된 사례 존재, 층간의 결합 밀도가 낮은 신경망이라

인공지능 태동기 - 황금기 (퍼셉트론, 시각피질 뉴런 연구) - 1차 AI겨울 - AI (전문가 시스템)붐 - 2차 AI겨울

2. DBN 으로 활기! BUT층수가 늘어나면 여전히 어렵다.

restricted boltzmann machine: 단층 신경망으로 분해 후 greedy로 차근차근 비지도 학습(입력층과 가까운 순으로)

즉 pretraining으로 초기값 적절히 설정하게 함.

autoencoder를 이용하여도 가능 ⇒ 입력 = 출력 =입력

DBN과 같은 방법으로 훈련 가능, 비지도 학습 실시해서 각 층마다 파라미터 초깃값 얻고 전체 신경망에 대한 지도학습 실시.

4. 그 후..

다층 신경망의 유효성 확인 → 딥러닝유효성 널리 알려짐

딥 뉴럴넷 = 딥러닝이 대상으로 하는 다층 신경망

cnn일반적으로 사전 훈련 필요로 하지 않고

자연 언어처리나 음성 인식 = 재귀 신경망 사용되기도 함 rnn

다층 신경망은 다양하다.

요즘은 사전 훈련이 반드시필요한 경향은 아니다.

dropout 등의 사전훈련 없이 vanishing gradient문제나 overfitting 피할 수 있다!

가중치 초기값 신중히 선택만 해도 학습 더 잘 이루어지기도..

실제 세계의 대규모 문제를 상대로 그저 다층 신경망을 시험 삼아 적용해보았다가 예기치 못한 성능 향상을 얻은 것이라고도 볼 수 있겠다.

---

신경망 연구 주요 개념

1. 인공지능이란

사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술

영화 속 인공지능 : 인공일반지능 or 강인공지능 (사람과 구분 어려움)

현실: 약 인공지능 → 사람 일을 특정 분야에서 도와주는 보조

초창기에는 인간이 지적ㅇ로 풀기 어렵기만 컴퓨터는 쉽게 풀 수 있는 형식적이고 수학적인 규칙들로 서술 가능한 문제들 공략과 풀어나감

but 오히려 직관적인 문제를 해결하기 어렵다는 것을 알게됨 (얼굴 알아보기ㅣ 등)

1-2. 머신러닝이란

규칙을 자동으로 데이터에서 학습하는 알고리즘을 연구하는 분야

인공지능의 하위 분야

통계학-머신러닝(오픈소스 통계 소프트웨어 R) 관련 깊다

그러나 최근 머신러닝의 발전은 통계나 수학 이론보다 경험 바탕으로 발전하는 경우도 많고 대표적인 라이브러리 - 사이킷런

모든 머신러닝 알고리즘이 포함되어 있지는 않다.

연구자들은 새로운 알고리즘을 끊임 없이 개발하여 발표하고 그 후 유익하다고 증명되어 검증이 되면 라이브러리에 추가. 즉 추가된 라이브러리는 안정적이고 성능이 검증된 것.

그 전까진 대부분 폐쇄적인 코드와 라이브러리로 통용 but 오픈소스 라이브러리 발전 덕분에 폭발적 성장

⇒ 새로운 이론과 기술은 직접 코드로 구현하고 통용되어야 그 가치를 입증

1-3 딥러닝이란

인공신경망 기반으로 한 머신러닝 알고리즘을 통칭하여 딥러닝이라고 부름

LeNet-5 손글씨 숫자 인식 성공, 얀 르쿤 (1998)

최초의 CNN

2012 ImaeNet 대회 AlexNet → CNN 이미지 분류 작업 성공적 제프리 힌턴

풍부한 데이터와 컴퓨터 성능의 향상, 혁신적인 알고리즘 개발

딥러닝 라이브러리 tensorFlow and Pytorch python 기반 API 제공 오픈소스 라이브러리

구글과 페이스북

---

3. feature에 대하여

자연계 데이터(음성,,이미지)일반적으로 고차원 공간 but 특정한 경향성을 지님 .,즉 특정 이미지마다 고유의 성격을 지님

어떤 식으로 신경망 다층 구조내에 표현 되는가?

실제 포유류 시각피질에서 추출한 듯한 gabor wavelet 갗은 형태의 기저를 얻을 수 있다.

기저 몇가지 조함으로 입ㅂ력을 표현하는 흥미로운 계층구조.

이미지의 특징이 신경망 층과 대응하는 계층성을 갖는 형태로 학습됨

즉 100만장 이미지 학습시키면 특정하 물체에만 선택적으로 반응하는 유닛이 자연적으로 생성됨

각 책에 대한 인상

각 책의 첫 번째 챕터만 읽고 든 생각이기 때문에, 참고만 하면 좋을 것 같다.

혼자 공부하는 머신러닝 + 딥러닝

당장 머신러닝과 딥러닝을 코딩부터 시작하고 싶은 사람에게 적합해 보였다.

코딩을 이미 하고 있더라도 기초를 돌아보기 좋다. 나 또한 아무 생각 없이 사용하던 라이브러리와 내 코드에 기초적인 오류는 없는지, 사용하는 이유가 무엇인지 다시 한 번 되짚어볼 좋은 기회가 될 것 같았다.

다만, 코딩 경험이 아예 없다면 파이썬 기본 문법, 컴파일러(compiler)가 무엇인지 인터프리터(interpreter)가 무엇인지와 역할 등을 이해할 만큼 공부를 하고 보아야 제대로 읽을 수 있을 것 같다.

용어 같은 경우에는 영어를 함께 표기하여 보기 편했다.

딥 러닝 제대로 시작하기

일단, 많은 용어가 한글로 번역이 된 것이 아쉽다. 최신 기술 트렌드 파악을 위해서는 국제적인 학회 논문을 읽게 되는데 영어로 써있기 때문이다. 논문을 주로 읽는 본인은 오히려 한글로된 용어를 알아보기 어려웠다.

내용은 간결하여 전체적으로 깔끔하게 딥러닝 이론을 배울 수 있을 것으로 보인다. 다만 간결하기에 키워드 위주의 설명이 진행되고 전체적으로 매끄럽게 흘러가지는 않는다. 따라서 종종 책에서 주장하는 바에 대해 어떠한 근거인지 의문이 드는 부분들이 있다(물론 합당한 근거를 기반으로 주장을 하였을 것이다. 찾아보면 있다. 그러나 근거가 친절하게 설명되어 있지는 않았다.). 딥러닝을 접할 때 첫 번째로 읽는 책보다는 두 번째 ~ 세 번째가 좋을 것 같다.

수학적 이론이 등장하기에 기본 수학 지식(선형대수학, 확률과 통계 등)을 갖고 있어야 제대로 이해할 수 있다.

심층 학습

---

겹치는 내용이 많고 종합적인 내용이라 첫 챕터는 한 포스팅에 정리하지만, 앞으로는 <혼자 공부하는 머신러닝 + 딥러닝>을 먼저 포스팅하고, <딥 러닝 제대로 시작하기>와 <심층 학습>을 챕터별로 함께 포스팅할 예정이다.