[Coursera] 01_ Neural networks intuition

첫번째로 수료한 Supervised Machine Learning: Regression and Classification 강의에 대해 수료 후기는 아래에서 볼 수 있다.

2023.02.12 - [Coursera/01_ Supervised Machine Learning] - [Coursera] Machine Learning 첫번째 수료증 취득!

 

Advanced Learning Algorithms 강의 1주차를 시작한다.

Coursera | Online Courses & Credentials From Top Educators. Join for Free | Coursera

---

01_Neurons and the brain

• 수십년 전 신경망이 처음 발명 되었을때, 원래 동기는 인간의 뇌나 생물학적 뇌가 학습하고 생각하는 방법을 모방할 수 있는 소프트웨어를 작성하는 것이었다.
• 딥러닝이 가장 먼저 큰 영향을 미친 분야는 아마도 음성인식이었을 것이다. 2012년에는 computer vision이 나오게 된다. 이 후에, 텍스트나 자연어 처리가 나오게 되었고, 이제는 기후 변화에서부터 의료 영상, 온라인 광고, 제품 추천에 이르기까지 모든 분야에서 사용되고 있다.

• 인간의 모든 생각은 뇌에 있는 뉴런에서 비롯된다. 꾸준히 자극을 보내게 되고 때로는 다른 뉴런의 새로운 연결을 형성한다. 
• 딥러닝 알고리즘을 구축할 때, 한 번에 하나의 뉴런을 구축하는 것보다 많은 뉴런을 동시에 구축해서 사용하게 된다.

 

• 가로축은 문제에 대한 "데이터 양"을 나타내고, 세로축은 해당 문제에 적용된 학습 알고리즘의 "성능" 또는 "정확도"를 나타낸다.
• 지난 몇 십년 동안, 인터넷의 발달, 휴대폰의 발달, 사회 디지털화, 많은 애플리케이션을 만들기 위해 데이터 양을 계속 오른쪽으로 나아갔다. 이외에도 많은 분야에서 디지털 데이터의 양은 폭발적으로 증가했다. 

• 이전 강의에서 본 전통적인 기계 학습 알고리즘 (로지스틱 회귀 분석과 선형 회귀 분석 등)으로는 현재의 데이터양에 맞춰 확장시키기가 어려웠고, 효과적으로 활용할 수 없었다. 

02_Demand Prediction

• 신경망의 작동방식에 대해 제품을 보고 수요를 예측하는 예시를 들어서 설명을 할것이다. (마케팅 계획과 재고 관리에 사용된다.)
  
  • 티셔츠를 팔고 있고, 특정 티셔츠가 가장 잘 팔릴지에 대해 알고 싶어한다. 
  • 다양한 가격으로 판매된 여러 티셔츠의 데이터가 수집되었다. 

• input (x)으로 price (가격)을 로지스틱 회귀를 적용해서 sigmoid 함수를 적용하게 되면 활성화 값이 ouput으로 나타나게 된다.
• 여기서 output은 티셔츠가 최고로 판매가 될 확률을 나타내는 하나의 수치가 된다. 

Input layer 

• 4가지의 입력 값을 벡터로 표현한다.
  -> 해당 예제에서, 벡터 x를 구성하는 요소는 price, shipping cost, marketing, material 이렇게 4가지라고 볼 수 있다.
• 왜 벡터로 표현할까? Hidden layer에서 활성화 벡터를 출력하기 위해서
• 훈련 데이터 세트에서는 x값과 y값 모두 관찰하게 된다. 그래서 x, y가 올바르게 정의된 데이터 수집이 필요하다.

hidden layer

• layer : 동일하거나 유사한 기능을 입력받아 몇 개의 숫자를 함께 출력해줄 수 있는 뉴런 그룹이라고 생각하면 된다.
• hidden layer ?
  - 예제 그림에 있는 "affordability", "awareness", "perceived quality"에 대한 수치는 hidden layer 안에 있는 뉴런(유닛)의 활성화 값이다. (3개의 뉴런이 하나의 레이어를 생성하기 때문에 뉴런끼리 서로 위에 그려진 형태라고 볼 수 있다.)
• output layer ?
  - 최종 뉴런의 출력이 신경망에 의해 예측된 출력 확률이기 때문에 출력 계층 (output layer)라고 한다.
  - 한개의 (단일) 뉴런도 하나의 레이어로 생성이 가능하다. 

활성화 (activation) ?

• 생물학적 뉴런에서 유래되었고, 뉴런이 높은 출력값을 보내거나 그로부터 하류에 있는 다른 뉴런에 많은 전기 자극을 보내는 정도를 의미한다.
• 뉴런이 다른 뉴런에 얼마나 높은 출력을 보내고 있는지를 나타내준다. 
• a 라고 표시한다.

추가 정리

• 숨겨진 레이어의 적절한 수와 레이어 당 숨겨진 뉴런(유닛)의 수를 선택하는 것은 학습 성능에도 영향을 미칠 수 있다. 

03_Recognizing images

• Ex, 1000 pixels x 1000 pixels Image
• 얼굴 인식 응용프로그램을 구축할때는 사진에 있는 사람의 신원을 출력하는 신경망을 훈련한다 .
• 픽셀의 범위는 0 ~ 255이다. 

1st layer : 이미지에서 가장 짧은 선과 같이 짧은 수직선등을 찾기 위한 뉴런들이 구성되어 있다.

2nd layer : 이미지의 특정 위치에서 눈, 코, 입과 같이 모서리가 있는 얼굴의 특징점을 감지하기 위한 뉴런들로 구성되어 있다. 

3rd layer : 얼굴 전체적인 모양을 감지하고, 다른 얼굴 모양과 얼마나 일치하는지를 감지하는 뉴런들로 구성되어 있다. 

 

• 자동차를 인식하는 알고리즘도 얼굴 인식 알고리즘과 동일하게 생각 할 수 있다.