기타/리뷰 및 경험담 - p stage (4) 썸네일형 리스트형 [AI Math] 딥러닝 학습 방법 신경망 softmax 선형모델의 경우 Y = XW + B와 같이 표현된다. 이에 softmax를 이용해서 우리는 분류 문제를 해결한다. 즉 softmax를 통해 선형모델을 마치 우리가 원하는 의도로 바꿀 수 있다. 활성함수 softmax 같이 우리는 활성화 함수를 사용하면 데이터를 비선형 함수를 바꿔줄 수 있다. softmax는 출력물의 모든 값을 다 고려해서 계산하지만 활성함수는 해당 주소의 출력값만으로 계산이된다. 실수가 들어오고 실수가 나온다. 선형모델로 나온 출력물을 비선형 모델로 변형 시킬수 있다. 이렇게 변한 벡터를 hidden vector 라고 부른다. 활성함수를 쓰지 않고 딥러닝을 구현하면 선형모형과 차이가 없다. > 아래그림 참고 δ(z)가 활성함수) hidden layers가 많으면 /.. [AI Math] 경사하강법 미분 미분은 기울기이다. 신기하게도 x값에 미분값을 더하여 이동하면 f(x)값은 증가하고 미분값을 빼면 f(x)값은 감소한다. f'(x)가 음수 라면 아래 그림처럼 x는 왼쪽으로 이동하므로 f(x+f'(x)) > f(x)가 된다. (반대로 f'(x)값을 빼면 오른쪽으로 감소소하는 방향으로 간다.) f'(x)가 양수라면 우상향 그래프가 될테고 f'(x)만큼 오른쪽으로 이동하니 f(x+f'(x)) > f(x)가 성립한다. 미분 더하기 : f(x+f'(x)) >> 값 증가 (미분 더하기) 미분 빼기 : f(x-f'(x)) >> 값 감소 극소값 / 극대값 구하기 및 경사하강법 위 성질을 이용해서 f(x+f'(x))를 계속 하거나 f(x-f'(x))를 계속 할 경우 f'(x)=0이되는 극소, 극대점에서 결국 정지.. [AI Math] 벡터와 행렬 벡터 벡터를 통해 N차원 공간에서 한 점을 나타 낼 수 있다. 다시 말해 벡터를 이용해 데이터를 표현 한다. 행렬 1. 행렬은 벡터를 원소로 가지는 2차원 배열 즉 데이터들의 배열 2. 행렬곱을 통해 다른 차원으로 데이터를 보낼 수 있다. (아래 그림은 m차원 데이터 x를 A행렬곱을 통해 m차원 데이터 z가 된다) 행렬을 이용한 방정식 표현 행렬을 이용해서 연립 방정식을 표현 할 수 있다. 위 그림의 z를 b로 수정하면 아래와 같은 방정식과 같다. 즉 아래의 연립 방정식들을 행렬을 이용하면 AX = B 라고 간단하게 표현이 가능하다 선형회귀 분석 행렬의 성질을 이용해 데이터를 선형모델로 해석하는 선형 회귀식을 찾아본다. 행렬을 이용해서 아래의 연립 방정식을 Xβ = Y로 표현을 할 수 있다. 여기서 X의.. [부스트캠프] (1주차) 필수 과제 1~5 관련 정리 1주차의 과제에선 문자열을 다루었다. 필수과제에선 전체적으로 .join() 과 split() 위주의 사용법을 익힐 수 있었다. 과제 하나가 구현은 어렵지 않았으나 입출력 형식이 명확하지 않아서 의도치 않게 테스트 환경에서 디버깅을 하는 법을 익혔다. 출제자 의도와는 달랐지만 split 대신 removeall(직접구현)와 정규표현식(re라이브러리)를 이용했다. 그러면서 그동안 제대로 이해 못했던 lambda에 대해 알아보게 됐다. 오히려 좋아 join 정리 : 파이썬 list에서 removeall 구현: lambda 및 관련 함수: 좌우 공백을 없애주는 strip() 함수와 비슷한 함수: zip과 딕셔너리: (애용하지만 막상 쓰려하면 항상 기억이 잘안난다) 딕셔너리에서 value로 key에 접근하는 방법:.. 이전 1 다음
