티스토리

Deep-Mind-Learning (DML)

검색하기

블로그 홈

Deep-Mind-Learning (DML)

deep-mind-learning.tistory.com/m

Life is only Once, Enjoy it Yourself.

구독자: 1

방명록 방문하기

주요 글 목록

Shallow Copy v.s. Deep Copy 넘파이 배열을 사용하다보면 변수를 지정하는 방법에 따라, 변수에 저장된 값이 변동이 되는 경우와 되지 않는 경우로 나뉜다. 기본 적으로 특정 ndarray를 가리키는 변수를 다른 변수에 대입하게 되면, 2개의 다른 변수가 하나의 ndarray를 가리키게 되는데, 이 대입을 하는 방식에서 얕은 복사(Shallow Copy)와 깊은 복사(Deep Copy)의 2가지 형태로 나뉠 수 있다. 배열의 shape을 바꾸거나 슬라이싱을 할경우 원본 ndarray의 데이터를 공유하는 새로운 ndarray 객체를 생성하는데, 우리는 이를 보고 얕은 복사라고한다. 만약 원본 ndarray와 값을 공유하지 않고 별도의 객체 메모리를 가지고 싶다면, .copy() 메소드를 사용하도록 한다. 공감수 0 댓글수 0 2020. 7. 28.
넘파이 배열(ndarray)이란? 넘파이 배열은 N차원의 배열 객체의 형태이며, 하나의 넘파이 배열 내에서는 모든 원소에대해 동일한 데이터 형태를 지니며, 차원(Dimension)을 뜻하는 축(Axis)의 개념이 빈번하게 사용된다. 넘파이 배열은 기본적으로 실수 형태의 데이터 저장할때는 'Float 64'로 정수형태의 데이터를 저장할때는 'Int 32'로 저장이된다. 실수 형태의 원소를 정수 형태로 변환할 경우에는 소수점 이하가 버림되고 변환된다. Tip!> 'ndarray.dim': N차원 배열의 차원의 수를 반환함. 'ndarray.shape': N차원 배열의 각 축 방향에 대한 차원 크기를 튜플형식으로 반환함. 'ndarray.dtype': N차원 배열의 원소에 대한 데이터 형태를 반환함. 'ndarray.size': N차원 배열에.. 공감수 0 댓글수 0 2020. 7. 28.
PyTorch 학습 모델 저장 및 불러오기 딥러닝 학습이 이루어진 모델의 파라미터를 저장하고, 다시 이를 불러와서 학습 모델에 입력하는 방법은 다음의 코드를 통해 이행할 수 있다. 다만 주의 해야할 점은, 학습 파라미터를 저장하고 불러올 때, 해당 변수가 GPU상에 존재하는지 아니면 CPU상에 존재하는지를 유념해두고 저장 및 불러오기 절차를 거쳐야한다. 딥러닝을 학습할때는 대부분 GPU가 있다는 전제하에서 진행되나, CPU로만 진행될 수도 있으므로 이부분을 꼭 기억하자!!! (P.S. pickle_protocol=4 는 Python 버전 3.4 이후에서부터 구현된 기능으로 큰 객체를 효율적으로 저장하게해줌.) 공감수 0 댓글수 0 2020. 7. 27.
Embedding에 대해서 알아보자 워드 임베딩에 대해서 알아보자. 임베딩(Embedding)이란 무엇일까? 이 단어 또한 수많은 말들로 정의될 수 있지만, 결론적으로 입력이되어지는 String 형태의 문장을 Float 형태의 벡터로 변환하는 행위를 뜻한다고 생각한다. 아래의 코드를 보면 임베딩의 역할을 직관적으로 이해할 수 있을 것이다. 만약 "I love the nature and nature."라는 문장이 있다면, 우리는 이 문장을 불필요한 부분을 전처리하고 토큰화(Tokenize)하여 [ I, love, the, nature, and, nature ]의 단어리스트로 만든뒤, 고유한 단어들에대해 각각의 정수 index를 부여한다. 여기서는 [1, 7, 3, 11, 5, 11]로 인덱스가 부여되었다고 가정한다. 이 때, embeddin.. 공감수 0 댓글수 0 2020. 7. 27.
Recurrent Neural Network (RNN)란 무엇인가? ANN, DNN, CNN, RNN, LSTM, GRU 등 무수히 많은 인공지능 알고리즘들이 존재한다. 그중에서 오늘은 RNN에 개념에 대해 Posting 해보고자 한다. RNN이란 시계열 및 자연어처리 (Natural Language Processing) 문제해결을 주된 목적으로 개발도어진 알고리즘으로서 Feedforward Network와 달리 이전 시점의 내부상태를 다음 시점으로 전달해 주는 구조를 통해 시간의 흐름에 따른 데이터특성을 반영하여 학습을 진행할 수 있다는 것이 가장 큰 특징이다. 아래의 그림과 같은 기본구조를 기반하여, 현재 실전 문제해결에서 보편적으로 사용되고 있는 LSTM 및 GRU등의 알고리즘들이 탄생하게 된다. 이 RNN을 기반한 다양한 알고리즘들은 CNN기반의 영상예측 알고리즘.. 공감수 0 댓글수 0 2020. 7. 27.
영상 Resolution 복원을 위한 CNN 모델을 구현해보자! 흐린 영상의 해상도(Resolution)를 복원하는 것도 CNN을 통해 구현할 수 있다는 놀라운 사실을 아는가? 이번 포스팅에서도 코드를 따라가며 직접 그 결과를 확인해보자. 먼저 공개 데이터셋을 원하는경로에 다운로드한다. 다음으로 제각각인 영상의 크기들을 128x128과 32x32로 두 가지 경우로 나누어 입력값과 Ground Truth값으로 만든다. Upsampling하는 네트워크를 잘 구축하는데, 이 때 중요한 포인트는 바로 Conv2d와 ConvTranspose2d이다. 이 네트워크에서 Conv2d는 stride=2의 값으로 주어 영상의 크기를 반으로 줄이는 역할을 하고, ConvTranspose2d는 stride=2의 값일때, 영상의 크기를 2배로 크게하는 역할을 수행한다. 물론 그 크기가 계산.. 공감수 0 댓글수 0 2020. 7. 16.
Fashion MNIST를 이용한 CNN기반 Classification 따라해보기! GPU가 구축된 Python 개발환경에서 아래의 코드를 따라해보면, CNN네트워크를 통한 분류작업을 체험해볼수 있다. 백문이 불여일견이라하였다. 묻지도 따지지도 말고 한번 해보길 바란다. 공감수 0 댓글수 0 2020. 7. 16.
나만의 신경망 모듈 만들어보기! PyTorch에서 나만의 신경망 계층을 모듈형태로 만들어 보고자 한다. 이 때, 중요한 것이 nn.Module을 상속한 클래스의 정의이다. (nn.Module은 nn.Linear을 포함한 모든 계층의 base class 임) 다음과 같이 nn.Module을 상속한 커스텀 Class를 정의한 후 정의된 선형레이어 Class를 호출하여 쌓아올린뒤 다층신경망을 구축할 수 있는 방법이 하나이고, 또다른 방법은 앞서 정의한 Class를 기반으로 다른 Class를 통해 다층신경망을 구축한 후 마지막에 Class하나만을 호출하여 신경망을 구축하는 방법이다. 딥러닝에 관한 이론적 지식과 PyTorch에 대한 기술적 이해도가 어느정도 갖추어진 상태라면, 자신만의 딥러닝 네트워크를 한번 구축해 보는것은 어떨까? (사실 초.. 공감수 0 댓글수 0 2020. 7. 14.
Overfitting 문제 해결해보기 딥러닝기반의 학습을 이행하다보면, Overfitting (과적합)의 문제를 흔히 마주할 수 있다. 이는 너무 훈련된 데이터에만 최적화되어, 새롭게 마주하는 데이터에 예측성능이 저하됨을 뜻하며, 여러가지 Regularization(정규화) 기법들을 통해 어느 정도 보완이 가능함을 알아두자. 본 포스팅에서는 대표적인 정규화 기법인 Drop-out과 Batch Normalization에 대해서 집중 조명해보고자 한다. 먼저 학습 네트워크의 깊이를 약간 깊게 만들어주고 활성화함수로 ReLU를 사용함. 미니배치 형식으로 학습하되, 여러 정규화 기법 적용 전후를 비교해서 그것이 과연 실효적인 기법인지를 보고자한다. 먼저 Drop-out기법을 적용하고 학습을 다시 진행해 보았다. 학습의 결과는 기법의 전보다 Over.. 공감수 2 댓글수 0 2020. 7. 14.
TensorDataset과 Dataloader에 대해 알아보자 TensorDataset은 Dataset을 상속한 Class이며 입력데이터 X와 레이블 Y를 묶어 놓은 컨테이너라고 생각하자. 이 TensorDataset을 DataLoader에 전달하면 이후의 학습 for loop에서 데이터의 일부만을 선택적으로 추출할 수 있다. (이 때, TensorDataset에는 텐서형태만 전달이 가능함) 처음사용할때는 굳이 이것을 사용해야할까라는 의구심이 샘솟을 수 있으나, 익숙해지면 그 소중함을 느낄 수 있다. 공감수 0 댓글수 0 2020. 7. 14.
Multi Layer Perceptron (다층 퍼셉트론?) 만들어보기 다층 퍼셉트론? (MLP)는 선형적 계층을 연결하여 input layer, hidden layer, output layer의 크게 세 가지 층을 가지며, 회귀문제의 경우 출력층을 선형 회귀구조를 사용하고 분류문제의 경우에는 출력층을 로지스틱 회귀 구조로 사용함. (회귀 구조에 관해서는 앞선 포스팅을 참고 해주세요~!) 선형적계층을 단순히 연결하게 되면, 전체 네트워크가 선형함수가 되는데, 이렇게 되면 복잡한 문제를 해결하기가 어려워진다. 따라서, 전체 네트워크에 비선형성을 부여하여 최적의 solution을 찾아가는 방법으로 Activation function (활성화함수)을 도입하게된다. 이번에도 Pytorch의 내장 모듈을 이용하여 간단한 신경망 모델을 구축해 보자. 위 그림과 같이 선형계층을 순차적으.. 공감수 0 댓글수 0 2020. 7. 14.
다중 분류를 위한 Logistic Regression Model 만들기 앞서 포스팅 된 Logistic Regression 모델은 두 가지 Class에 대한 이진 분류를 수행하는것이다. 하지만 3개 이상의 Class 즉, 다중 분류를 위한 Logistic Regression은 어떻게 만들 수 있을까? 선형 결합 계층의 출력을 Class의 숫자만큼 설정하고, 손실함수로 Crossentropy에 Softmax가 추된 형태인 CrossEntropyLoss()를 이용한다. 아래의 코드와 같이 사용하면 손쉽게 다중분류문제도 해결해 볼 수 있다. 공감수 0 댓글수 0 2020. 7. 14.
Logistic Regression 구현해보기 PyTorch 내장 모듈 및 Iris 공개 데이터셋을 이용하여, 다음과 같이 Logistic Regression Model을 구현하였다. 공감수 0 댓글수 0 2020. 7. 14.
Logistic Regression (로지스틱 회귀) Losgistic Regression은 분류를 위한 선형 모델이며, 기존의 Linear Regression과의 다른점은 연속적이었던 목적 변수 y가, 0 또는 1의 이산값으로 바뀌게 된다는 것이다. 이 때, 0 또는 1의 이산값을 만들어주기 위해 Sigmoid라는 활성화함수(Activation Function)을 도입하고, 그 수식은 다음과 같다. 로지스틱 회귀도 앞선 선형회귀 모델처럼 확률모델이며, y가 파라미터 z의 베르누이 분포를 따른다고 가정한다. 앞선 포스팅에서 소개한 베르누이 분포의 최대우도추정을 적용시 손실함수는 아래와 같은 수식으로 나타나며, 이 손실함수가 우리가 앞으로 흔히 접하게될 Cross-Entropy임을 기억하자! 공감수 0 댓글수 0 2020. 7. 14.
Torch 내장 모듈을 통한 선형회귀모델 만들기 앞선 포스팅에서는 Pytorch 내장 모듈을 사용하지 않고 수작업으로 선형회귀모델을 구현하였다. 하지만, 앞으로는 개발속도의 향상을 위해 내장된 모듈을 사용하여 개발을 편하게 해보자. 1. torch.nn 모델구축을 편하게 할 수 있도록 함. 2. torch.optim 최적화를 편하게 할 수 있도록 함. 위 두가지 모듈을 기반해서 선형회귀모델을 다시 만들어 보겠다. Pytorch에 내장된 모듈을 기반으로 선형회귀 모델을 만들어도 원하는 결과를 얻을 수 있음을 확인하였다. 공감수 0 댓글수 0 2020. 7. 14.
Tensor를 통한 선형회귀모델 만들기 파이토치의 기본 텐서를 이용하여 다음의 매개변수를 가지는 선형회귀모델을 얻도록 학습을 진행할 예정이다. 학습은 경사하강법을 기반으로 최적화 되었다. (수식 y=5 + 7x1 + 2x2) 공감수 0 댓글수 0 2020. 7. 14.
Linear Regression (선형회귀) 선형 회귀란 여러 변수로부터 하나이상의 값을 예측하는데 사용되는 기법이며, 아래의 식과 같이 수식화가 가능하다 (벡터 x는 독립 변수이며, 벡터 y는 예측하고자하는 목적 변수임). a와 b는 선형모델의 매개변수(Parameter)와 편향(Bias)이며, epsilon은 오차를 나타낸다. 본 선형회귀모델의 도입 목적은 x라는 벡터값으로 부터 y라는 벡터값을 예측해내는 것이며, 위 그림과 같이 해석적으로 결과를 분석하면, 평균제곱오차를 최소화하는 a 벡터값을 추정하는 것이다. 공감수 0 댓글수 0 2020. 7. 14.
Stochastic Gradient Descent (확률적 경사 하강법) Likelihood 함수의 편미분값이 0이 되게하는 방정식의 solution을 찾기 힘든경우에는 수치적으로 최적화작업에 들어가야한다. 이를 위해 머신러닝 및 딥러닝 분야에서는 Cost/Loss Function이라는 개념을 도입해 목적함수를 최소화하는것을 목표로 삼는다. Gradient Descent란 미분가능한 함수에 대해 Optimal Solution을 구할 때, 미분계수를 반복적으로 계산하고 이를 바탕으로 최적화된 매개변수 Theta를 찾아가는 방법이다. Likelihood 함수와 같이 목적 함수가 동일형태의 함수의 합으로 분해할 수 있을 때는 모든 데이터값을 사용하는 것이 아니라, 랜덤하게 일부값(Mini-batch)만을 사용하는 Stochastic Gradient Descent를 쓴다. 공감수 0 댓글수 0 2020. 7. 14.
Maximum Likelihood Estimation (최대우도추정) 공감수 0 댓글수 0 2020. 7. 14.
Tensor와 AutoGrad 딥러닝 프레임워크를 대중화한 여러가지 요소들 중에 하나로 꼽히는것이 바로 AutoGrad 기능이다. requires_grad = True라는 설정을 텐서에 부여하면 자동 미분 기능이 활성화 되며, 대부분의 인공신경망 연산에서 기본적으로 사용되고 있다. 다음에 해당하는 수식에 근거하여 계산이 이루어지며, 자동 미분으로 구한 결과와 수동으로 구한 결과가 일치함을 확인할 수 있다. 공감수 0 댓글수 0 2020. 7. 13.
텐서(Tensor)의 구조와 기능 텐서(Tensor)는 딥러닝 프레임 워크에 있어서, 가장 기본이 되는 데이터 구조이다. 기본적인 Python 문법 혹은 Numpy 라이브러리와 유사한 사용법을 지니며, Numpy의 ndarray로의 변환도 가능하다 (단, 변환이전에 GPU에서 CPU로 텐서를 이동해야함!). CPU와 GPU상에서 개별적 텐서의 생성이 가능하며, Data Type도 별도로 지정이 가능하다. (아래의 그림을 참조바랍니다.) 물론 CPU에서 텐서를 생성하고 추후 GPU로 전송하는것 역시 가능합니다. 앞서 소개한 내용중 GPU상에 위치한 텐서를 Numpy ndarray로 변환하기위해서는 CPU로 그 위치를 바꾸어 주어야한다고 설명하였습니다 (이 때, to 메서드를 사용함). 물론 CPU상에 위치한 텐서는 .numpy() 메서드로.. 공감수 1 댓글수 0 2020. 7. 13.
NumPy 이란? NumPy 는 파이썬을 기반으로 최적화된 고차원 수치계산을 가능하게끔 도와주는 라이브러리이며, 'import numpy as np' 이란 호출명령어로 파이썬 개발환경에서 사용할 수 있음. 넘파이의 배열은 여러 데이터타입의 데이터를 원소를 가질 수 있는 파이썬 리스트와 달리 동일한 데이터 타입(dtype)과 크기로 이루어진 원소들을 가지며, 차원의 크기에 따른 정수 인덱싱을 지원함. 배열의 모든 원소가 같은 데이터 타입이므로, 각 원소는 같은 크기의 메모리를 가짐. 대다수의 기본적인 연산에서 'for loop'를 사용하지 않는 element-wise한 연산을 지원하므로 파이썬 리스트기반의 연산보다 빠르게 코드를 구성할 수 있음 (항상 효율적인것은 아님!!). 'np.array( )'를 사용하면 Python.. 공감수 0 댓글수 0 2020. 4. 20.
PyTorch 패키지 구성 PyTorch의 기본적인 패키지 구성은 다음과 같음. 01. 'torch' : 고차원 연산에 가장 기본이 되는 텐서와 같은 수학적 함수들이 내재되어 있음. 02. 'torch.nn' : 인공신경망을 설계하기 위해 필요한 레이어, 아키텍쳐 혹은 손실함수 등이 저장되어 있으며, 딥러닝에 관련된 개발을 진행할 시에 항상 호출되는 패키지임. 03. 'torch.autograd' : 미분가능 함수를 정의할 때 사용되는 기본 함수 및 자동미분을 위한 콘택스트 매니저(enable grad)가 포함되어 있음. 04. 'torch.optim' : 학습의 최적화를 위한 여러가지 방법들이 함수화 되어 있는 패키지임. 05. 'torch.onnx' : Open Neural Network Exchange (ONNX)형식으로 신.. 공감수 0 댓글수 0 2020. 4. 20.
Dynamic Range (DR)와 Gradation (계조)에 관하여 Dynamic Range (DR)이란 영상(image)에서 가장 높은 intensity(밝기)를 가지는 값과 가장 낮은 intensity를 가지는 값 사이의 폭을 의미하며, '명암의 폭' 혹은 '동적범위'라 칭한다. Gradation(계조)은 밝기의 이행단계를 뜻하며 (잘 와닿지 않을 것이다), 어두운 부분으로부터 밝은 부분까지 이어지는 단계의 차이를 뜻하기도 한다 (조금 더 와닿을 것이다). 계조가 좋다고 하는것은 밝은 부분과 어두운 부분의 차이가 연속적인 느낌으로 부드럽게 나타남을 뜻하며, 그 차이가 각지면서 층층으로(?) 이산적 분포가 느껴진다면 계조가 좋지 않다고 표현한다. 우리 흔히 접하는 디스플레이(TV, PC, Tablet 등)에서 표현되는 영상의 화질은 다이나믹 레인지가 넓을 수록, 계조가.. 공감수 0 댓글수 0 2020. 3. 30.
과학·기술 발전과 융합혁신 사례에 관한 개인적 견해 *본 자료는 wikipedia 및 여러 기록물들을 참조하여 학술적 수련의 목적으로 개인적 견해를 담은 글입니다. (사실과 다른 부분이 존재할 수도 있으므로, 가벼운 마음으로 읽어주시면 감사하겠습니다.) 15세기 이전의 중세시대는 신학 중심의 세상으로, 철학은 신학을 기반으로, 과학은 그 철학을 모태로 구성 및 해석되었다. 당시의 여러 학문분야 (수학, 기하학, 천문학, 음악 등)들은 교회의 신학적 숭배를 주된 목표로 삼았으며, 교회의 지지를 받지못한 학문은 천대와 멸시를 받아왔다. 가장 대표적인 사상으로서 신앙과 이성을 하나의 지성적 체계로 결합하여 만물을 이해하고자 했던 스콜라 철학이 중점적으로 자리잡아, 객관적 사실을 기반으로하는 현시대의 과학 사상은 포용될 수 없었던 과학의 암흑기라고 생각되어진다... 공감수 0 댓글수 0 2020. 3. 30.
융합과학과 창의성에 관하여 [Ref. 한국 연구재단 융합과학단] 특정 학문 분야에서 기존의 학문적 개념으로 이해, 규명 및 응용하지 못하는 현상들에 대해 여러 학문 분야의 근본적인 개념과 고찰들을 함께 적용하여 통찰력 있게 이해하고자 하는 분야 또는 이를 바탕으로 이해된 현상이나 지식을 인류의 삶에 활용하기 위한 기술 분야를 일컫음. 학제적 융합연구를 수행할 수 있는 기본적인 지식을 갖추고, 타 분야에 대해 개방적인 다학문 전공의 연구자를 가리킴. "융합과학과 융합과학자의 가장 중요한 키워드는 '창의성'이다." 수천년의 역사를 되돌아보면 인류는 각 시대를 살아가면서 가장 최선이라고 생각하는 선택들을 통해 지금의 사회를 구축해왔다. 이 선택의 원동력은 개인의 사적인 욕망일 수도 있으며, 사.. 공감수 0 댓글수 0 2020. 3. 28.
What is the 'Convergence'? 그 어느때보다도 빠르게 성장하고 급변화하는 사회에서 살고 있는 우리들. 매일 마주 치는 문제들은 여러 이해관계들이 엮이어 복잡한 상황을 만들어낸다. 사회 및 조직에서 issue가 되는 문제들을 인지하고, 유연한 사고를 바탕으로 최적의 방법을 모색한뒤, 인적화합, 소통, 긍정적 동기부여을 바탕으로 문제해결을 시작한다. "이러한 상황에서 보다 효율적이고 체계적으로 문제를 해결할 수 있는 방안은 무엇일까?" 이 물음에서부터 융합 (Convergence)이 시작된 것은 아닌가 조심스럽게 생각해본다. 이 '융합'이라는 용어에 '과학'과 '기술'이라는 또다른 학술적 용어들이 접목되어, '융합과학기술'이라는 분야가 생겨나기도하는데, 이것은 또 무엇일까? (정의를 내린다는 것이 참 어렵고 신중함을 요하는 작업인것 같다.. 공감수 0 댓글수 0 2020. 3. 18.
MRI란 무엇인가? [Terminology] - NMR (Nuclear Magnetic Resonance): 핵자기공명 - MRS (Nuclear Magnetic Resonance Spectroscopy): 자기공명분광법 - MRI (Nuclear Magnetic Resonance Imaging): 자기공명영상법 [About MRI] 1970년대 후반부터 영국에서 연구개발이 시작되어, 'NMR-CT'라고 불리었으나, 현재 국제 공식명칭은 MRI임. 신체내 조직을 구성하는 물분자의 Proton에 강한 자기장을 가하여 세차운동을 만들고, RF를 가하여 Proton을 고에너지 상태로 들뜨게 한후, RF를 중단함. 이후, 들뜬상태의 Proton이 안정적인 에너지 상태(저에너지)로 돌아가면서 가해준 RF와 같은 형태의 고주파를 방출.. 공감수 0 댓글수 0 2020. 3. 17.
Likelihood Ratio (LR) 통계학자이자 유전학자인 Ronald Aylmer Fisher (UK, 1890-1962)에의해 제안된 실험가설의 평가 척도로써 어떠한 Data가 주어졌을 때, 가설(H)가 참이라는 가정하에서, Data가 발생할 정도를 나타낸다. LR_H = (data/H) / (data/Ho), (data/H: data가 H 상황에서 출현한 확률) 공감수 0 댓글수 0 2019. 9. 2.
Odds Ratio (OR) 관측된 데이터와 세워놓은 가설(H)사이의 연관된 정도를 정량적으로 나타내는 통계학적 계산방법으로 정의되며, 관측 Data가 세워놓은 가설(H)에서 발생할 확률과 Data가 귀무가설(Ho)에서 발생할 확률의 비율로 계산됨. Odds Ratio가 1 일 경우에는, '관측 데이터와 가설(H)이 독립적임'과 필요충분조건의 관계를 가짐. 공감수 0 댓글수 0 2019. 9. 2.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.