kimjunki-8 님의 블로그

먼저 맨 위에 코드를 보겠습니다.import pandas as pdimport numpy as npimport seaborn as snsimport matplotlib.pyplot as pltimport reimport torchimport torch.nn as nnimport torch.optim as optimfrom torch.utils.data import DataLoader, Datasetfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import LabelEncoderfrom torchtext.data.utils import get_tokenizerfrom torchtext.vocab import bu..

tokens = []for token in doc: tokens.append(token.text)​import pandas as pdimport numpy as npimport seaborn as snsimport matplotlib.pyplot as pltimport reimport torchimport torch.nn as nnimport torch.optim as optimfrom torch.utils.data import DataLoader, Datasetfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import LabelEncoderfrom torchtext.data.utils import get..

num_epochs = 50for epoch in range(num_epochs): model.train() total_loss = 0 for batch in train_dataload: content, score = batch optimizer.zero_grad() output = model(content) loss = criterion(output, score) loss.backward() optimizer.step() total_loss += loss.item() print(f'Epoch {epoch+1}/{num_epochs}, Loss: {total_loss/len(train_dataload)}')이렇게 만들어봤습니다. 그런데Epoch 1/50, Lo..

요요요요~~~~~~~~~~~~~~~~~~~~~~~~망한것이 사라지지 않습니다. 심지어 오늘 8시간 동안 컴퓨터 초기화를 해야 했습니다. 왜 이렇게 오래 걸렸라고 물어보신다면,인터넷에서 가져왔긴 했지만, 저거 초기화하고, 좀 지나면, 저 화면이 나오고, 한글 입력기를 입력하니, 고급 설정과 전원 끄기가 저를 반겨줬습니다.그리고 시작되는 무한 초기화.......... 그렇게 어쩔 수 없이 USB에 window 11을 받아 진짜 처음부터 다시..(게다가 무선랜 드라이버도 없어서 더 힘들었다는...전설이...). 그렇게 다 깔고 보니 어느덧 8시(저녁)......하.......자 그래도 해결은 됬겠지?(nvidia, pytorch, python,  싹다 다시 다운로드)그래서 해결이 되었나?안돼...build_v..

class SimpleANN(nn.Module): def __init__(self): super(SimpleANN, self).__init__() self.fc1 = nn.Linear(28 * 28, 128) # 입력층에서 은닉층으로 self.fc2 = nn.Linear(128, 64) # 은닉층에서 은닉층으로 self.fc3 = nn.Linear(64, 10) # 은닉층에서 출력층으로 def forward(self, x): x = x.view(-1, 28 * 28) # 입력 이미지를 1차원 벡터로 변환 x = torch.relu(self.fc1(x)) x = torch.relu(..

기본 개념들1. 인공지능 (AI): AI는 인간의 지능을 모방하여 문제를 해결하는 기술을 의미합니다. 이 기술은 다양한 알고리즘을 활용해 스스로 학습하거나, 규칙 기반으로 데이터를 분석하여 특정 작업을 수행합니다.2. 머신 러닝 (Machine Learning): 머신 러닝은 AI의 하위 분야로, 데이터에서 학습하여 예측 및 의사결정을 수행하는 알고리즘입니다. 머신 러닝은 데이터로부터 반복적인 학습을 통해 성능을 개선하며, 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 구분됩니다.3. 딥 러닝 (Deep Learning): 딥 러닝은 머신 러닝의 한 종류로, 여러 개의 계층으로 이루어진 인..

이번주는 딥러닝을 주제로 좀 들어갔던것 같습니다.솔직히 말하겠습니다. 더럽게 어렵더라구요. 그래서 의욕이 좀 많이 떨어지기도 했습니다. 코드를 더 깊게 들어가고 싶긴 했는데, 그러기에는 시간이 어마무시하게 잡아먹더라구요.그래서 고민을 해야했습니다. 다음주는 그래도 쉬는 주이니 더 깊게 들어가볼 수 있는 기회가 되겠구나. 그래서 이번주와 다음주를 통틀어서 그냥 싹다 갈아엎어서 공부를 해 볼 생각입니다. 솔직히 인공 신경망, 합성곱 신경망, 순환 신경망이 제일 어렵더라구요. 그래서 그런지 오히려 다른 부분들을 이해할려고 하니 이제 처음에 배웠던 부분까지 헷갈리는 지경이... 하지만 그래도 딥러닝의 기초에 대해 배운것은 확실히 잡아가는 기분이 들었습니다.재미있기도 했지만, 무기력하게 2일 정도를 날려먹은 것 ..

오토인코더오토인코더(Autoencoder)는 비지도 학습(unsupervised learning)에서 많이 사용되는 신경망 구조로, 주로 데이터 압축, 특성 추출, 노이즈 제거 등에서 활용됩니다. 오토인코더는 입력 데이터를 줄인 잠재 공간(latent space)으로 변환했다가 다시 원래의 데이터로 복원하는 과정에서 중요한 특징을 학습합니다.오토인코더는 입력 데이터를 압축하고 그 압축된 정보를 기반으로 다시 복원하는 방식으로 작동합니다. 이는 데이터의 중요한 특징을 학습해 데이터를 압축하거나 노이즈 제거와 같은 응용에 사용할 수 있습니다.구조오토인코더는 크게 두 가지 주요 부분으로 구성됩니다: 인코더(Encoder) -> 인코더는 입력 데이터를 더 작은 차원으로 축소하는 역할을 합니다. 인코더는 일반적으..

Attention Mechanism간단히 말해 자연어 처리와 같은 분야에서 많이 사용되는 기법으로, 주어진 입력에서 어떤 부분이 더 중요한지를 파악해 그 부분에 더 큰 가중치를 부여합니다. 이를 통해 모델이 중요한 정보에 더 집중할 수 있게 해 줍니다.어텐션 메커니즘에는 네가지 주요 요소들이 있습니다.1. Query(쿼리) -> 집중하고자 하는 대상을 의미합니다. 어떤 정보를 찾거나, 어떤 연관성을 평가하기 위한 '질문'이라고 생각할 수 있습니다. 예를 들어, 문장에서 특정 단어가 다른 단어들과 어떤 관계가 있는지 확인하고자 할 때, 쿼리가 그 기준이 됩니다. 2. Key(키) -> 키는 쿼리와 비교하여 유사도를 계산할 대상입니다. 즉, 쿼리가 무엇을 찾고자 할 때, 그 찾는 기준이 되는 요소입니다. 쿼..

3. self.conv2 = nn.Conv2d(32, 64, 3, padding=1)두 번째 합성곱 레이어(conv2)를 정의합니다. 입력 채널 수: 32 (첫 번째 레이어의 출력) 출력 채널 수: 64 커널 크기: 3x3 padding=1으로 인해 출력 크기를 유지합니다.4. self.fc1 = nn.Linear(64 * 8 * 8, 512)여기서 왜 8x8인지 설명드리겠습니다.이것은 대략 Conv2D와 MaxPool2D의 영향이라고 할 수 있습니다. CNN의 합성곱 연산(Convolution)과 풀링 연산(Pooling)을 거치면서 입력 이미지의 크기가 점점 줄어듭니다.일단, 우리가 처리하는 입력 이미지가 3채널(RGB)의 32x32 픽셀이라고 가정합니다. (입력 이미지 크기는 일반적으로 데이터셋에 ..