주로 자연어 처리(NLP)와 머신러닝(ML)에서 사용되는 오픈 소스 플랫폼으로, 다양한 언어 모델과 데이터셋을 제공하며 특히 Transformer 기반 모델의 개발 및 배포에 특화되어 있습니다.
주요 특징
Transformers 라이브러리: Hugging Face의 대표 라이브러리로, BERT, GPT, RoBERTa, T5와 같은 다양한 사전 학습된 모델을 쉽게 불러와 사용할 수 있습니다. 이 라이브러리는 대규모 사전 학습 모델을 통해 NLP 과제를 해결할 수 있도록 도와주며, 많은 NLP 작업을 위한 고도로 최적화된 코드를 제공합니다.
데이터셋(Datasets) 라이브러리: 수천 개의 공개 데이터셋을 포함하고 있어 NLP 연구와 모델 학습에 필수적인 데이터를 쉽게 탐색하고 로드할 수 있습니다. 이 라이브러리는 대용량 데이터셋도 효율적으로 다룰 수 있도록 설계되어 있으며, 데이터 전처리 작업을 크게 간소화합니다.
Gradio와 Streamlit 통합: 모델 시연과 웹 애플리케이션을 만들 수 있는 도구로, 개발자가 자신의 모델을 사용자에게 직접 보여줄 수 있게 해줍니다. 이를 통해 연구용 모델을 상호작용 가능한 형태로 시연하는 데 유용합니다.
장점
다양한 사전 학습 모델 지원: Hugging Face는 가장 인기 있고 최신의 NLP 모델들을 쉽게 사용할 수 있도록 지원합니다. 이로 인해 연구자와 개발자들은 모델 학습에 드는 시간과 리소스를 줄이고, 기존의 고성능 모델을 활용하여 다양한 작업을 빠르게 시도해볼 수 있습니다.
쉬운 사용법과 직관적 인터페이스: PyTorch나 TensorFlow와의 연동이 매우 간편하며, Transformer 모델을 불러와 간단하게 Fine-tuning을 하거나 Inference를 수행할 수 있습니다. 특히 Hugging Face는 코드가 직관적이어서 복잡한 모델 개발을 처음 접하는 사람도 쉽게 사용할 수 있습니다.
활발한 커뮤니티와 풍부한 리소스: 오픈 소스 커뮤니티가 활발하여, 모델과 데이터셋뿐만 아니라 다양한 튜토리얼, 문서화, 그리고 사용 예제가 많습니다. 초보자부터 전문가까지 모두에게 유용한 학습 자료와 코드를 쉽게 찾을 수 있습니다.
모델 및 데이터셋 관리 용이성: Hugging Face Hub를 통해 프로젝트에 필요한 다양한 모델과 데이터를 쉽게 검색하고 관리할 수 있어 협업 작업이 편리합니다. 데이터와 모델을 허브에 저장하고, 원하는 버전을 언제든지 불러와 사용할 수 있습니다.
단점
큰 모델의 높은 자원 요구: Transformer 기반 모델은 대규모 연산이 필요하므로 GPU나 TPU 같은 고성능 컴퓨팅 자원이 요구됩니다. 특히 BERT, GPT-3 같은 대규모 모델은 메모리 사용량이 매우 크기 때문에, 적절한 하드웨어가 없는 경우 모델 실행에 어려움이 있을 수 있습니다.
비용 문제: Inference API의 무료 사용량이 제한적이므로, 추가적인 비용이 발생할 수 있습니다.
모델 커스터마이징의 제한: 사전 학습 모델을 쉽게 사용할 수 있지만, 각 모델은 특정 용도와 데이터에 최적화되어 있으므로 따로 다른 파인 튜닝이나, 혹은 커스터마이징이 필요할 수 있습니다.
의존성 문제: Hugging Face의 라이브러리는 PyTorch나 TensorFlow 같은 프레임워크에 의존하므로, 특정 환경에서 버전 호환성 문제나 종속성 충돌이 발생할 수 있습니다.
예시 코드
import warnings
warnings.filterwarnings('ignore')
from transformers import GPT2Tokenizer, GPT2LMHeadModel
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')
text= "My name is Kevin"
encoded_input = tokenizer(text, return_tensors = 'pt')
encoded_input
output = model.generate(encoded_input['input_ids'], max_length = 50)
generated_text = tokenizer.decode(output[0], skip_special_tokens = True)
generated_text먼저,
이 코드의 순서는:
1. warnings 모듈을 사용해 경고 메시지를 무시합니다.
2. GPT-2 모델과 토크나이저(tokenizer)를 Hugging Face의 transformers 라이브러리에서 불러옵니다.
3. 예시 문장을 모델이 이해할 수 있는 형태로 토큰화합니다.
4. 모델이 토큰화된 입력을 바탕으로 이어지는 텍스트를 생성합니다.
5. 생성된 텍스트를 다시 사람이 읽을 수 있는 형식으로 디코딩합니다.
이제 하나하나 살펴보겠습니다.
import warnings:
warnings.filterwarnings('ignore'): warnings.filterwarnings('ignore')는 파이썬의 경고 시스템에서 특정 유형의 경고를 제어하고 필터링하는 기능을 제공합니다. Hugging Face 라이브러리를 사용할 때, 종종 여러 종류의 경고가 발생할 수 있는데, 이 코드는 그러한 경고 메시지로 인해 출력이 지저분해지는 것을 방지합니다. 여러 속성으로는,
1. action: 경고를 어떻게 처리할지 결정하는 문자열입니다. 그리고 action으로 받는 속성으로는:
1.1 'ignore': 경고를 표시하지 않고 무시합니다.
1.2 'error': 경고를 예외로 변환해 코드 실행을 중단시킵니다.
1.3 'always': 매번 경고를 출력합니다.
1.4 'default': 기본 설정에 따라 경고를 표시합니다.
1.5 'module': 같은 모듈에서 발생하는 경고는 한 번만 표시합니다.
1.6 'once': 동일한 코드 위치에서 발생하는 경고는 한 번만 표시합니다.
warnings.filterwarnings( action='ignore' # 경고 무시 )
2. message: 경고 메시지의 패턴을 정규 표현식으로 설정하여, 특정 경고 메시지에 대해 필터링할 수 있습니다.
message는 특정 경고 메시지에 대해 필터를 적용하고 싶을 때 사용합니다. 문자열로 패턴을 작성할 수 있으며, 정규 표현식을 통해 경고 메시지 내용의 일부만 일치해도 필터가 적용됩니다.
예를 들어 DeprecationWarning 중 "feature is deprecated"라는 경고 메시지만 무시하고 싶은 경우 message를 사용해 필터링할 수 있습니다.
import warnings warnings.filterwarnings( action='ignore', message='.*deprecated feature.*', # 'deprecated feature'가 포함된 경고만 무시 category=DeprecationWarning )예를 들어, 코드가 오래된 라이브러리를 사용해 DeprecationWarning을 계속 발생시키는 경우, 해당 경고만 무시해 경고 메시지로 인해 로그가 과도하게 길어지는 것을 방지할 수 있습니다.
3. category: 경고의 유형을 지정합니다. 일반적으로 Warning의 서브클래스 중 하나가 들어가며, 예를 들어 DeprecationWarning, UserWarning, SyntaxWarning 등이 있습니다.
필터를 특정 경고 유형에만 적용합니다. 경고는 파이썬 내장 Warning 클래스의 서브클래스로 구분되며, 대표적인 경고 유형은 아래와 같습니다:
UserWarning: 사용자 정의 경고.
DeprecationWarning: 지원 중단 예정 기능에 대한 경고.
SyntaxWarning: 문법 관련 경고.
RuntimeWarning: 실행 시 예상치 못한 상황에 대한 경고.
warnings.filterwarnings( action='ignore', category=DeprecationWarning # DeprecationWarning만 무시 )외부 라이브러리에서 발생하는 경고를 무시하면서, 프로젝트 내 코드의 경고는 그대로 보이게 하고 싶을 때 유용합니다. 예를 들어 pandas 모듈에서만 발생하는 경고를 무시하고 싶다면, module='pandas'로 필터링할 수 있습니다.
4. module: 필터를 적용할 모듈의 이름을 정규 표현식 패턴으로 지정합니다. 이 패턴에 일치하는 모듈에서 발생하는 경고에만 필터가 적용됩니다.
warnings.filterwarnings( action='ignore', module='my_module' # my_module에서 발생하는 경고만 무시 )외부 라이브러리에서 발생하는 경고를 무시하면서, 프로젝트 내 코드의 경고는 그대로 보이게 하고 싶을 때 유용합니다. 예를 들어 pandas 모듈에서만 발생하는 경고를 무시하고 싶다면, module='pandas'로 필터링할 수 있습니다.
5. lineno: 필터를 특정 코드 줄에 한정해 적용할 수 있습니다. 이 줄 번호에 해당하는 경고만 필터링합니다. 모든 줄에 대해 적용하려면 0을 사용합니다.
warnings.filterwarnings( action='ignore', category=DeprecationWarning, lineno=42 # 42번 줄에서 발생하는 DeprecationWarning만 무시 )전체 모듈에 경고 필터를 적용할 필요가 없을 때, 특정 줄의 경고만 무시하고 싶을 때 사용합니다. 예를 들어, 오래된 라이브러리의 특정 함수 호출이 있는 줄에서만 DeprecationWarning을 무시하고 싶을 때 유용합니다.
6. append: 기본값은 False이며, True로 설정 시 새로운 필터를 기존 필터 뒤에 추가합니다. False일 경우 해당 설정을 최우선 필터로 추가합니다.
warnings.filterwarnings( action='ignore', category=DeprecationWarning, append=True # 기존 필터 뒤에 새로운 필터 추가 )
이미 적용된 필터가 있는데, 이 필터가 먼저 적용되고 추가적으로 필터를 설정하고 싶을 때 사용합니다. 예를 들어 기존에 필터링하지 않던 새로운 경고 유형만 추가하고 싶다면, append=True로 설정해 현재 설정을 유지하면서 새로운 필터를 적용할 수 있습니다.
from transformers import GPT2Tokenizer, GPT2LMHeadModelfrom transformers import GPT2Tokenizer, GPT2LMHeadModel: Hugging Face transformers 라이브러리에서 GPT2Tokenizer와 GPT2LMHeadModel 클래스를 불러옵니다.
GPT2Tokenizer: 텍스트 데이터를 GPT-2 모델이 이해할 수 있는 숫자 토큰으로 변환해주는 클래스입니다.
GPT2LMHeadModel: 사전 학습된 GPT-2 언어 모델입니다. LMHeadModel은 언어 모델의 최종 단계 (output layer)에서 다음 단어를 예측하는 구조를 의미합니다.
여기서 LMHeadModel은 언어 모델의 "헤드" (output layer)를 의미하며, 텍스트 생성을 위한 다음 단어 예측 기능을 수행합니다.
이 모델은 사전 학습된 파라미터를 기반으로 텍스트를 예측합니다.
tokenizer = GPT2Tokenizer.from_pretrained('gpt2') model = GPT2LMHeadModel.from_pretrained('gpt2')tokenizer = GPT2Tokenizer.from_pretrained('gpt2'): 사전 학습된 GPT-2 토크나이저를 불러옵니다.
GPT2Tokenizer.from_pretrained('gpt2'): 'gpt2'라는 이름으로 사전 학습된 토크나이저를 Hugging Face에서 다운로드합니다.
Hugging Face는 from_pretrained 메서드를 통해 다양한 사전 학습 모델과 토크나이저를 쉽게 불러올 수 있게 해줍니다.
tokenizer 변수는 이후 텍스트를 토큰화할 때 사용됩니다. 텍스트를 숫자로 변환하는 것은 모델이 텍스트의 문맥을 이해할 수 있도록 하는 중요한 과정입니다.
model = GPT2LMHeadModel.from_pretrained('gpt2'): 사전 학습된 GPT-2 언어 모델을 불러옵니다.
GPT2LMHeadModel.from_pretrained('gpt2'): 'gpt2'라는 이름의 사전 학습된 GPT-2 모델을 Hugging Face에서 불러옵니다.
GPT-2 모델은 자연어 생성 작업에 특화되어 있으며, 텍스트의 다음 단어를 예측하는 언어 모델입니다. 이 모델은 사전 학습된 파라미터를 통해 방대한 양의 텍스트 데이터를 학습하였으며, 이를 바탕으로 텍스트를 이해하고 생성하는 능력을 갖추고 있습니다.
여기서 from_pretrained는 Hugging Face의 Transformers 라이브러리에서 사전 학습된 모델이나 토크나이저를 불러오는 메서드입니다. 이 메서드는 이미 학습된 파라미터와 구성을 로드하여, 모델을 처음부터 학습하지 않고 바로 사용할 수 있게 해줍니다.
text= "My name is Kevin" encoded_input = tokenizer(text, return_tensors = 'pt')여기서 tokenizer는 text를 입력받아 텍스트를 토큰화하고, 모델이 처리할 수 있는 텐서 형태로 변환해 줍니다.
tokenizer의 기본 메서드는 텍스트를 입력받아 토큰화를 수행하며, 다양한 인수를 통해 출력 형식과 세부 동작을 조정할 수 있습니다. 여기서 사용된 인수는 다음과 같습니다:
text: 토큰화할 텍스트 문자열
텍스트 문자열로, 사전 학습된 토크나이저가 이 텍스트를 모델이 이해할 수 있는 입력 형식으로 변환합니다. 입력 텍스트는 단일 문장일 수도 있고, 여러 문장을 포함할 수도 있습니다.
예를 들어, "My name is Kevin"이 입력되면, GPT2Tokenizer는 이를 사전에 정의된 단어 사전을 사용해 각 단어와 부분 단어를 특정 토큰 ID로 변환합니다.
return_tensors: 반환할 텐서 형식
이 인수는 토큰화된 출력의 데이터 형식을 지정합니다. 'pt', 'tf', 또는 'np' 값을 설정할 수 있으며, 각각 PyTorch, TensorFlow, NumPy의 텐서로 반환됩니다.
예시:
'pt': PyTorch 텐서로 반환합니다.
'tf': TensorFlow 텐서로 반환합니다.
'np': NumPy 배열로 반환합니다.
의미: 모델의 학습이나 추론에서 입력으로 사용할 수 있는 텐서 형태로 변환되어, 이를 통해 모델과의 호환성을 확보할 수 있습니다.
예를 들어, return_tensors='pt'로 설정하면, 토큰화된 데이터가 PyTorch 텐서 형식으로 반환됩니다.
여기서 text, return_tensors말고 다른 속성이 있습니다.
1. padding: 입력을 일정한 길이로 맞추기 위해 패딩을 추가하는 옵션입니다.
True: 모델의 기본 최대 길이에 맞춰 패딩을 추가합니다.
'max_length': max_length로 설정된 길이에 맞춰 패딩합니다.
False: 패딩하지 않습니다.tokenizer(text, padding=True)참고로 여기서 패딩이란,
패딩은 길이가 다른 시퀀스들을 같은 길이로 맞추기 위해 사용되는 방법입니다. NLP에서는 문장마다 단어 수가 다 다를 수 있는데, 모델이 입력으로 받을 때는 시퀀스의 길이가 같아야 하는 경우가 많습니다.
예를 들어, 문장 1이 "Hello, how are you?"가, [15496, 11, 703, 389]으로 변환이 되면 길이가 4입니다. 그리고 문장 2에서는, "Good morning!"가 [464, 832]으로, 길이가 2입니다.
이 두 시퀀스의 길이가 다르면 모델이 제대로 처리하기 어렵습니다. 그래서 짧은 시퀀스(예: [464, 832] 뒤에 패딩 토큰을 추가해 길이를 맞춥니다. 이때 사용하는 특수 토큰을 패딩 토큰이라고 부르며, 보통 0이나 [PAD]로 표시합니다. 패딩을 진행하면, 문장 1은 [15496, 11, 703, 389]로 길이가 4인것은 똑같지만, 문장 2는 [464, 832, 0, 0]로, 길이가 4로 변하며, 0이 패딩 토큰입니다.
2. truncation: 입력 텍스트가 너무 길 경우 자르는 옵션입니다.
True: 모델이 허용하는 최대 길이 또는 max_length에 맞춰 잘라냅니다.
False: 잘라내지 않습니다.tokenizer(text, truncation=True)
3. max_length: 토큰화된 결과의 최대 길이를 설정합니다.
설정한 길이를 초과할 경우, truncation=True일 때 잘라냅니다.
예를 들어, max_length=10으로 설정하면 최대 10개의 토큰으로 제한됩니다.
4. add_special_tokens: 특수 토큰 추가 여부를 결정합니다.
True: 문장의 시작 및 끝에 필요한 특수 토큰을 추가합니다 (예: [CLS], [SEP]).
False: 특수 토큰을 추가하지 않습니다.
예를 들어, 문장 분류에서 [CLS]와 [SEP] 토큰을 추가할 수 있습니다.
5. return_token_type_ids: 토큰 유형 ID를 반환할지 여부입니다.
True: token_type_ids(문장 구분을 위해 각 토큰에 할당되는 ID)를 반환합니다.tokenizer(text, return_token_type_ids=True)
6. return_attention_mask: 어텐션 마스크를 반환할지 여부를 결정합니다.
True: attention_mask(마스킹 정보)를 반환해, 패딩된 부분은 모델이 무시하게 합니다.tokenizer(text, return_attention_mask=True)
7. return_length: 각 입력의 토큰 길이를 반환할지 여부를 설정합니다.
True로 설정 시 각 입력의 길이를 length 필드에 포함하여 반환합니다.tokenizer(text, return_length=True)
8. return_offsets_mapping: 원본 텍스트에서 각 토큰의 위치를 반환합니다.
True로 설정 시, 각 토큰이 원본 텍스트의 어느 위치에 해당하는지 오프셋 정보를 반환합니다.
예를 들어, NER(이름 인식 엔티티)(지금은 몰라도 될 듯....합니다..?)태스크 등에서 원본 텍스트와 토큰 위치를 맞추기 위해 사용됩니다.
9. verbose: 경고 메시지의 출력 여부를 설정합니다.
True: 경고를 출력합니다.
False: 경고를 출력하지 않습니다.
10. stride: 긴 텍스트를 잘라내는 경우, 중복되는 길이를 지정합니다.
긴 텍스트를 슬라이딩 윈도우처럼 자르며 일정 길이만큼 중복을 두고 잘라낼 때 사용합니다.
전부를 표현하면,tokenizer(text, padding='max_length', truncation=True, max_length=20, add_special_tokens=True, return_attention_mask=True, return_token_type_ids=True)
output = model.generate(encoded_input['input_ids'], max_length = 50)model.generate()는 주어진 입력으로부터 텍스트를 생성하는 함수로, 주로 텍스트 생성 모델(예: GPT-2)에서 사용됩니다. 이 함수는 입력 토큰 시퀀스를 기반으로 후속 토큰을 예측하며, 문장을 자동으로 이어가는 역할을 합니다.
generate 메서드는 모델이 주어진 입력에 이어서 확장된 텍스트를 생성하게 합니다.(즉, 앞을 예측할 텍스트 생성)
그렇기에 generate()의 주요 속성들로는,
1. input_ids: 토큰화된 입력 텐서
모델에 입력할 시퀀스의 토큰 ID 텐서입니다. 예를 들어, encoded_input['input_ids']처럼 사전 토큰화된 입력 데이터를 사용합니다.
참고로 여기서 시퀀스란, 말 그대로 "순서가 있는 데이터의 나열"입니다. NLP(자연어 처리)에서는 텍스트를 처리할 때 문장이나 단어들의 나열을 시퀀스라고 부릅니다. 예를 들어, "Hello, how are you?"라는 문장을 토큰화해서 숫자 로 바꾸면 [15496, 11, 703, 389] 같은 숫자의 나열이 됩니다. 여기서 [15496, 11, 703, 389]가 시퀀스입니다.
2. max_length: 생성할 텍스트의 최대 길이
생성된 텍스트의 최대 토큰 길이를 설정합니다. 예를 들어 max_length=50으로 설정하면, 입력과 생성된 텍스트를 포함하여 최대 50개의 토큰까지만 생성됩니다.model.generate(encoded_input['input_ids'], max_length=50)
3. do_sample: 샘플링 사용 여부
True: 다음 토큰을 확률적으로 샘플링해 예측합니다. 주로 창의적인 텍스트 생성 시 사용됩니다.
False: 확률이 가장 높은 토큰을 선택합니다(그리디 탐색). 확정적이고 덜 창의적인 답변을 원할 때 사용됩니다.
4. temperature: 생성의 창의성 조정
temperature 값이 높을수록 모델이 덜 확실한 선택을 하여 다양한 답변을 생성하게 합니다. 낮을수록 더 확실한 답변을 생성합니다.model.generate(encoded_input['input_ids'], do_sample=True, temperature=0.7)
5. top_k: k개의 후보 중에서만 선택
다음 토큰을 생성할 때, 확률이 높은 상위 k개 토큰 중에서 선택합니다. 높은 k값은 더 다양한 선택지를 주어 창의성을 높입니다.
예를 들어 top_k=50으로 설정하면 상위 50개 토큰 중 하나를 샘플링합니다.
6. top_p (또는 nucleus 샘플링): 누적 확률 기반 선택
top_p는 확률이 높은 토큰을 누적 확률이 p가 될 때까지 정렬하여, 그 범위 안에서 토큰을 샘플링합니다. 예를 들어 top_p=0.9로 설정하면, 누적 확률이 90% 이상인 토큰 중 하나가 선택됩니다.model.generate(encoded_input['input_ids'], do_sample=True, top_p=0.9)
7. num_return_sequences: 생성할 텍스트 시퀀스 개수
설정된 개수만큼 다양한 텍스트 시퀀스를 생성합니다. 예를 들어 num_return_sequences=3으로 설정하면 입력에 대해 3개의 결과가 생성됩니다.model.generate(encoded_input['input_ids'], num_return_sequences=3)
8. repetition_penalty: 반복 억제 패널티
반복적인 단어나 문구의 생성을 억제하는 옵션으로, 특정 토큰을 반복 생성할 경우 패널티를 주어 같은 토큰을 여러 번 반복하지 않게 합니다.
9. early_stopping: 조기 종료
True로 설정 시, EOS(End Of Sentence) 토큰을 만나면 즉시 생성을 멈춥니다.
10. bad_words_ids: 포함되지 않아야 하는 토큰 ID 목록
생성 시 피해야 할 토큰이나 단어의 ID 목록을 설정하여, 생성 결과에 특정 단어가 포함되지 않게 할 수 있습니다.
encoded_input['input_ids']는 tokenizer가 텍스트를 토큰화한 후 반환한 토큰 ID들의 텐서입니다. 이를 통해 원본 텍스트를 모델이 이해할 수 있는 숫자 형태로 변환한 것입니다. 여기서 input_ids는 모델이 예측을 수행할 때 필요한 주요 입력 중 하나로 사용됩니다.
참고로 tokenizer가 처리한 값은 input_ids만이 아닙니다.
tokenizer가 텍스트를 처리한 결과는 input_ids 외에도 여러 가지 정보로 구성된 딕셔너리 형태로 반환됩니다. 이 정보는 모델이 입력을 더 잘 이해하고 처리할 수 있도록 도와줍니다. 주요 속성들은 다음과 같습니다:
1. input_ids
토큰화된 텍스트의 각 토큰이 매핑된 숫자 ID의 리스트입니다.
보통 모델에 입력으로 제공되어 텍스트 생성 또는 분류 작업 등에 사용됩니다.
2. attention_mask
입력 시퀀스에서 패딩된 부분을 나타내는 마스크입니다.
값이 1인 경우 해당 토큰이 실제 입력이며, 0인 경우 패딩 토큰입니다.
보통 모델이 패딩된 부분을 무시하도록 하여, 실제 입력에만 집중할 수 있게 합니다.
3. token_type_ids
두 개 이상의 문장이 주어질 때 각 문장의 구분을 나타내는 ID입니다.
첫 번째 문장은 0, 두 번째 문장은 1로 표시됩니다.
보통 문장 간의 관계를 모델이 이해할 수 있도록 도와줍니다. 주로 BERT와 같은 모델에서 사용됩니다.
4. length
입력 텍스트의 각 요소에 대해 생성된 토큰 수를 나타냅니다.
보통 특정 입력에 대해 몇 개의 토큰이 생성되었는지를 확인하는 데 유용합니다.
5. offset_mapping
원본 텍스트에서 각 토큰의 시작과 끝 위치를 나타내는 튜플의 리스트입니다.
각 튜플은 (시작 인덱스, 끝 인덱스)를 포함합니다.
보통 토큰이 원본 텍스트의 어떤 부분에 해당하는지를 알 수 있도록 하여, 예를 들어 NER(이름 인식 엔티티) 작업 시 유용하게 사용됩니다.
6. special_tokens_mask
입력 시퀀스에서 특수 토큰의 위치를 나타내는 마스크입니다.
특수 토큰의 위치는 1, 일반 토큰은 0으로 표시됩니다.
보통 모델이 특수 토큰을 어떻게 처리해야 할지 이해하는 데 도움이 됩니다.
generated_text = tokenizer.decode(output[0], skip_special_tokens = True)
tokenizer.decode()는 숫자로 변환된 토큰 ID 시퀀스를 원래의 텍스트 형식으로 복원하는 함수입니다. 이 함수는 토큰화 과정에서 숫자로 바뀐 ID들을 다시 텍스트로 변환해 사람이 읽을 수 있는 형태로 만드는 역할을 합니다.
여기서 decode()의 속성으로는
1. skip_special_tokens: 특수 토큰을 제거할지 여부입니다. 특수 토큰에는 모델의 시작이나 종료를 나타내는 토큰이 포함될 수 있으며, 이를 제외하고 디코딩하도록 설정합니다. 이를 통해 보다 자연스러운 텍스트를 생성할 수 있습니다.
True로 설정하면 [CLS], [SEP], [PAD] 등과 같은 특수 토큰을 무시하고 텍스트로 변환합니다.
False로 설정하면 특수 토큰을 포함하여 복원된 텍스트를 반환합니다.tokenizer.decode(output[0], skip_special_tokens=True)
2. clean_up_tokenization_spaces: 불필요한 공백을 제거할지 여부
True로 설정하면, 복원된 텍스트에서 불필요한 공백을 정리하여 자연스러운 텍스트로 만듭니다.
False로 설정하면, 공백을 그대로 유지합니다.tokenizer.decode(output[0], clean_up_tokenization_spaces=True)
3. end_token: 특정 종료 토큰이 나올 때까지 텍스트를 디코딩할지 여부
모델이 텍스트를 생성할 때 특정 종료 토큰에서 멈추도록 지정할 수 있습니다. 예를 들어, end_token='[EOS]'처럼 지정하여 [EOS] 토큰이 나올 때 디코딩을 멈추게 할 수 있습니다.
이 기능은 사용 가능한 모든 토크나이저에 포함되지는 않으며, 일부에서만 활용할 수 있습니다.
참고로 output[0]인 이유는, num_return_sequences때문입니다. model.generate에서 만들어진 값들 중, num_return_sequence를 넣지 않으면 자동으로 기본값이 1이기 때문에, [0]을 통해 첫번째 값을 가져오는 것ㅇ비니다. (예를 들어 num_return_sequence를 3으로 지정하면, "어제 뭐 했어?"라는 질문에 대한 대답으로 "집에 있었어."라고도 할 수 있고, "영화를 봤어."라고도 할 수 있죠.) 그 3개의 답중 맨 첫번째 답을 가져온다는 얘기입니다.
그렇기에 decode에서 받는 속성으로는 skip_special_tokens, clean_up_tokenization_spaces, end_token이 있지만, output[0]은 decode 함수로 전달하는 데이터이지, decode 함수 자체의 속성이나 인자는 아닙니다. 즉, decode(output[0], skip_special_tokens=True)에서 output[0]은 디코딩할 텍스트 데이터일 뿐이며, decode 함수의 속성들은 이 데이터가 디코딩될 때 어떻게 처리될지를 결정해주는 역할을 합니다.
API
API(Application Programming Interface)는 애플리케이션 간에 데이터를 주고받는 통신 규약입니다. 인공지능 API는 AI 모델을 클라우드에서 호출해 사용할 수 있도록 제공하는 인터페이스로, 개발자는 복잡한 AI 모델을 직접 개발하지 않고도 손쉽게 인공지능 기능을 구현할 수 있습니다.
하지만 단점이 있습니다. Github를 이용해 코드를 만들면, 세세한 부분을 고쳐서 코드의 유연성이 높지만, API는 하나의 코드를 가져오기 때문에, 세세한 부분의 수정이 어렵습니다.
그리고 돈 내야하는 단점이...많은 인공지능 API 서비스 제공자(예: OpenAI, Google Cloud AI, AWS, Hugging Face 등)는 API 호출 시 인증을 위해 API 키를 사용합니다. API 키는 제공자의 웹사이트에서 계정을 생성한 후 발급받을 수 있습니다.
하지만 쓰는 방법만 알면 쓰기 정말 쉽다는 장점과, 빠르게 프로토타입을 생성 및 기능을 통합할 수 있으며, 그만큼 여러 API가 있기 때문에,
주로,
텍스트 생성: 주어진 텍스트의 맥락을 바탕으로 새로운 텍스트를 생성하는 데 사용할 수 있습니다.
번역: 언어 모델 API를 활용해 텍스트를 다른 언어로 번역할 수 있습니다.
자연어 처리 작업: 감정 분석, 개체명 인식, 요약 등 다양한 NLP 작업에 사용할 수 있습니다.
에 사용됩니다.
예시 코드를 한번 봅시다
import requests
# API 엔드포인트와 API 키 설정
api_key = "YOUR_API_KEY"
endpoint = "https://api.openai.com/v1/engines/davinci-codex/completions"
# 요청 데이터 준비
headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
}
data = {
"prompt": "Explain how artificial intelligence API works.",
"max_tokens": 100
}
# POST 요청 보내기
response = requests.post(endpoint, headers=headers, json=data)
# 응답 결과 확인
if response.status_code == 200:
result = response.json()
print("Generated Text:", result['choices'][0]['text'])
else:
print("Error:", response.status_code, response.text)설명은 나중에...
Transformer 구현
Transformer 모델은 2017년에 제안된 자연어 처리(NLP)에서 혁신적인 모델로, 기존의 순환 신경망(RNN)이나 LSTM 모델과 다르게 Self-Attention 메커니즘을 중심으로 동작하여, 긴 문맥을 더 효과적으로 처리할 수 있습니다. 주요 구성 요소는 인코더-디코더(Encoder-Decoder) 구조와 어텐션 메커니즘입니다.
Transformer 모델의 핵심 개념
Self-Attention 메커니즘
Self-Attention(또는 Scaled Dot-Product Attention)은 각 단어가 문장에서 다른 단어와 어떻게 연관되어 있는지를 계산합니다. 이를 통해 긴 문장에서도 중요한 단어와 그 관계를 파악할 수 있습니다.
Attention 값은 쿼리(Query), 키(Key), 밸류(Value)라는 세 가지 벡터를 통해 계산됩니다. 이를 통해 모델은 특정 단어에 집중하는 방법을 배웁니다.
멀티 헤드 어텐션 (Multi-Head Attention)
Self-Attention을 여러 번 병렬로 수행하여, 다양한 문맥 정보를 수집합니다. 이 과정을 통해 모델은 더 많은 관계를 학습할 수 있으며, 문장의 의미를 더 잘 이해할 수 있습니다.
인코더-디코더 구조
Transformer는 인코더와 디코더 두 부분으로 구성됩니다.
인코더는 입력 문장을 받으며 각 단어의 정보를 Self-Attention을 통해 표현합니다. 인코더는 여러 개의 층으로 구성되어 정보를 반복적으로 정제합니다.
디코더는 인코더가 생성한 정보를 사용하여 결과를 예측합니다. 디코더도 여러 층으로 구성되어 있으며, 이전에 생성된 출력과 인코더의 출력을 종합하여 최종 출력을 생성합니다.
포지셔널 인코딩 (Positional Encoding)
Transformer는 RNN처럼 단어의 순서를 고려하는 메커니즘이 없기 때문에, 단어의 위치 정보를 추가로 제공해야 합니다. 포지셔널 인코딩은 각 단어의 위치 정보를 더해줘서 순서에 따른 의미를 학습할 수 있도록 합니다.
그럼 이제 실습을 해보자.
import torch
import torch.nn as nn
import warnings
from torch.nn import Transformer
warnings.filterwarnings(action = 'ignore')
model = Transformer(d_model = 512, nhead = 8, num_encoder_layers = 6, num_decoder_layers = 6)먼저,
1. d_model (모델 차원)
d_model은 입력 단어 임베딩과 모델 내부에서 사용하는 벡터의 차원을 지정하는 매개변수입니다.
이 값을 512로 설정했다는 것은, 각 단어를 512차원의 벡터로 표현한다는 의미입니다. 모델 내부의 모든 층(예: 어텐션 층, 피드포워드 층)에서 사용되는 모든 벡터는 512차원으로 동일합니다.
일반적으로 큰 값을 사용할수록 모델이 학습할 수 있는 정보의 양이 많아지지만, 그만큼 연산 비용과 메모리 사용량도 증가합니다. 512는 Transformer에서 자주 사용하는 차원 수이며, 충분한 성능을 보장하면서도 효율적인 값을 제공합니다.
2. nhead (어텐션 헤드 수)
nhead는 멀티 헤드 어텐션에서 사용하는 헤드의 개수를 나타냅니다.
8개의 헤드를 사용한다는 의미는, Self-Attention을 병렬적으로 8번 수행하고 그 결과를 결합하여 최종 어텐션 결과로 사용한다는 뜻입니다.
멀티 헤드 어텐션을 사용하면 다양한 시각에서 문맥을 파악할 수 있어 모델이 더 많은 관계를 학습할 수 있습니다.
각 헤드는 d_model / nhead = 512 / 8 = 64 차원의 벡터를 사용합니다. 즉, 8개의 헤드를 각각 64차원에서 학습하도록 나누어 처리하는 방식으로, 계산 효율성과 성능을 모두 개선할 수 있습니다.
헤드 수가 많아지면 더욱 다양한 문맥 정보를 학습할 수 있지만, 연산량이 증가하기 때문에 과도한 헤드 수는 피해야 합니다. 일반적으로 8은 효과적인 값입니다.
3. num_encoder_layers (인코더 층 개수)
num_encoder_layers는 인코더 층의 개수를 지정하는 매개변수로, Transformer의 인코더에 몇 개의 층을 쌓을지 결정합니다.
여기서는 6으로 설정되어 있어, 인코더가 6개의 동일한 구조의 층을 갖는다는 뜻입니다.
각 인코더 층은 멀티 헤드 어텐션과 피드포워드 신경망 층으로 구성되며, 입력을 더 정교하게 처리해 나가면서 정보를 추출합니다.
인코더 층의 개수가 많아질수록 모델이 복잡한 패턴과 장기 의존성을 더 잘 학습할 수 있지만, 그만큼 연산량과 메모리 사용량이 증가합니다. 6은 기본 Transformer 논문에서도 사용된 설정으로, 성능과 효율성에서 우수한 결과를 보이는 값입니다.
4. num_decoder_layers (디코더 층 개수)
num_decoder_layers는 디코더 층의 개수를 지정하는 매개변수로, Transformer의 디코더에 몇 개의 층을 사용할지 결정합니다.
6으로 설정되어 있어, 디코더가 6개의 층을 쌓아 출력 시퀀스를 생성합니다.
각 디코더 층은 두 개의 멀티 헤드 어텐션(하나는 디코더의 Self-Attention, 다른 하나는 인코더에서 전달받은 정보를 처리하는 Cross-Attention)과 피드포워드 층으로 구성됩니다.
디코더 층의 개수 역시 성능과 밀접한 관련이 있습니다. 일반적으로 인코더와 디코더 층을 동일하게 설정하는 경우가 많으며, 6은 기본 Transformer에서 자주 사용되는 설정입니다.
근데 이렇게 계속 적다보면 문제가 발생할 수 있는 확률 UP!
그렇기 때문에 처음부터 AI 활용을 해보자.
import torch import torch.nn as nn import warnings from torch.nn import Transformer warnings.filterwarnings(action = 'ignore') !pip install sentencepiece sacremoses model = torch.hub.load('huggingface/pytorch-transformers', 'modelForCausalLM', 'gpt2') tokenizer = torch.hub.load('huggingface/pytorch-transformers', 'tokenizer', 'gpt2') input_text = 'Once upon a time' tokenized = tokenizer.encode(input_text, return_tensors = 'pt') output = model.generate(tokenized, max_length = 50, num_return_sequences = 1) tokenizer.decode(output[0], skip_special_token = True)torch.hub.load 함수
torch.hub.load는 PyTorch에서 모델, 데이터셋, 가중치를 손쉽게 로드할 수 있도록 지원하는 함수입니다.
이 함수는 GitHub 리포지토리에 등록된 모델을 로드해 오기 때문에, 이 코드에서 huggingface/pytorch-transformers라는 Hugging Face의 리포지토리를 사용해 모델과 토크나이저를 가져옵니다.
huggingface/pytorch-transformers
huggingface/pytorch-transformers는 Hugging Face에서 제공하는 Transformer 모델 라이브러리로, 다양한 자연어 처리 모델(GPT-2, BERT 등)을 쉽게 사용할 수 있도록 지원합니다. 이 라이브러리를 사용하면 별도의 코드 없이도 학습된 사전 훈련 모델을 로드해 활용할 수 있습니다.
'modelForCausalLM' (언어 모델을 위한 GPT-2)
modelForCausalLM은 Causal Language Model(인과적 언어 모델)로 텍스트를 생성하는 데 사용됩니다. GPT-2 모델은 이러한 언어 생성 작업에 적합한 모델입니다.
Causal Language Model은 주어진 텍스트를 기반으로 다음 단어를 순차적으로 예측하는 방식입니다. 따라서 이 모델을 통해 입력된 텍스트의 맥락을 기반으로 연속된 텍스트를 생성할 수 있습니다.
여기서는 'gpt2'라는 사전 훈련된 GPT-2 모델을 불러와서, 텍스트 생성이나 문장 완성 작업에 사용할 수 있습니다.
'tokenizer' (토크나이저 로드)
tokenizer는 텍스트 데이터를 모델이 이해할 수 있는 형태로 변환하는 도구입니다.
huggingface/pytorch-transformers의 'tokenizer'는 사전 훈련된 GPT-2 모델에 맞춘 토크나이저를 로드하여 텍스트를 토큰으로 분리하고, 해당 토큰을 모델이 처리할 수 있는 정수 ID로 변환합니다.
여기서 'gpt2' 토크나이저를 사용하면 GPT-2 모델에 최적화된 형태로 텍스트를 전처리할 수 있습니다. 이는 모델이 자연어 문장을 더 잘 이해하고 예측할 수 있게 도와줍니다.
나머지 밑 부분은 다 같다는 사실!!!!