Attention Mechanism간단히 말해 자연어 처리와 같은 분야에서 많이 사용되는 기법으로, 주어진 입력에서 어떤 부분이 더 중요한지를 파악해 그 부분에 더 큰 가중치를 부여합니다. 이를 통해 모델이 중요한 정보에 더 집중할 수 있게 해 줍니다.어텐션 메커니즘에는 네가지 주요 요소들이 있습니다.1. Query(쿼리) -> 집중하고자 하는 대상을 의미합니다. 어떤 정보를 찾거나, 어떤 연관성을 평가하기 위한 '질문'이라고 생각할 수 있습니다. 예를 들어, 문장에서 특정 단어가 다른 단어들과 어떤 관계가 있는지 확인하고자 할 때, 쿼리가 그 기준이 됩니다. 2. Key(키) -> 키는 쿼리와 비교하여 유사도를 계산할 대상입니다. 즉, 쿼리가 무엇을 찾고자 할 때, 그 찾는 기준이 되는 요소입니다. 쿼..
