[펌글] 트랜스포머의 하이파라미터, 포지셔널 인코딩, 입력 이해

 요즘 CV 관련 논문을 공부 하고 있습니다. 이 글은 나중에 찾아보기 위한 기록용 글입니다. 포지셔널 인코딩에 대한 이해를 위해서 관련 글이 있는 링크를 저장 하여 기록 합니다.

 

포지셔널 인코딩(Positional Encoding)

트랜스포머의 내부를 이해하기 위해서는 트랜스포머의 입력에 대해 알아야 합니다. RNN이 자연어 처리에 유용했던 이유는 단어의 위치에 따라 단어를 순차적으로 입력받아서 처리하는 RNN의 특성으로 각 단어의 위치 정보(position information)를 가질 수 있다는 점에 있었습니다.

하지만 트랜스포머는 단어 입력을 순차적으로 받는 방식이 아닙니다. 단어의 위치 정보를 다른 방식으로 알려줄 필요가 있었고, 트랜스포머는 단어의 위치 정보를 얻기 위해서 각 단어의 임베딩 벡터에 위치 정보들을 더하여 모델의 입력으로 사용하는데, 이를 포지셔널 인코딩이라고 합니다.

 

 출처: https://velog.io/@cha-suyeon/%ED%8A%B8%EB%9E%9C%EC%8A%A4%ED%8F%AC%EB%A8%B8%EC%9D%98-%EC%9E%85%EB%A0%A5-%EC%9D%B4%ED%95%B4

트랜스포머의 하이파라미터, 포지셔널 인코딩, 입력 이해