[개발일지] T5 학습시키기(2) - tokenizer 만들기 (bpe, byte pair encoding)

데이터를 확보했다면 두번째로 할 일은 문장을 나타낼 tokenizer를 만드는 것이다.

tokenizer는 자연어를 벡터를 나타내주기 위한 용도인데,

ㄱ = 0, ㄴ = 1 이런식으로 char를 idx 하나에 매핑할 수도 있고,

나는 밥을 먹었다. 에서

나는 = 0, 밥을 = 1, 먹었다 = 2 이런식으로 띄어쓰기나 단어를 기준으로 매핑할 수도 있다, (BoW, Bag of Words)

T5에서는 bpe 방식으로 tokenizer를 만든다.

 

bpe, byte pair encoding에 대한 자세한 내용은

https://wikidocs.net/22592

위키독스

위 링크를 참고하자.

 

구글에서 sentencepiece라는 라이브러리를 통해 tokenizer를 손쉽게 만들 수 있게 하고 있다.

https://github.com/google/sentencepiece

google/sentencepiece

 

pip install sentencepiece

pip 로 간단하게 설치해주고 실행해주자.

실행 방법에 대해선 위 github이나

 

https://paul-hyun.github.io/vocab-with-sentencepiece/

Sentencepiece를 활용해 Vocab 만들기

위 블로그를 참고하자.