トークナイザー

トークナイザーとは、AIが文章をトークンという単位に区切って理解する仕組みです。BPEやSentencePieceの考え方から、なぜ日本語は英語よりトークン数が多くなるのかまで、初心者向けにやさしく解説します。