Metaの大規模言語モデル「LLaMa」に入力した文章がどのようなトークンとして認識しているかを確認できる「LLaMA-Tokenizer」 http://okane.robots.jp/2023/06/14/meta%e3%81%ae%e5%a4%a7%e8%a6%8f%e6%a8%a1%e8%a8%80%e8%aa%9e%e3%83%a2%e3%83%87%e3%83%ab%e3%80%8cllama%e3%80%8d%e3%81%ab%e5%85%a5%e5%8a%9b%e3%81%97%e3%81%9f%e6%96%87%e7%ab%a0%e3%81%8c%e3%81%a9%e3%81%ae/