이전 글에서 우리는 LLM이 이렇게 작동한다는 것을 배웠습니다.
👉 문장을 나누고
👉 확률을 계산하고
👉 단어를 이어 붙인다
그렇다면 여기서 이런 질문이 생깁니다.
👉 “LLM은 문장을 어떻게 나누는 걸까?”
이번 글에서는 그 핵심 개념인 **토큰(Token)**을 이야기로 풀어보겠습니다.
📌 사람과 AI의 차이
먼저 아주 간단한 문장을 하나 보겠습니다.
👉 “나는 오늘 커피를 마셨다”
사람은 이 문장을 이렇게 이해합니다.
- 의미를 한 번에 파악
- 문맥을 자연스럽게 이해
하지만 LLM은 다르게 접근합니다.
👉 문장을 잘게 나눕니다.
📌 LLM이 보는 세상
LLM은 문장을 이렇게 쪼갭니다.
- 나는
- 오늘
- 커피를
- 마셨다
👉 이렇게 나눠진 단위를 **토큰(Token)**이라고 합니다.
📌 토큰은 꼭 ‘단어’일까?
여기서 중요한 포인트가 있습니다.
👉 토큰은 항상 단어가 아닙니다.
경우에 따라 이렇게 나뉠 수도 있습니다.
- 커피
- 를
또는 영어에서는:
- play
- ing
👉 이렇게 더 작은 단위로 쪼개지기도 합니다.
📌 왜 이렇게 나눌까?
이유는 단순합니다.
👉 더 잘 이해하기 위해서입니다
문장을 잘게 나누면:
- 패턴을 찾기 쉬워지고
- 학습이 효율적이며
- 다양한 표현을 처리할 수 있습니다
📌 토큰이 중요한 이유
토큰은 LLM에서 매우 중요한 개념입니다.
왜냐하면:
👉 LLM은 토큰 단위로 생각하고 계산하기 때문입니다
즉:
- 입력도 토큰
- 처리도 토큰
- 출력도 토큰
👉 모든 과정이 토큰 중심으로 이루어집니다.
📌 우리가 질문할 때 일어나는 일
예를 들어 우리가 이렇게 입력합니다.
👉 “오늘 날씨 어때?”
이 문장은 내부적으로 이렇게 변합니다.
- 오늘
- 날씨
- 어때
이 토큰들을 기반으로
LLM은 답변을 생성하기 시작합니다.
📌 토큰 수가 중요한 이유
여기서 한 가지 더 중요한 개념이 있습니다.
👉 “토큰 수”
토큰 수는 다음에 영향을 줍니다.
- 얼마나 긴 글을 처리할 수 있는지
- 얼마나 많은 내용을 기억할 수 있는지
- 비용 (API 사용 시)
👉 그래서 토큰은 성능과 직접 연결됩니다.
📌 쉽게 이해하는 비유
토큰을 이렇게 생각해보면 쉽습니다.
👉 “문장을 만드는 레고 블록”
- 블록 하나 = 토큰
- 블록을 이어 붙이면 = 문장
👉 LLM은 이 블록을 조합해서 글을 만듭니다.
📌 오늘 이야기의 핵심
👉 토큰은
**“LLM이 문장을 이해하고 처리하는 기본 단위”**입니다.
📌 마무리
이제 우리는 LLM이 문장을 어떻게 나누는지 이해했습니다.
사람은 문장을 한 번에 이해하지만,
LLM은 토큰이라는 작은 단위로 나눠서 처리합니다.
이 차이를 이해하는 것이 매우 중요합니다.
다음 글에서는
👉 파라미터(Parameter)는 무엇인지, AI의 ‘기억력’ 이야기를 이어서 풀어보겠습니다.
0 댓글
자유롭게 질문해주세요.
단, 광고성 댓글 및 비방은 사전 통보 없이 삭제됩니다.