---
name: Tokenization
type: Concept
description: >-
  Процесс разбиения текста на токены (слова, части слов или символы), которые
  модель может обрабатывать.
relatedPosts:
  - what-is-llm-guide-2025
mentionedIn:
  - what-is-llm-guide-2025
---
**Tokenization** - это этап предобработки, на котором текст превращается в последовательность токенов с числовыми идентификаторами. От выбранного токенизатора зависят длина контекста, стоимость инференса и качество работы модели на разных языках.