Вот эквиваленты основных блоков NLP в компиляторах языка программирования:
• токенизатор — сканер, лексический анализатор;
• словарь — лексикон;
• синтаксический анализатор — компилятор;
• токен, терм, слово или n-грамма — токен, символ или терминальный символ.
Обработка естественного языка в действии
·
Лейн Хобсон
