tokenizer

词形变化

tokenizers 复数 tokenizers

别名

tokeniser

释义与例句

n.
  1. 1.

    A system that parses an input stream into its component tokens.

    计算机 工程 数学

词源

From tokenize + -er.

来源：wiktionary