tokenize

发音

US /ˈtoʊ.kən.aɪz/

词形变化

tokenized tokenizes 三单 tokenizes tokenizing tokenizing 现在分词 tokenized 过去式 tokenized 过去分词

别名

tokenise

释义与例句

v.
  1. 1.

    To reduce to a token or set of tokens by lexical analysis.

    及物 计算机 工程 数学
  2. 2.

    To substitute sensitive data with meaningless placeholders.

    及物 计算机 工程 数学
  3. 3.

    To treat as a token minority.

    及物

词源

From token + -ize.

来源：wiktionary