tokenizes

例句

释义:

全部全部

类别:全部全部,口语口语,书面语书面语,标题标题,技术技术

来源:全部全部,字典字典,网络网络

难度:全部全部,简单简单,中等中等,难难

更多例句筛选

收起例句筛选

1.

Recall that this script simply tokenizes the input to key -value pairs , where each value will be 1 (non-unique input ).

回想此脚本简单地将输入标记到键值对，此处每个值都将是 1 （非惟一输入）。

3.

This script takes textual input from stdin , tokenizes it , and then emits a set of key-value pairs to stdout .

此脚本从 stdin 提取文本输入，首先标记它，然后将一系列键值对发送到 stdout 。

4.

A word breaker tokenizes the text being indexed on word boundaries .

将使用断字符、基于词的边界对要索引的文本进行标记化。

technet.microsoft.com