神马作文网GetNextToken
来源：学生作业帮助网 编辑：作业帮 时间：2024/11/20 01:06:03
token_source.getNextToken(),返回值是一个Token,
分词里面的吧,token_source可能是一个token的序列或者是stream,getNextToken就是取出序列中写一个元素.比如被分词串为servercrashedlastnight分词后串