AI 简历
简历模板
简历范文
模拟面试
求职导师
校招
求职攻略
大学生求职地图
求职攻略文章
浏览器插件
关于我们
我要招人
登录
登录
AI 简历
简历模板
简历范文
模拟面试
求职导师
校招
求职攻略
大学生求职地图
求职攻略文章
浏览器插件
关于我们
我要招人
首页
面试题库
百度面试题
请实现一个Tokenizer,要求能正确切分输入…
百度面试题
更新 2026-08-05
请实现一个Tokenizer,要求能正确切分输入文本。
字节跳动
百度
人工智能
互联网/IT
专业服务
编码实现
问题拆解
技术原理
考察说明
考察对文本切分逻辑、边界处理和数据结构的掌握
回答思路
能说明Tokenizer的基本职责和输入输出
考虑空白、标点、数字、多语言等边界情况
实现代码清晰、可扩展,并有适当注释
换一题
上一题
Vite为什么比Webpack快?
下一题
MySQL的事务隔离级别有哪些?在可重复读(RR)隔离级别下是如何解决幻读问题的?
本题还出现在
专业服务行业面试题
互联网/IT行业面试题
字节跳动面试题
人工智能面试题