NLP暑期实习面试记录

面经 字节一面凉经：

1. 二分类的损失函数是什么，怎么算？
2. 多分类的损失函数怎么算？
3. 如果文本分类的标签有多个，比如一个文本同时属于多个label那怎么办？
4. 如果文本分类里面的有的数据就是错的，label标注就是错的，应该怎么clean
5. 简述一下lstm的结构
6. lstm的每个cell之间怎么传的，是怎么算的
7. Layer norm怎么做的？详细说一下，可以举例子
8. Layer norm和Batch norm的区别
9. multi-head多头的作用是什么？
10. multi-head与单头相比，哪个参数会更多
11. 加入一个全连接神经网络，权重参数初始化全部为1的话，会怎么样，最开始的输入层会有什么问题吗，隐层呢？
12. BERT的输入输出
13. 假如让你做一个开放式的文本分类任务，你应该从特征工程，模型构建，预测各个阶段具体怎么做？
14. 介绍自己做的工作
    算法题，

• 两数之和，返回列表中所有满足和为target的下标二元组，输入数据会有重复数字
• 正则表达式，匹配【space】【char】*3之后的数字
• 如’ abc1236 abcd124 abn12368‘ 返回[1236，12368]
  已凉

百度一面

1. malloc和new的区别?
2. lamda和map
3. 合并两个python数组，有几种方法，从内存的角度说
4. linux基本命令，把一整个目录的文件复制到其他目录下
5. shell基本命令，如果一个文件，有很多行，选出出现abc的所有行
6. transformer的优缺点？对比CNN和RNN

算法题：

• 旋转数组中查找一个数字target（二分）
• 二叉树后序遍历

百度二面

先算法题：

1. 最长公共子序列，返回序列
2. 问答：发报器敲击发出0和1的概率不同，请问怎么封装使得可以出现0和1的概率相同？
   做完开始问
3. transformer的优点缺点？
4. 场景题：如果让你对40亿url中选择出现重复次数最高的10条，要怎么做？
5. url数据太大，怎么解决内存问题。
6. 介绍工作
7. BERT的预训练任务，输入输出
8. self-attention怎么算的，后面具体细节

百度三面

1. 自我介绍
2. 介绍项目
3. 遇到过最难的问题，怎么解决的？
4. 场景题：比如现在有微博的评论，问你怎么检测其中违规的不良言论。