面试官如何判断面试者的机器学习水平？

JamesB · 发表于 2021-7-6 14:16

或者，你遇到过的水平最高的机器学习面试是什么？

XGundam05 · 发表于 2021-7-6 14:24

作为一名新晋菜鸟面试官，最近替部门面了3、40个人(大多来自国内top5学校，包括校招社招)，小小总结下我的相人之术，希望能帮上大家

/* 先插个话，本题的答主中，有我非常膜拜的真大神，也有掉书袋的教条主义者，对后者，我有一言相劝

面试官的水平（而非面试者）决定了面试的上限，所以当面试者水平超过你时，承认被碾压、虚心接受就好，并适时向对方学习，而不是拿那些条条框框的应试题来恶心人

*/
----------------------
面试别人时，我主要遵循『两原则』和『三方面』
『两原则』指：

『三方面』包括：

----------------------
把三方面展开：

选择性提问

背书是没用的，这里任何一个点我都可以给你展开问下去

全部手敲

【代码能力】

遇到大神会认真学习一个哈哈

【项目能力】

最后，我会问面试者：『有没有我刚没问到、但你特别想分享的项目经历』。此问题是给面试者一个展现自我的机会，同时也是挖掘出之前遗漏的问题。

以上问题能答完美的，请私信我~

我向你学习哈哈

------------补充---------------

绝不是拿来push面试者制造权威

xiangtingsl · 发表于 2021-7-6 14:29

首先这个问题问的很广。机器学习方向很多，有些更偏重于传统的统计模型或者数据挖掘，而有些更倾向于深度学习。同理，相对应的岗位有些偏重理论也有些偏重实践。这些因素叠加造成了机器学习相关的岗位分布广，如数据分析师、算法工程师、机器学习科学家和数据科学家等，很难一概而论。
大概从实习生的时候就开始跟着老板招聘面试机器学习方向的候选人，参与了40个左右求职者的技术面试。其中有在读的研究生(实习生岗位)，也有已经工作了多年或者学术背景深厚的名校博士(相对高级的“科学家”岗位)。
不谈具体岗位的前提下，我想回答以下几个问题: 1.为什么要避免学科性的偏见 2. 如何测试面试者的知识广度 3. 怎样测试面试者的知识深度 4. 为何需要确认基本的编程和数据分析能力 5. 怎么提高机器学习面试成功率
<hr/>1. 避免学科间的偏见与歧视

机器学习作为一个交叉广度大，各学科融合深的学科，各种背景的面试者都有。我建议一定不要预设立场，无论是数学、统计、物理、计算机，或是其他学科的面试者都有独特的知识储备。比如机器学习其实和统计学习有很大部分是重叠的，甚至和优化(如运筹学)、数学(线代等)也有很多相关的地方。而不同领域的人对于同一件事情的描述可能是相似但不相同的，甚至连叫法都不同。举个简单的例子，统计学将变量叫做predictors而机器学习倾向于将其叫做feature(特征)。我听说过很多面试官就因为对方不能完全的使用他能听懂的术语就拒掉了候选人，我觉得这个是愚蠢的。
以我们团队为例，我的老板是统计学博士和教授(偏计量)，而我是纯粹的计算机科学出身。他喜欢用R来建模而我只擅长Python和C++。但正是这种差异性让我们可以更好的合作，他在无监督学习中很喜欢用各种密度分析(density estimation)或者对分布直接进行拟合，而我可以给他介绍很多机器学习方向比较流行的算法，比如Isolation Forests。同理，Python和R都有各自擅长的领域，比如Python做时序分析的难度就远远大于R，因为R有非常成熟的package。
因此，我们不要因为领域不同，叫法不同，编程语言不同，或者模型的解释思路不同就轻易的否定一个面试者。长此以往，我们的思路会越来越窄，而一定程度的包容能拓展思路。
2. 通过广度测试划定面试者的知识面

机器学习的项目一般都牵扯数据处理，建模，评估，可视化，和部署上线等一系列流程，我们希望面试者对于每个步骤都有最基本的了解。因为其范围很广，我们希望首先在短时间内了解一个面试者的知识范围。有很多基本但经典的问题可以用于了解面试者的素质，给出一些例子:

以如何处理缺失数据为例，可能的回答有：1. 分析缺失比例决定是否移除 2. 用均值，众数，回归代替 3. 用0代替等。比如深度学习是否比别的模型好，我们就期待面试者能说“分情况讨论”，若是能提到“没有免费的午餐定理”更是加分。在这个阶段，我们不会深入追问，仅想对面试人的知识范围有一个了解。
这类问题的共性就是无论你是在校学生还是资深科学家都应该有一个基本的水准在，不过没有必要百分之百的回答正确，因为本身很多答案都没有标准答案。大部分时候，这个环节我们对于是否录用这个人就已经有了答案。如果面试者答错或者不知道其中百分之八十的概念，录取的概率就很低了。
3. 根据岗位和求职者背景进行深入挖掘

在经过上一阶段以后，我们已经对求职者的素养有了大概的判断，下一步就需要进行深入了解，一般根据两点进行追问:

面试者的背景

所面试的岗位

进入这个环节其实就已经没有模板了。假设我们现在要为保险公司招聘一个机器学习工程师来自动化&#34;骗保检测&#34;，我们的求职者是一位计算机系刚毕业的硕士生。那我们可能深入询问的话题包括:

这一类问题的特点是随机应变，一般都是在一个方向上深入。比如其他答案提到的L1和L2正则化，我们可能希望面试者在白板上画图介绍为什么L1可以得到稀疏解，以及和嵌入式特征选择有什么联系。这一类问题我们不期待求职者完全答对或者讲得清楚无误，我们同时也想观察其在压力和追问下的心理素质。因为整个过程中肯定会有一些知识盲点，我们会尽量避免尴尬的气氛，所以作为求职者不必过分紧张。同时，通过和面试者一起了解他/她曾做过的项目，可以看出其对于这个专业的兴趣 -- 兴趣是很难演出来的。
在这个环节，如果一个面试者可以有能力进入深入交谈，甚至提到一些我们从来没想过的思路，都是加分的表现。
4. 基本的编程能力和数据挖掘能力

机器学习岗位，不管你是统计出身还是计算机出身，都避不开建模的过程，因此基本的编程能力是必须的。一般对于数学或者统计学出身的面试者，我们会额外给出一个简单的小程序测试。这种小程序可能简单如将读取数据后并保存为矩阵。这倒不是因为我们喜欢没事找事，而是因为机器学习太容易成为纸上谈兵，而从业者缺乏最基本的编程能力。
相似的，我们也希望面试者谈谈从模型中可以得到什么结论。我们曾把Kaggle上泰坦尼克的那个数据集处理过以后，让面试者谈谈幸存率到底和什么有关，如何分析。同样的，我们不追求完美答案，只是希望看到求职者可以解释一些简单的模型结果，从中攫取商业价值。
5. 让面试者有所收获 & 如何准备机器学习面试

面试不该是一场单纯的考试，在参加面试的过程中，也是一个学习过程。抛砖引玉，对于机器学习的岗位面试我有几点小建议:
5.1. 根据岗位，准备一份项目策划书。这个乍听下来有点虚，但我曾无数次使用这个小技巧得到良好的面试反馈和机会。假设你今天面试的岗位是我提到的保险公司的反诈骗组，那么如果你可以写一个如何使用机器学习进行反诈骗的项目策划书。这个过程对于面试者也是一个练习: a. 阅读论文和新闻收集材料的能力 b. 总结分析的能力 c. 总结的能力。
以我曾经面试过的一个人力资源相关的岗位为例，我准备了一份如何用机器学习来进行员工离职预测的策划书(中间省略掉了几页并马赛克处理了敏感的地方)：
在策划书中，你可以分析项目需求，提出相关解法，并建议后续计划和列出相关文献。这样的行为不仅可以让雇主看到你的诚意，并看到你的的领域知识和独立分析问题能力。
在适当的时机(比如开始面试的时候或者谈到岗位职责的时候)，你拿出准备好的策划书，开始谈你的思路。这种做法我曾做过几次，效果都很惊艳，因为反被动为主动，从被考察变成了讲解你所了解的知识。作为一个面试官，如果被面试者能做到这个程度，我会在内心对录取他比较有信心。
5.2. 真诚并且实事求是
大家都是理工科出身，行家一出手便知有没有。在这种技术性比较强的学科，完全没有必要假装自己了解一个知识点。同理心告诉我们，大部分人都有知识盲区，我们不期待完美的回答。当你真的不知道一个问题的答案时候，真诚的希望对方能讲得更明白或者承认自己不太了解。
如果你假装自己很了解一个不明白的领域，我们一般会问的更深入。你成功的引起了我的注意，那个时候就真的收不了场了。相似的，简历上请真的不要夸大其词的描述自己的经历。我见过很多人只用过Naive Bayes就在简历上号称自己是机器学习专家，我现在还记得他被面试到面红耳赤的样子。在这个浮躁的年代，对于高薪的机器学习岗位，希望大家都能守住最起码的诚信底线。
5.3. 确保自己对基本的概念有所了解
再一次，保证对基本知识的了解(有基本的广度)是对面试者自己和面试官的尊重。什么程度就算基本了解呢？我的感受是：

其中每一条都说来简单，但都是血与泪的过程，请勿操之过急。如何就能保证自己有了足够的基础知识呢？我觉得能基本看懂周志华老师《机器学习》的前十章，并相对熟练的使用Sklearn中基础的API进行建模就可以了。也请勿矫枉过正，如果你面试的岗位不是理论性科学家岗位，不要和数学推导死磕。这也是为什么我说写一个项目策划书很有帮助，在查阅文献和总结的过程中，你对想要面试的领域有了更加深刻的了解，有助于提高信心和知识。
5.4. 享受面试
请不要把技术面试当做一场噩梦，或是一个难关。作为一个冉冉升起的新领域，我们大家都是这么一路摸爬滚打过来的，至少我自己是很理解这一路的不容易。
因为机器学习领域的人才稀缺，一般而言你的面试官的时间都是很宝贵的，即使你最终没有通过面试，请抓住机会从他们身上有所学习的机会。从我的角度来看，你不仅可以借此发现自己知识点上的缺失，也可以听到在特定领域的流行的算法和模型，这些都是从书上很难学到的。如果你为了准备面试还阅读了相关领域的论文和总结，那我想来面试这件事已经远远超过了你是否被录取的意义。
路漫漫其修远兮，吾将上下而求索。与君共勉:)

Arzie100 · 发表于 2021-7-6 14:32

看了下 @王喆的回答,很赞, 摘一下他回答中提到的一些面试问题:
面试官如何判断面试者的机器学习水平？ - 王喆的回答 - 知乎 https://www.zhihu.com/question/62482926/answer/529823808

我来试着答一下:

GBDT的原理（理论基础)

(1) M棵树  加权求和(boosting思想): $f(x) = \sum_{m=1}^Mf_m(x)$
(2)单步求解各回归树(前向分步加法模型) ; 第m步求解: $F_m(x) = f_{m-1}(x) + f_m(x)$
(3) loss为mse时拟合残差, 根据公式很容易得到, 以单样本为例:
$L(y, F_m)=(y-F_m)^2=(y-f_{m-1}-f_m)^2=(r_m-f_m)^2$ ,
残差 $r_m = y-f_{m-1}$ , 相当于把样做如下处理: $(x_i,y_i) \rightarrow(x_i, r_{mi})$ , 拟合rm求最小化loss得到第m步的回归树  ;
(4)更一般化, 推广到任意一阶可导函数, 根据一阶泰勒展开; 对于关于  的函数损失 $L(f_{m-1})$ , 当 $f_{m-1} \leftarrow f_{m-1} - \epsilon L'(f)|_{f=f_{m-1}}$ ,
loss变化: $L(f_{m-1}) \leftarrow L(f_{m-1}) - \epsilon *(L'(f)|_{f=f_{m-1}})^2$ , loss必减小
这里, loss关于  的负梯度 $r_m=-\epsilon * L'(f)|_{f=f_{m-1}}$ 称为&#34;伪残差&#34;, 所以一般化的GBDT, 每一步可看做实在拟合&#34;伪残差&#34;, 来生成一棵分布loss最小的树  ;
(5)其它都是一些细节了, 比如和adaboost区别, 和xgboost区别, 和随机森林的区别,  比如gbdt能降低偏差(这是显然的, 每一步都在拟合目标和预测值的残差);
2. 决策树节点分裂时如何选择特征，写出Gini index和Information Gain的公式并举例说明（理论基础）
(1)能将有限样本分开的树结构有无穷多种, 决策树核心思想是用&#34;启发式&#34;算法来找最优决策树;
(2) 节点分裂时根据不同启发式算法,  特征选择方式不同;
(3) 对于特征A, 假设有三个值, 将特征空间分为D1, D2, D3三个区域, gini(D, A) = D1/D gini(D1) + D2/D gini(D2) + D3/D gini(D3),  再假设是个二分类问题, 两个标签, gini(D1) = p1(1-p1)+p2(1-p2) (只关注D1所在的行), 想象一下, 每次计算特征的gini时, 按照各特征的值对样本全局排序, 这样比较好计算;
3.分类树和回归树的区别是什么？（理论基础）
(1)启发函数不同啊, CART里分类用gini, 回归用平方差;
(2)结点的值不同啊, 分类存储的是最优分裂特征, 回归存储的是最佳切分点;
(3) 回归树也可以解分类问题啊;
4. 与Random Forest作比较，并以此介绍什么是模型的Bias和Variance（理论基础）
(1) rf:有放回自助采样+列采样, 假设r是相关系数, 根据  , 有放回自助采样增加了各模型的独立性, 一方面, 各模型训练样本完全独立时, 方差 $var(\sum_{i=1}^NX_i/n) = \sigma^2/n$ , 降低到原来的1/n; 另一方面, 各模型样本完全一样时, $var(\sum_{i=1}^N/n) = \sigma^2$ , 方差不变; 一般的rf采样得到的样本, 独立同分布又不完全一样, 所以方差在sigma^2/n和sigma^2之间;
(2) rf对分类问题加权投票, 回归问题取均值, $E(\sum_{i=1}^NX_i/n) = E(x)$ , 不会降低偏差;
(3)gbdt降低偏差是因为每一步都是基于上一轮残差或&#34;伪残差&#34;(loss关于上一棵树的负梯度)拟合样本, 偏差自然会减小;
(4)偏差太大模型欠拟合, 偏差太小模型过拟合, 方差太小模型泛化性能会交叉, 总之就是在做一个trade-off, 来寻求结构风险最小化;
5. XGBoost的参数调优有哪些经验（工程能力）
(1) 从正则化项来考虑: $\gamma T_m + 1/2 \lambda \sum_j^T w_{jm}$ 调第一项 $\gamma$ , 控制叶节点个数, 调 $\lambda$ , 平滑叶节点权重;
(2) 考虑gain, 我们预期C(分列前)-C(分裂后)的gain应该大于0, 但有时候gain会小于0, 此时是否需要early_stopping? (注意虽然当前收益为负, 有可能对后续各步有正向收益), 所以需要加树的深度来做trade-off, 某次split的gain为负时, 是否达到earlystopping条件? 是否达到设定的最小树深度, 如果没有, 就把这个split节点也加进来;
(3) 从shrinkage公式来考虑, $F_m(x) = f_{m-1}(x) + \epsilon f_m(x)$ , 学习速率可以控制拟合速度, 也就是单步生成的树的权重;
(4) 从随机森林借鉴过来的列采样, 这也算一个参数吧, 可以控制每轮训练样本子集间的相关性(增加非相关性), 降低方差(参考公式:  );
(5) 还有啥? 超参寻优, 参考sklearn的gridsearchcv, randomsearchcv;  做一下k-fold交叉验证, 找一下方差最小的最优参数, 比如迭代次数, 树的深度等
(6) 借鉴一下kaggle, 做一下EDA, 缺失值填充(xgboost的默认处理方式不一定符合你需求,归一化, 相关性分析;
(7) 做一下stacking ?
6. XGBoost的正则化是如何实现的（工程能力）
正则化是个很宽泛的概念, 举几个典型的:
(1) $\gamma T_m + \frac{1}{2}\lambda \sum_j^T w_{jm}^2$ , 第一个参数控制第m步生成树的叶节点个数, 第二个参数是l2正则, 平滑每个结点权重;
(2) eraly_stopping, 某次叶节点分裂时, 如果gain为负, 是否停止增长? 这也算一种正则;
(3) 后剪枝;
(4)学习速率控制优化步长(单棵树的权重);
7.XGBoost的并行化部分是如何实现的（工程能力）
寻找结点分裂:
假设生成f(x)需要m步, 样本特征有d维, 样本个数n个, 则每次寻找最优结点时间复杂度:
$T(O) = O(k*d*n\log n)$ , 其中每轮对feature values排序部分的时间复杂度 $O(n*\log n)$ 是可以优化的部分, 可以预排序存储好, 直接调用, 这样总的时间复杂度下降到: $T(O) = O(k*d)$
8. 为什么预测股票涨跌一般都会出现严重的过拟合现象（业务理解）
这个问题比较任性, 为啥预测股票一定会过拟合? 不太能理解, 如果是问过拟合的原因的话, 无非两个:
(1) 数据问题: 数据量太少
(2) 模型问题: 模型太复杂, 模型学到了噪声

9. 如果选用一种其他的模型替代XGBoost，你会选用什么？（业务理解和知识面）
(1)特定领域用特定模型, 一般传统机器学习的分类问题最好还是用xgboost这种ensemble方法来解.
(2)业务理解,特征工程远比对模型做&#34;优中选优&#34;更有收益, 好特征带来的收益都是百分之几, 模型优化, 带来的收益一般在小数点后1-2位, 也就是百分之0.几的样子

(后续想到什么再补充.)

xiaozongpeng · 发表于 2021-7-6 14:38

这个问题太好了！记得这大概是个三年前的问题，每年都会有新的答案让我持续学习。三年多前我作为最早的机器学习工程师之一加入 Tubi，从零开始设计招聘题目和流程，搭建团队，陆陆续续也面试了大好几百次了。这里的答案大多聊的是常见的机器学习面试题目，我提供一个不一样的角度，从业务负责人的角度聊聊如何根据业务需要设计题目，大家也可以反向思考，查缺补漏。
招1个人 != 招10个人

很多同学的角度都是从面试官的角度来出发的，想着就是招一个人，面几场试。但当你从团队负责人的角度出发，要填满大量的业务需求，来设计面试流程和题目的时候，思考角度就会完全不同。这中间有大量的取舍，甚至一些决策很不优雅，但这都是为了规模化和自动化不得不做的放弃。
面试题目需要淘汰人，越早越好

招聘是个非常贵的流程，我们举一个湾区常见两轮技术面+现场面试的转化率简单计算，录取一个人要让接近20个人进入面试流程。

steps	conversion rate
hiring manager call	80%
tech screen 1	60%
tech screen 2	60%
onsite	40%
offer	40%

conversion	4.6%

面试官的时间是很贵的，我们更愿意保护面试官的时间，减少面试，也不愿意让更多可能不合适的人进入现场面试的阶段，浪费大家的时间。这里有个 precision 和 recall 的平衡，precision 的重要性远大于 recall。
所以面试题目的设计，特别是技术面的题目，与其说是招到合适的人，不如更精确的说是剔除可能不合适的人，越早越好。什么样的题目适合剔除人呢？一定是有明确答案的题目，这样的题目可以是理论题，可以是数学题，可以是代码题，可以是系统设计题，但一定不能是开放讨论式题目。一定要是如果答案是A就过，如果不是A就淘汰，或者设计成类似分数的系统。
precision 和 recall 是不可能兼得的，很多时候筛去了一些可能合适的候选人我们也很惋惜，但更多的时候犹豫一下让候选人进入现场面试表现不好，反而耽误大家更多的时间。
团队需要 != 最像我

面试官往往都有些幸存者偏差：我都是面试官了，像我这样的是最优秀的，我会的候选人就应该会，我要以我为模版招人。
https://zhuanlan.zhihu.com/p/30884978
从团队的角度来看，这其实是非常糟糕的思路。每一个团队业务非常广阔，每一个人的专精方向也不一样，多面互补对于一个团队来说是一个更好的状态。
从面试题目的设计上，要分清楚什么是基本要求，什么是加分项。
基本的要求要抽象出是能完成在团队中做机器学习最基础的技能，比如代码、调参、常见优化的方向等等，不需要很深入。更重要是要抛弃“我认为什么是重要的”，而去思考“团队工作日常需要什么技能”。从这个角度来看可能日常需要的技能比你想象的要简单基础的多，那面试就应该更关注这些技能。
在加分的问题中除了深挖，更可以抛出一些自己在实践中难以解决的问题，看看有没有什么妙招，有时候有额外的惊喜。
最大的难点是面试官

面试官其实是整个面试流程中最稀缺的资源。一是面试官的时间很宝贵，面试会占用大量工作的时间。二是每个面试官的工作背景、喜好、评价标准都可能不一样，这个必须靠制度和流程的设计来保障相同。
实践中我们会经常与各个面试官沟通，讨论题目的评价标准，定期回顾最近的招聘反馈，研究转化率，看一看哪一位同学做的好与不好，确保每一位面试官表现都类似。
题目的设计上也会确保题目不能太偏，每一位面试官都能完成基础知识和深入理解的衡量，同时题目必须有明确的回答标准，什么的答案可以过，什么样的答案是红标，都需要明确的写下来。
Tubi 的面试实践

根据这样的理解，Tubi 的机器学习面试流程设计大概如下（可能会变更）：
技术面一：简单的 Python 代码实现，大概不超过10分钟。一些概率统计，机器学习理论。总体上非常基础，目的是淘汰掉完全不会写代码，或者只懂 Buzzword 的人。
技术面二：给出一个真实的数据集，需要使用常见的机器学习包，比如 sk-learn, pandas, numpy等等，抽取特征，训练模型，衡量模型。现场一个小时，过程中允许 Google API。
现场面试：还有一轮代码，与技术面二类似。剩下的大概两三轮基本上都是机器学习的实际应用，比如让你设计一个推荐系统，设计一个视频广告去重系统，怎么做，比较关注的方向是比如指标的设计、关键系统部件的设计（提出可以用 end-to-end deep learning system solve everything 的都直接淘汰）、迭代的思路等等。这几轮主要是非常资深的工程师/经理/总监/CTO来面试，更多的是考察人的资深程度。
因为全程没有 Leetcode style coding，而是非常关注作为机器学习工程师的日常，绝大多数面试者的反馈都是非常正向的：
入职算法应届生如何成为一个合格有竞争力的算法工程师？Tubi TV是一家什么样的公司？面试因需求而变

总结一下，面试的题目和流程设计其实跟业务的需求是紧密相连的，要疯狂招人的时候是一种设计，如果没有业务压力又是另一种设计。我也想跟每一位候选人谈心谈简历，但一看到密密麻麻的面试安排，就感觉
所以从面试者的角度出发，理解公司所处的状态也有助于准备面试题目哟！

Ilingis · 发表于 2021-7-6 14:42

谈谈最近校招面试的感受（作为某厂面试官），最近一周多面了20多个（视频加现场）。
我们这个团队以AI应用为主，又是新项目，所以校招的目标不是ML Scientist，是需要有工程实践能力，能够在具体相关业务中应用机器学习算法，并能跟进较新科研成果，和专职的ML Scientist对接的类似RSDE（研发工程师，Research Software Development Engineer）这样的角色，实际点来说就是：

能达到这些标准的话就不错了，然后一般分四步这么考察：

背景了解

先讲讲最近项目，别瞎吹画饼，就说说上一周你都每天在干嘛。这样一般就把很多人简历上牛逼哄哄的做了什么国家部门的大数据挖掘项目啊，对啥算法做了什么什么巨大的优化啊，或者做了什么公司的某fancy project之类的简化到可能就是手工给数据分类，或者比较不同模型（别人给的）的performance，或者好一点把CNN相关的某个现有开源代码实现去掉某个层或者改了几个参数在尝试（当然不是说就不好，其实也可以），或者做A/B测试看效果。当然其实都行，不是说做哪个就比哪个差了，但是马上就会有这人到底做了些啥的具体形象。
这一步对硕士生很管用，对phd不能这么搞。个人对phd首先会看看他的paper，大部分时候对国内phd会发现大部分paper都是把一个东西翻来覆去到处发灌水，这没啥，理解，主要是搞清楚他读博期间主要在研究啥，然后会看一下summary，具体有个了解。比较有意思的是很多phd的简历上没写几篇paper，不知道是觉得工业界求职不需要呢还是咋回事，没写paper的话我觉得你这phd白读了啊。。。如果看到做的paper有意思，面试开始时个人主要去了解下对方对做应用开发为主的工作怎么看，如果不感兴趣就算了----一般来说，女生都会强调想做research，男的好一些。不过有几次遇到一些压根没发什么paper的phd学生说他们想做学术研究，尼玛，老子当时就想你这paper比老子还少，做个毛的research啊。。。

2. 基本原理
经过上面第一步，差不多确认了两个人可以有在一起的意愿，然后就对方提到的近期工作内容中具体的一些细节让他讲一下。机器学习覆盖面太广，和具体业务结合也比较紧，所以尽量往自己知道的地方去靠拢。比如对方如果说主要做的是数据前期准备，就问问数据哪来的，怎么处理的，遇到什么问题，要不要做normalization啥的具体怎么做的；遇到说做优化的，就问问在优化什么东西，比如遇到过一个说在对比不同梯度下降算法并进行优化，就叫他讲讲对比了哪些梯度下降算法，然后在里面挑一两个让他解释原理，最好能画出来推导过程。反正就是一边听对方讲做的项目，一边看有啥可以深挖的（自己能判断正误的）
遇到那种讲说在优化（调参）CNN相关网络结构的比较麻烦，因为没有对方的实际数据，并不能确定他说得对不对，他说他去掉YOLO啥的某个层就怎么怎么了也不好判断，只有大概问问dropout啊maxout啊这些用没用或者改没改，结果如何是什么原因，这种我个人只是用来判断他的表达和逻辑能力。

3. Show me the code
毕竟是RSDE面试，不是Research Scientist，所以对Scientist一般会有前沿技术或者更深入的理论讨论，再说也有专门做某个具体方向的同事在其他面试环节里去针对性了解。在我这里，前面花个15-20分钟口头交流下理论就可以了，后面重头戏是动手coding.
首先，既然到了这一步，说明对方是声称对神经网络和机器学习有实际经验和细节理解的，那就来动手实现个基本的神经网络吧。我会给一组训练数据，让对方不用什么tf/caffe/pytorch框架，就用基本的python+numpy写一个基本的，可运行的网络实现出来。这一步足可以刷掉目前约2/3的面试人员，其中硕士生大多写不出来，phd倒没啥问题，但是存在实现速度的差异，有几个虽然写出来了，但是面试时间也到了。
我觉得比较有趣的是很多面试者声称熟悉各种activation function并能合理选用，口头解释的时候倒背如流，到了具体实现的时候大多会卡住，说不记得sigmoid的导数结果或者relu或者什么的，不知道如果不用现成框架的话怎么去实现导数。反复给他们说这没关系，重点是先搞个可以跑的网络，activation后面我们再来讨论, 这帮子人就卡住了，不知道该怎么进行-----晕，不是自称能灵活选用么，选一个你知道怎么求导并实现的啊。
其他问题包括压根不知道怎么开头啊，有明显眼光在看书抄（大部分是视频面试共享桌面）写出来的根本不是我给的数据啊，或者写出来的思路正确但是是pseudo code啊（这种其实还可以忍受），各种问题吧。
当然好的也有，印象比较深的是一个phd写完后直接跑我给的数据（其实是我乱写的一堆数据，里面有些问题），发现gradient始终为0，现场debug分析并发现问题后，自己做了一些对数据的处理通过，我觉得还是蛮不错的，这么短时间内相当于把特征工程和网络实现及测试整个流程演示了一遍；另外一个acm亚洲奖牌得主10分钟实现并搞定，这尼玛让老子哑口无言，搞得只好直接进入常规刷题算法环节。
实现NN网络这步完成后看情况，有些直接实现SGD/mini batch的，就直接走后面环节了；不然的话会叫他改成mini batch形式；

4. 常规算法
这步没啥好说，最开始有耐心的时候，如果上面的简单网络没有实现，还会耐心地让对方做个lc easy难度的题目，后来也不客气了，上面做不出来就谢谢对方然后bye bye。如果做出来了，时间还有，会给一个lc medium难度的看看。
不要觉得lc medium简单，现场面试没有跑了代码再改的机会，从实现速度到代码清晰程度都能看出问题，不管是acm奖牌得主还是noip选手，目前还没看到bug free写出来的。

基本上是这么个流程，当然不是这么死板，里面会根据对方的回答和代码实现过程引很多问题出来，这个就不能一概而论了。
另外这个流程可能适合团队人手不足没有足够面试人员，或者像对于校招这种面试环节不够难以全面深入考察的情况，所以在一次面试中覆盖内容较广，找到对方比较适合的方向，然后根据结果让具体负责该方向的同事再深入考察，这样基本在两轮之后可以有一个比较清晰的判断。
************************************************
btw，我们也社招，欢迎有三年以上实际项目的ml专家作为lead加入，私信联系。

BlaXuan · 发表于 2021-7-6 14:51

问问别人最擅长什么，做过什么，然后顺着问下去，只问对方最擅长的小领域，不断往深里挖，再稍微在这个小领域扩展一下，很快就能看出这个人是真懂还是划水。最后再介绍一下我自己做的东西，稍微探讨一下，马上就知道对方知识面够不够广。这样既不会有一问一答的尴尬，也不会被刷题的人浑水摸鱼。
至于事先准备一个ML的题库去问别人，只能说明面试官自己水平不高，自己也就是做题家的水平。每个人都有自己的知识盲点，不可能什么都懂，照着题库去问只能看出对方是不是做题家。
至于开口闭口就问别人Gradient Boosting的，你家祖传题库十年没换了吧？不知道怎么中国人就特喜欢问Gradient Boosting，这玩意是十年前的热点，现在就是种标准工具而已，没什么可研究的。十年前的热点还有kernel svm、topic models、matrix completion，要是我拿这些过时的东西挨个问你，你能答得出来？你真想按刷题模式面试别人，好歹也问问convolution、BP、attention。

RecursiveFrog · 发表于 2021-7-6 14:55

几个必问的问题，
1问一些面试官和面试者都熟悉的问题，把握一下面试者的深度

2问一些面试官熟悉，而面试者不熟悉的问题，考察一下应变和理解力

3 问一个面试官不熟悉，而面试者熟悉的问题，考查一下表达

4 问个过往项目，有什么地方可以优化。考查一下迭代意识

5 给一个公司现有项目问题，看看解决实际问题能力

机器学习技术日新月异，面试者的技能储备和公司需要严丝合缝的匹配，其实很难。核心能力不错的话，其实已经可以了！

super1 · 发表于 2021-7-6 15:04

在下面的问题中回答过相关问题，大家可以作为参考，这里再做一些补充。
如何准备机器学习工程师的面试？自己拿过Hulu，阿里，腾讯，美团的算法工程师offer，也作为面试官面试过100+候选人，简单谈一下机器学习工程师的面试，说白了就一句话，
把你做过的机器学习项目的细节讲清楚，有自己的理解，对经典的以及前沿的机器学习知识有所了解。

机器学习面试要考察三方面的内容，1、理论基础，2、工程能力，3、业务理解。之前有的答主罗列了几乎所有知识点，面试者能够逐一准备当然是好的，但我不相信有任何人能够对所有问题有深入的理解。也正因为这一点，面试官一般不会大面积的深入考察所有知识点，面试时间也不允许，但资深一点的面试官只要从简历出发问你一个项目，这三方面的能力也就都考察到了。毕竟魔鬼躲在细节里嘛。
我记得我的一位面试同学介绍自己实习时候用过XGBoost预测股票涨跌，那面试官会由浅入深依次考察：

除了上面的问题，我会再检查一下面试者对NN，RNN，个别聚类算法，模型评估等知识的理解程度以及对GAN，LSTM，online learning是否有基本理解，这是考察面试者对经典以及前沿的机器学习知识的了解程度。再稍微检查一下面试者对工具的了解程度，写一段简单的spark或者map reduce的程序，如果无误的话，那么可以说这位面试者的机器学习部分是完全合格的。
当然，如果你介绍的项目是用CNN实现的，这条考察线路当然是不一样的，大概会是
LR推导->梯度消失->激活函数->TensorFlow调参经验这条路，大家体会意思就好。除此之外，还有其他工程方向的面试官会着重考察coding和一些算法题目，那是另外一个话题了。
根据我去年的面试经验，即使清华北大的同学也往往无法回答完整这些提问。一项答不出来的话无伤大雅，但两项答不出来我基本会给fail或maybe。
所以真的希望大家严肃对待写在简历上的东西，面试官会刨根问题的问到骨子里。但就我个人而言我不会深究面试者简历之外的东西，比如故意问一问GAN的细节让你一定要答出来，我认为这样毫无意义，有故意刁难之嫌。
最后再谈一谈对算法工程师面试更深一点的理解，其实面试的根本目的是找一个你愿意在一起工作的靠谱的工程师。
那么对于公司来说，什么人靠谱呢？有不错的知识储备，有钻研问题的能力。所以面试官不仅会考察你知识的广度，还会考察你项目的深度。只有深度没有广度，你学习新问题花的时间可能会过长，这不符合公司的利益，只有广度没有深度，你可能不具备攻坚克难的素质和潜力，这也不是一个合格工程师的标准。另外我们招的是工程师，不是科学家，不要求你是理论全才，不用样样精通，但因为招的是工程师，你得懂得解决业务问题，你要熟练的使用工具。
那什么人你愿意一起工作呢？对于工程师来说，当然是能一起讨论问题，一起碰撞出新的idea的人，所以面试的时候很多面试官会问你一些开放的问题，就像上面说的“如果选用一种其他的模型替代XGBoost，你会选用什么？”。面试官其实不期待你给出什么高大上的答案，他们希望的是你去说出你的想法，你去跟面试官讨论迭代，一起解决这个问题。其实这一点是很多面试者缺少的。也许有的时候是由于紧张或者不自信，你不愿意说出自己初级的想法，这样的考虑是多余的，没有任何解决方案一开始是完美的，大胆说出你的想法，讲的条理清晰，也许面试官会帮你完善你的方案，这就是一个你愿意共事的人的标准。
我的专栏王喆的机器学习笔记里写了两篇更详细分析算法工程师面试技能的文章，有兴趣的同学可以看一下
王喆：算法工程师必须要知道的面试技能雷达图王喆：为什么说算法工程师的面试是一门玄学？最后祝所有所有面试官都能招到自己想要的人，所有面试者都能拿到满意的offer，我天，这简直是一个二分图的最佳匹配，共勉吧。

Doris232 · 发表于 2021-7-6 15:09

保研面试（不是求职）的英语测试部分
一个小时的时间，给一篇10页左右的会议论文
一支笔一张纸，可以做笔记，可以查字典
一个小时之后，把论文描述的模型用中文完整讲出来
然后老师会问很多细节的问题，比如某个正则化项为什么能起作用，这篇文章用的negative sampling和skip gram模型用的negative sampling有什么区别，recurrent connection在模型中是怎么提现出来的，解释loss函数为什么长这个模样
感觉比常规面试都难…

		自动登录	找回密码
密码			立即注册

面试官如何判断面试者的机器学习水平？

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源