baseline = 基础模型参照物

baseline这个概念是作为算法提升的参照物而存在的,相当于一个基础模型,可以以此为基准来比较对模型的改进是否有效。通常在一些竞赛或项目中,baseline就是指能够顺利完成数据预处理、基础的特征工程、模型建立以及结果输出与评价,然后通过深入进行数据处理、特征提取、模型调参与模型提升或融合,使得baseline可以得到改进。所以这个没有明确的指代,改进后的模型也可以作为后续模型的baseline。

想强调一下,baseline 就只是「参照物」的意思,至于 baseline 系统是怎么来的、性能如何,并没有一定的标准。

比如:

  • 如果你是机器学习的初学者,在做课程作业,那么你可能用「随机猜测」作为 baseline;如果你是要在顶会发论文,那么很可能就需要用当前最好的系统(称为 state of the art)来作 baseline,否则审稿人就会质疑。
  • 如果你的论文的论点是「我针对某系统作了改进,提升了性能」,那么 baseline 就应该是未改进的系统(相当于生物实验中的「对照组」),它与改进后的系统只有一处不同,这样才能下结论说你的改进就是提升性能的原因。如果你的论文的论点是「我提出的方法 A 比已有的方法 B 更好」,那么 baseline 就应该是方法 B,即使它跟方法 A 毫无关系。
  • 当你选定了一个 baseline 系统后,如果你能联系上作者,索取到他的代码,就可以直接用作者的实现作为 baseline;如果联系不上,就只能自己复现。有时候,你选择的 baseline 是你要研究的更广阔的框架下的一个特例,而你自己实现了框架下的其它方法,此时为了让系统之间只有一处不同,你可能会主动选择在框架下重新实现 baseline。
  • 如果你是参加比赛,那么主办方常常会主动提供 baseline 系统。你可以在它的基础上做修改,也可以另起炉灶重新实现自己的系统。

参考链接:

https://www.zhihu.com/question/313705075/answer/608578536

https://www.zhihu.com/question/313705075/answer/1600825423