《信息与电子工程前沿（英文）》
>> 2023年
第24卷
第2期
doi:
10.1631/FITEE.2200380
忘得少，数得好：一种域增量式自蒸馏终身人群计数基准
1复旦大学计算机科学技术学院上海市智能信息处理重点实验室，中国上海市，200433；2复旦大学类脑智能科学与技术研究院，中国上海市，200433；3上海脑科学与类脑研究中心，中国上海市，201210；4厦门大学信息科学与技术学院，中国厦门市，361005；5宾夕法尼亚州立大学信息科学与技术学院，美国宾夕法尼亚州，16802；6中国科学院自动化研究所复杂系统管理与控制国家重点实验室，中国北京市，100190
收稿日期：
2022-09-07
录用日期：
2023-02-27
发布日期：
2023-02-27
下一篇
上一篇
摘要
人群计数在公共安全和流行病控制方面具有重要应用。一个鲁棒且实用的人群计数系统须能够在真实场景中不断学习持续到来的新域数据，而非仅仅拟合某一单域的数据分布。现有方法在处理多个域的数据时有一些不足之处：（1）由于来自不同域的固有数据分布之间的差异，模型在训练来自新域的图像数据后在旧域中的性能可能会变得十分有限（甚至急剧下降），这种现象被称为灾难性遗忘；（2）由于域分布的偏移，在某一特定域数据中训练好的模型在其他未见域中通常表现不佳；（3）处理多个域的数据通常会导致存储开销的线性增长，例如混合来自所有域的数据进行训练，或者是简单地为每一个域的数据单独训练一个模型。为克服这些问题，我们探索了在域增量式训练设置下一种新的人群计数任务，即终身人群计数。它的目标是通过使用单个模型持续不断地学习新域数据以减轻灾难性遗忘并提高泛化能力。具体来说，提出一种自蒸馏学习框架作为终身人群计数的基准模型（forget less，count better，FLCB），这有助于模型可持续地利用之前学到的有意义的知识来更好地对人数进行估计，以减少训练新数据后对旧数据的遗忘。此外，设计了一种新的定量评价指标，即归一化后向迁移（normalized Backward Transfer，nBwT），用于评估模型在终身学习过程中的遗忘程度。大量实验结果证明了该模型的优越性，即较低的灾难性遗忘度和较强的泛化能力。
京公网安备 11010502051620号
