北京,2023年9月26日–WiMi全息云(NASDAQ:WIMI)(“WiMi”或“公司”)是一家领先的全球性全息增强现实(“AR”)技术提供商,今天宣布开发出一种高效的深度自监督遥感场景分类技术,该技术以无标注图像的自监督学习为中心,以减少对标注数据的依赖。它采用了创新性的深度学习架构,通过在线网络和目标网络的协同作用,高效解决遥感场景分类任务。
WiMi深度自监督遥感场景分类的关键在于在线网络和目标网络的协同学习。在自监督学习范式下,深度学习模型首先在无标注图像上进行预训练,以学习有区分性的特征。该过程通过跨视图比较学习从每个图像生成不同的视图,然后在在线网络和目标网络之间传递特征。在线网络和目标网络通过最小化跨视图距离进行协作,优化整个模型,使模型能够从无标注图像中学习有用的特征。
除了在线网络和目标网络的协同学习之外,该技术还引入了融合分辨率的智能训练策略,进一步提高了效率。在判别任务期间,该技术使用低分辨率图像进行训练,从而允许更大的批量大小,这显著提高了性能。该策略利用了高分辨率和低分辨率图像的优势,允许模型从大量无标注数据中受益于大批量和全图像大小,有效地学习。
WiMi深度自监督遥感场景分类技术的实现步骤:
首先,通过在无标注遥感图像上进行预训练构建自监督网络。在自监督学习范式中,网络需要从无标注图像中学习特征以区分具有不同视角的图像。这个步骤可以使用对比学习方法来完成,通过最大化同一图像的不同视图之间的相似性以及最小化不同图像之间的相似性。这种方法允许网络学习对后续遥感场景分类任务有用的图像特征。
在预训练阶段,在线网络和目标网络被构建为两个独立的部分。在线网络负责处理无标注图像并学习特征,而目标网络负责处理标注图像进行特定任务的微调。在线网络和目标网络通过跨视图比较学习进行特征传递相互协作。具体来说,通过几何变换从每个图像生成不同的视图,然后将这些视图传递给在线网络和目标网络。这一步旨在允许网络从无标注图像获得更丰富的特征。在线网络和目标网络的协同学习还涉及最小化跨视图距离以优化整体模型。在这一步中,目标是使在线网络和目标网络之间不同视图的特征表示尽可能相似。通过最小化跨视图距离,网络可以更好地学习无标注图像的表示,从而提高后续的遥感场景分类性能。
为进一步提高效率,该技术引入了融合分辨率的智能训练策略。在判别任务期间,使用低分辨率图像进行训练。这具有加速训练的优势,在处理更大批量的图像时也能保持稳定的性能。通过融合不同分辨率图像的信息,网络可以对遥感场景特征提供更全面的理解,这可以进一步提高分类性能。
在通过自监督学习获得经过在线网络之后,该技术可以用于实际的遥感场景分类任务。为了适应特定任务,可以在少量标注场景或图像上进行微调。通过微调,网络可以更好地适应特定的遥感场景分类任务,并在少量标注场景下实现更高的分类准确率。
与基于大量标注数据的传统深度学习方法相比,WiMi的深度自监督遥感场景分类技术能够在少量标注场景下实现更高的分类准确率。通过充分利用无标注数据和自监督学习的潜力,这项技术为遥感图像分析领域开辟了全新的可能性。这项技术不仅在场景分类任务中取得了显著成果,而且为遥感图像分析领域带来了一种新的解决方案,即自监督学习以从无标注数据中获得有用特征,从而减少对标注数据的依赖。
WiMi的深度自监督遥感场景分类技术通过自监督学习从无标注图像中提取有区分性的特征。在线网络和目标网络之间的协同学习过程中,跨视图比较学习实现了跨网络特征传递,最小化跨视图距离优化确保了更准确场景分类的特征一致性。同时,融合分辨率的智能训练策略巧妙地在判别任务中使用低分辨率图像,有效提高了训练效率。该技术为少量标注场景下的遥感场景分类问题提供了一种新的解决方案,并通过充分利用无标注数据实现了显著的分类性能提升。