如何设计loss使得两个分布的差异更大

zhezhongyun 2025-09-29 15:52 44 浏览

说明：高维空间中常用的距离度量方法由欧式距离，余弦距离等。

对比损失函数（contrastive loss function） 对比损失函数通常是基于对比学习（contrastive learning）的思想，可以用于学习如何将同一类别的样本特征分布相互靠近（最小化），而将不同类别的样本特征分布相互远离（最大化），其设计的基本思想是对于一对样本，将它们在高维空间中的表示结果进行计算得到距离度量数值，将该数值与一个预先定义的阈值进行比较，如果两个样本属于同一类别，则它们之间的距离应小于阈值，反之不同类别的样本之间的距离应大于阈值。

其中，表示样本数量，说明所选样本与当前样本是同类，说明所选样本与当前样本不是一类，表示一堆数据在高维空间中的距离，表示设定的阈值。由于平方计算的存在，损失始终为正，优化的目的是使得损失减小，表示前半项同类距离越来越小，后半项不同类距离越来越大（刚开始时由于网络没有区分能力，肯定是区分不了样本聚类关系的，因此即使异类样本离当前样本距离也比较近，故）。

三元组损失函数（triplet loss function） 三元组损失函数设计的目的是为了实现将同类别的样本特征分布紧密聚集在一起，而将不同类别的样本特征分布相互隔开，常用在人脸识别任务中。对于每个样本，要找到一个与其同类别的样本和一个与其异类别的样本，然后比较它们在高维特征空间中的距离，目的希望该样本与同类别样本的距离尽可能小，而与异类别样本的距离尽可能大。

其中，表示当前选取样本，表示positive即同类样本，表示negative即异类样本，表示计算样本在高维空间表示，max(_, _)中前半项表示当前样本与同类样本距离，后半项表示当前样本与异类样本的距离，表示预设阈值。举个例子：1.当网络能力差的时候（分不清同类异类），假设前半项=0.7，后半项=0.5，阈值设为0.2，则根据损失，max(0.7-0.5+0.2，0)=0.4，这时候损失就很大；2.当网络能力好的时候（分得清同类异类），假设前半项=0.1，后半项=0.6，阈值设为0.2，则根据损失，max(0.1-0.6+0.2，0)=0，这时候损失就很小；3.如果不设置阈值，情况1.下的损失为max(0.7-0.5，0)=0.2，情况2.下的损失为max(0.1-0.6，0)=-0.5，可见并不能通过损失下降正确训练网络功能。

Less 颜色混合函数

上一篇：SwiftUI 本质论:声明式、可组合、状态驱动
下一篇：Swift中的模式匹配_swift操作

如何设计loss使得两个分布的差异更大

相关推荐

HTML标签速查手册?别死记硬背了，带你从原理上掌握它!

用node.js实现一个网页爬虫（nodejs爬虫模拟浏览器）

旧手机新玩法，MacroDeck进阶指南

推荐36种免费React模板和主题「干货」

免费领取→可编辑危废标签模板首发!

业余无线电UV段几种常见天线（uv段最强天线）

今年最常见的前端面试题，你会做几道?

GitHub和码云上，7个h5页面制作工具推荐

BarTender10.1条码软件如何制作模板标签

顶级Javaer，常用的 14 个类库