问：
找出F(ω)=1/m‖Aω-y‖²+λ|ω|一个次梯度？
答：
对于损失函数 F(ω)=1/m||Aω-y||^2+λ|ω|,其中A为m×n矩阵,ω为n×1向量,y为m×1向量,λ为正则化参数。
则其次梯度为:
∇F(ω) = 1/m * 2A^T(Aω - y) + λ·sgn(ω)
这里:
1/m * 2A^T(Aω - y) 是损失函数的平方误差项的梯度
λ·sgn(ω) 是L1正则化项的次梯度
详细推导:
令J(ω) = 1/m||Aω-y||^2,则J(ω)的梯度为:
∇J(ω) = 1/m * 2A^T(Aω - y)
令R(ω) = λ|ω|,则R(ω)的次梯度为:
∇R(ω) = λ·sgn(ω)
根据链式法则,F(ω) = J(ω) + R(ω)的次梯度为两部分的次梯度之和:
∇F(ω) = ∇J(ω) + ∇R(ω)
= 1/m * 2A^T(Aω - y) + λ·sgn(ω)
所以F(ω)的次梯度为上述公式。