👩‍👩‍👦 🤘🏼 🚮 关于圆锥对偶的一些知识 🖖🏿 🌕 💺

在学习机器学习的理论课程（数学，经济学，优化，金融等）时，经常会发现“双重问题”的概念。

对偶任务通常用于获得优化问题中目标功能的较低（或较高）估计。此外，对于优化问题的几乎所有有意义的陈述，对偶问题都有有意义的解释。也就是说，如果您面临一个重要的优化问题，那么它的双重问题也很可能很重要。

在本文中，我将讨论圆锥对偶性。在我看来，这种构造双重任务的方式值得关注。

下一个...

通常如何构建双重任务？

给出一些优化问题：

m i n_{x i n R^{n}} f （ x ） f_{i} （ x ） l e q 0 ， q u a d 1 l e q i l e q k h_{i} （ x ） = 0 ， 1 l e q i l e q m

$\ min_ {x \ in R ^ n} f（x）\\ f_i（x）\ leq 0，\ quad 1 \ leq i \ leq k \\ h_i（x）= 0，1 \ leq i \ leq m$

根据以下方案构造双重任务：

建立拉格朗日

L （ x ， l a m b d a ， m u ） = f （ x ） + s u m_{i = 1}^{k} l a m b d a_{i} f_{i} （ x ） + s u m_{i = 1}^{m} m u_{i} h_{i} （ x ）

$L（x，\ lambda，\ mu）= f（x）+ \ sum_ {i = 1} ^ k \ lambda_i f_i（x）+ \ sum_ {i = 1} ^ m \ mu_i h_i（x）$

建立双重功能

g （ l a m b d a ， m u ） = i n f_{x} L （ x ， l a m b d a ， m u ）

$g（\ lambda，\ mu）= \ inf_x L（x，\ lambda，\ mu）$

获得双重任务

m a x_{l a m b d a ， m u} g （ l a m b d a ， m u ） l a m b d a g e q 0

$\ max _ {\ lambda，\ mu} g（\ lambda，\ mu）\\ \ lambda \ geq 0$

该方案的主要困难在于搜索步骤

i n f_{x} L （ x ， l a m b d a ， m u ）

$\ inf_x L（x，\ lambda，\ mu）$ 。

如果问题不是凸的，那么这就是棺材-通常情况下，它不能在多项式时间内解决（如果

P n e q N P

$P \ neq NP$ ）以及本文中的此类问题，我们以后将不再赘述。

假设问题是凸的，那又是什么？

如果问题是平稳的，那么我们可以使用一阶最优条件

n a b l a_{x} L （ x ， l a m b d a ， m u ） = 0

$\ nabla_x L（x，\ lambda，\ mu）= 0$ 。在这种情况下，如果一切正常，就可以推断出或

x （ l a m b d a ， m u ） = a r g m i n_{x} L （ x ， l a m b d a ， m u ）

$x（\ lambda，\ mu）= \ arg \ min_x L（x，\ lambda，\ mu）$ 和

g （ l a m b d a ， m u ） = L （ x （ l a m b d a ， m u ） ， l a m b d a ， m u ）

$g（\ lambda，\ mu）= L（x（\ lambda，\ mu），\ lambda，\ mu）$ 或直接起作用

g （ l a m b d a ， m u ）

$g（\ lambda，\ mu）$ 。

如果问题不顺利，那么我们可以使用一阶条件的类似物

0 i n p a r t i a l_{x} L （ x ， l a m b d a ， m u ）

$0 \ in \ partial_x L（x，\ lambda，\ mu）$ （在这里

p a r t i a l_{x} L （ x ， l a m b d a ， m u ）

$\ partial_x L（x，\ lambda，\ mu）$ 表示函数的微分

L （ x ， l a m b d a ， m u ）

$L（x，\ lambda，\ mu）$ ），但是此过程通常要复杂得多。

有时存在一个等效的“平滑”优化问题，并且可以为此构造对偶问题。但是，通常为了改善结构（从不光滑到光滑），总是必须增加尺寸。

圆锥对偶

有很多优化任务（以下示例）均采用以下表示形式：

m i n_{x i n R^{n}} c^{T} x A x + b i n K

$\ min_ {x \ in R ^ n} c ^ Tx \\ Ax + b \ in K$

在哪里

-矩阵

b

$b$ -矢量

K

$K$ -非退化凸锥。

在这种情况下，可以根据以下方案构造双重任务：

根据以下方案构造双重任务：

建立拉格朗日

L （ x ， l a m b d a ） = c^{T} x + l a m b d a^{T} （ A x + b ）

$L（x，\ lambda）= c ^ Tx + \ lambda ^ T（Ax + b）$

建立双重功能

g （ l a m b d a ） = i n f_{x} L （ x ， l a m b d a ） = b e g i n c a s e s l a m b d a^{T} b ， q u a d c + A^{T} l a m b d a = 0 - i n f t y ， q u a d c + A^{T} l a m b d a n e q 0 e n d c a s e s

$g（\ lambda）= \ inf_x L（x，\ lambda）= \ begin {cases} \ lambda ^ T b，\ quad c + A ^ T \ lambda = 0 \\-\ infty，\ quad c + A ^ T \ lambda \ neq 0 \ end {cases}$

获得双重任务

m a x_{l a m b d a} b^{T} l a m b d a c + A^{T} l a m b d a = 0 - l a m b d a i n K^{*}

$\ max _ {\ lambda} b ^ T \ lambda \\ c + A ^ T \ lambda = 0 \\-\ lambda \ in K ^ *$

共轭锥在哪里

K^{*}

$K ^ *$ 用于锥

K

$K$ 定义为

K ^ * = \左\ {y \ in R ^ k | z ^ T y \ geq 0，\ quad \ forall z \ in K \ right \}

$K ^ * = \左\ {y \ in R ^ k | z ^ T y \ geq 0，\ quad \ forall z \ in K \ right \}$ 。

如我们所见，构造对偶问题的整个复杂性已转移到对偶圆锥的构造上。但令人高兴的是，构建双锥具有良好的演算，而且经常可以立即写出双锥。

例子

假设我们需要为该问题构造一个双重优化问题：

m i n_{x i n R^{n}} | x |_{2} + | x |_{1} A x g e q b

$\ min_ {x \ in R ^ n} \ | x \ | _2 + \ | x \ | _1 \\ Ax \ geq b$

在这里

| x |_{1} = s u m_{i = 1}^{n} | x_{i} |

$\ | x \ | _1 = \ sum_ {i = 1} ^ n | x_i |$ ，

| x |_{2} = s q r t s u m_{i = 1}^{n} x_{i}^{2}

$\ | x \ | _2 = \ sqrt {\ sum_ {i = 1} ^ n x_i ^ 2}$

您会注意到的第一件事：目标函数始终可以线性化！

相反，线性目标函数总是存在一个等效问题：

m i n_{x i n R^{n} ， y i n R ， z i n R} y + z | x |_{2} l e q y | x |_{1} l e q z A x g e q b

$\ min_ {x \ in R ^ n，y \ in R，z \ in R} y + z \\ \ | x \ | _2 \ leq y \\ \ | x \ | _1 \ leq z \\ Ax \ geq b$

现在您需要使用一些秘密知识：许多

K_1 = \ {（x，t）\ in R ^ n \ times R | \ quad \ | x \ | _1 \ leq t \}

$K_1 = \ {（x，t）\ in R ^ n \ times R | \ quad \ | x \ | _1 \ leq t \}$

和

K_2 = \ {（x，t）\ in R ^ n \ times R | \ quad \ | x \ | _2 \ leq t \}

$K_2 = \ {（x，t）\ in R ^ n \ times R | \ quad \ | x \ | _2 \ leq t \}$

是凸锥。

因此，我们得出问题的等效表示法：

m i n_{x i n R^{n} ， y i n R ， z i n R} y + z I_{n + 1} \开 始 p m a t r i x x y e n d p m a t r i x + 0_{n + 1} i n K_{2} I_{n + 1} \开 始 p m a t r i x x z e n d p m a t r i x + 0_{n + 1} i n K_{1} A x - b i n R_{+}^{k}

$\ min_ {x \ in R ^ n，y \ in R，z \ in R} y + z \\ I_ {n + 1} \开始{pmatrix} x \\ y \ end {pmatrix} + 0_ {n +1} \ in K_2 \\ I_ {n + 1} \开始{pmatrix} x \\ z \ end {pmatrix} + 0_ {n + 1} \ in K_1 \\ Ax-b \ in R _ + ^ k$

现在我们可以立即写出一个双重问题：

m a x_{l a m b d a ， m u ， n u} - b^{T} n u l a m b d a_{i} + m u_{i} + [A^{T} n u]_{i} = 0 ， q u a d 1 l e q i l e q n l a m b d a_{n + 1} + 1 = 0 m u_{n + 1} + 1 = 0 - l a m b d a \在 K_{2}^{*} （ = K_{2} ） - m u \在 K_{1}^{*} （ = K_{i n f t y} ） - n u i n R_{+}^{k}

$\ max _ {\ lambda，\ mu，\ nu} -b ^ T \ nu \\ \ lambda_i + \ mu_i + [A ^ T \ nu] _i = 0，\ quad 1 \ leq i \ leq n \\ \ lambda_ { n + 1} + 1 = 0 \\ \ mu_ {n + 1} +1 = 0 \\-\ lambda \在K_2 ^ *（= K_2）\\-\ mu \在K_1 ^ *（= K _ {\ infty}）\\-\ nu \ in R ^ k _ +$

或者，为了简化一点，

m a x_{l a m b d a ， m u ， n u} - b^{T} n u l a m b d a + m u + A^{T} n u = 0 | l a m b d a |_{2} l e q 1 | m u |_{i n f t y} l e q 1 - n u i n R_{+}^{k}

$\ max _ {\ lambda，\ mu，\ nu} -b ^ T \ nu \\ \ lambda + \ mu + A ^ T \ nu = 0 \\ \ | \ lambda \ | _2 \ leq 1 \\ \ | \ mu \ | _ {\ infty} \ leq 1 \\-\ nu \ in R ^ k _ +$

在哪里

| m u |_{i n f t y} = m a x_{i} | m u_{i} |

$\ | \ mu \ | _ {\ infty} = \ max_ {i} | \ mu_i |$ 。

进一步研究的链接：

关于圆锥对偶的一些知识

通常如何构建双重任务？

圆锥对偶

例子

More articles: