---
title: Proximal Gradient Algorithm Overview
url: https://www.emergentmind.com/topics/proximal-gradient-algorithm-pga
type: topic
---

# Proximal Gradient Algorithm Overview

L’algorithme du gradient proximé (Proximal Gradient Algorithm, PGA) est une méthode d’optimisation de premier ordre pour la minimisation des fonctions composites où l’objectif s’écrit comme la somme d’une fonction différentiable à gradient lipschitzien et d’un terme non-différentiable mais "proximable". La PGA occupe une place centrale en optimisation numérique moderne et fédère un cadre unifié pour le gradient classique, le gradient projeté, le seuillage itératif, les projections alternées, la méthode de Landweber contrainte, et de nombreuses variantes statistiques et analytiques parcimonieuses [2503.14479]. Elle s’impose dans la mécanique, le traitement du signal, les problèmes inverses, l’apprentissage automatique, la reconstruction d’images, les équations variationnelles, les statistiques, la recherche opérationnelle et le transport optimal.

## 1. Formulation mathématique et hypothèses

Considérons le problème composite :
\[
\min_{x \in \mathbb{R}^n} F(x) = f(x) + g(x)
\]
où :
- $f$ : $\mathbb{R}^n \rightarrow \mathbb{R}$, convexe, différentiable, $\nabla f$ est $L$-Lipschitz : $\| \nabla f(x) - \nabla f(y) \| \leq L \| x - y \|$
- $g$ : $\mathbb{R}^n \rightarrow \mathbb{R} \cup \{+\infty\}$, fermée, convexe, propre (éventuellement non-différentiable).

Exemples remarquables de $g$ :
- Indicateur d’un convexe $C$ ($g(x)=\iota_C(x)$) pour le gradient projeté,
- Norme $\ell_1$ pour la parcimonie (LASSO, ISTA),
- Variation totale pour le débruitage d’images.

La propriété clé : l’opérateur proximal de $g$ doit être facile à calculer :
\[
\mathrm{prox}_{\lambda g}(v) = \arg\min_{x} \left\{g(x) + \frac{1}{2\lambda}\|x - v\|^2 \right\}
\]

## 2. Principe et dérivation de l’itération PGA

À partir de $x_k$, on forme un modèle quadratique majeurant de $f$ autour de $x_k$ :
\[
f(x) \leq f(x_k) + \langle \nabla f(x_k), x - x_k \rangle + \frac{L}{2} \| x - x_k \|^2
\]
On minimise le surrogate :
\[
Q(x;x_k) = f(x_k) + \langle \nabla f(x_k), x - x_k \rangle + \frac{1}{2\alpha_k} \| x - x_k \|^2 + g(x)
\]
L’itération de gradient proximé émerge :
\[
x_{k+1} = \mathrm{prox}_{\alpha_k g}(x_k - \alpha_k \nabla f(x_k))
\]
avec $\alpha_k \in (0, 1/L]$ pour la stabilité et la décroissance garantie :
\[
F(x_{k+1}) \leq F(x_k) - \frac{1 - \alpha_k L}{2\alpha_k} \|x_{k+1} - x_k\|^2
\]

## 3. Convergence et accélération

- **Convergence sous convexité** : en prenant $\alpha_k = 1/L$ constant,
\[
F(x_k) - F(x^*) \leq \frac{L \|x_0 - x^*\|^2}{2k}
\]
accéléré par FISTA (Nesterov) jusqu’à $O(1/k^2)$ :
\[
F(x_k) - F(x^*) \leq \frac{2L \|x_0-x^*\|^2}{(k+1)^2}
\]

- **Non-convexité** : sous propriétés de croissance du second ordre autour d’un minimum local, et erreurs de proximalité qui décroissent assez vite, la convergence linéaire locale au minimum est assurée, même pour $\ell_p$-régularisation non-convexe avec $0<p<1$ [1708.07010].

- **Itérations inexactes** : les résolutions proximales peuvent être approximatives (tolérances adaptatives), et la convergence linéaire locale est préservée pour des erreurs contrôlées [1708.07010] [1612.09069].

## 4. Extensions, variantes et cas multidimensionnels

- **Distance de Bregman** : via un générateur strictement convexe $h$, l’algorithme s’étend en minimisant $g(x) + \langle \nabla f(x^k), x - x^k \rangle + \tfrac{1}{\gamma_k} D_h(x, x^k)$, aboutissant à des bornes de convergence plus serrées et à l’adaptativité de la métrique [1503.05601].

- **PGA multidimensionnel et tensoriel** : pour $X \in \mathbb{R}^{n_1 \times \dots \times n_d}$, PGA généralise aisément, la mise en œuvre du double-prox quand $g = \phi \circ \mathcal{L}$ grâce à la dualité de Moreau et aux splittings lagrangiens. Les accélérateurs de type GT-TET et HOSVD-MPE permettent une forte accélération pratique sans modification de la preuve de descente (extrapolation tensorielle) [2401.03031].

- **Proximal-Proximal-Gradient (PPG)** : pour des termes non-différentiables couplés, PPG offre un schéma embarrassingly parallel et direct (résolution simultanée ou stochastique des prox de chaque $h_j$), avec une étape de consensus et une correction gradient [1708.06908]. La convergence reste sous-linéaire ergodique (en $O(1/k)$) avec des stepsizes constants non-décroissants, et linéaire si une partie du problème est fortement convexe.

- **Stochastic, incremental, et subspace PGA** : en grande dimension ou pour $f$ à structure somme-finis, les variantes stochastiques utilisent des gradients estimés et ajustent leur précision adaptativement pour garantir les bornes de complexité optimales [2507.14479][1812.01655]. Le sampling adaptatif des sous-espaces identifiés lors de la résolution (active set, structure parcimonieuse) accroît l’efficacité pour l’exploration des directions pertinentes [2004.13356].

## 5. Accélération par inertie, identification de structure, et robustesse

- **Alternated inertia** : en alternant une correction inertielle (extrapolation) toutes les deux itérations, la monotonie stricte de la fonction objectif est conservée, sans oscillation typique de FISTA, et l’identification structurelle (parcimonie, support, rang, etc.) est stabilisée [1801.05589][1909.08944].

- **Identification ponctuelle et accélération prudente** : la réinitialisation sélective de l’inertie lors de l’entrée sur le bon modèle (support, manifold actif) permet de combiner la vitesse de FISTA avec la robustesse d’identification du gradient proximé classique [1909.08944].

- **Robustesse sous contraintes physiques** : en présence de contraintes de non-négativité (imagerie inverse), les étapes multiplicatives à base de "Sliding Sigmoid Operator" (SSO-PGA) stabilisent la convergence et évitent l’introduction de négatifs ou l’instabilité des divisions, surpassant PGA classique sur la stabilité et la performance [2510.23362].

## 6. Applications et comparaisons dans des domaines divers

La liste suivante présente quelques illustrations canoniques du PGA et de ses variantes dans des contextes concrets :

| Problème                | $f(x)$              | $g(x)$                     | Méthode spécialisée   |
|-------------------------|---------------------|----------------------------|----------------------|
| LASSO/Régularisation    | $½\|Ax-b\|^2$       | $\lambda\|x\|_1$           | ISTA/FISTA           |
| Rég. graphes/TV/Lap.    | $f(x)$ lisse        | $\sum \phi(x_i, x_j)$ sur E| Snake, PGA stochastique|
| Débruitage TV/Images    | $½\|u-f_{\text{bruit}}\|^2$ | $\lambda TV(u)$       | dual PGA/Douglas-Rachford|
| Apprentissage structuré | Sum-of-losses       | Overlapping norms/constraints| PPG, S-PPG           |
| Inpainting/Matrix       | $½\|P_\Omega(X-O)\|_F^2$ | $\lambda \sum_i \log(1+\sigma_i(X))$| niAPG, nmAPG|
| Signal/Audio            | $½\|h*x-y\|^2$      | $\lambda\|x\|_1$           | PGA, PANOC           |

Dans chaque cas, le choix du régularisateur $g$ et la facilité de calcul de $\mathrm{prox}_{g}$ sont déterminants.

## 7. Conseils de mise en œuvre et perspectives

- Choix du pas : $\alpha < 1/L$ si $L$ connu, sinon backtracking ou estimation locale.
- Critère d’arrêt : sur la norme du changement d’itéré ou progrès relatif sur l’objectif.
- Accélération : FISTA mais avec précautions sur le maintien de la structure active ; alternated inertia ou provisionally accelerated pour la stabilité structurelle [1801.05589][1909.08944].
- Extensions : Couplage linéaire, régularisation faible-convexité ($\ell_p$, pénalités minimax-concaves), multidimensionnalisation (tensors), probabilisation (EKF) pour l’incertitude [2510.27156][1812.01655].
- Robustesse et contraintes : pour les inverse problems non-négatifs, adopter des mises à jour multiplicatives contrôlées par SSO pour une stabilité renforcée [2510.23362].

En résumé, la méthode du gradient proximé structure l’essentiel de l’optimisation moderne des problèmes composites. Son cadre unificateur (séparation explicite des étapes lisses et non-lisses, opérateur proximal, adaptativité du pas) et la variété des variantes algorithmiques lui confèrent une expressivité exceptionnelle pour l’optimisation parcimonieuse, structurée, ou sous contraintes complexes, dans une multitude de domaines de recherche et d’application.

Source: https://www.emergentmind.com/topics/proximal-gradient-algorithm-pga