Algorithmes et Discrimination : la construction du droit algorithmique passe par le RGPD

Le Droit algorithmique est en pleine construction, l’autorité de régulation italienne, le Garante, l’équivalent de la CNIL pour la France, le confirme par 2 décisions du 22 juillet 2021 concernant :

Deliveroo Italy S.R.L condamnée à une amende de 2,5 millions d’euros pour la violation de plusieurs articles du RGPD et notamment les articles 5 § 1(a), (c), (e), 13,22 § 3, 25,30.

Avec l’injonction de prendre des mesures pour vérifier périodiquement l’exactitude et la précision des résultats de ses systèmes algorithmiques et l’organisation des droits et garanties des personnes concernées par une décision algorithmique.

Foodinho à une amende de 2,6 millions d’euros.

 Avec la même injonction que pour Deliveroo pour la mise en conformité de opérations de traitement comprenant la prise de mesures appropriées pour la sauvegarde des droits et libertés fondamentales de la personne concernée

Ces 2 décisions visent des traitements algorithmiques à destination de salariés mais les principes dégagés sont d’application générale.

La légalité de la décision algorithmique repose sur la délivrance d’une information transparente sur le traitement qui doit inclure 2 éléments cumulatifs :

PREMIER ELEMENT DE LEGALITE : UNE INFORMATION PREALABLE ET SPECIFIQUE

Pour les 2 sociétés contrôlées, aucune n’avait délivré une information préalable sur :

•  L’existence d’un traitement algorithmique (article 12 du RGPD),
•  Et l' organisation des garanties pour les personnes concernées à contester la décision algorithmique la concernant. (article 12 et 22 § 3 RGPD).

Le traitement algorithmique devenait donc discriminatoire.

A titre d’exemple pour le contrôle du traitement algorithmique dans la décision Foodinho :

Les coursiers étaient notés par l’entreprise avec une valeur par défaut ajustée ensuite en fonction des caractéristiques et pondération suivantes :

1. Commentaire des clients (pouce en l’air ou en bas) pour 15 %,
2. Acceptation pour travailler pendant les heures de forte demande (-35 %)
3. Livraison commerçant (-5 %)
4. Comment livrer (-10 %)
5. Productivité (-35 %)

L’algorithme qui distribuait la réservation des créneaux de travail calculait un score pour proposer aux coursiers les créneaux de livraison à partir des 5 « Features »ci-dessus fixées par l’employeur pour apprécier la productivité des salariés.

Pour le Garante le choix de ces inputs d’entrée ne respectait pas les Droits des travailleurs au sens du RGPD, et des Droits fondamentaux visés par la Charte des Droits fondamentaux.

 Ce non-respect « des droits » visait l’obligation pour le responsable du traitement (l’employeur) de délivrer une information préalable « Ex Ante » ou avant le traitement sur :

•  Le fonctionnement du modèle prédictif incluant des explications sur les choix des « Features » et des inputs. (RGPD article 22§1)
• Avec la mention des garanties pour les salariés concernés par les décisions algorithmiques (octroi des tournées de travail) de pouvoir exercer leurs droits au titre des articles 15 à 22 du RGPD.

Aucune des 2 sociétés n’avait délivré une information « transparente » au sens de l’article 12 du RGPD sur ces 2 points.

En algorithmie la notion de transparence des algorithmes d’apprentissage machine est polysémique en fonction du contexte.

S’agissant de la transparence d’un algorithme vu sous l’angle de la loyauté on parlera davantage alors de ses propriétés extrinsèques.

Par contre s’il est question d’envisager la transparence de l’algorithme à destination d’une personne, il s’agira alors davantage de son « interprétabilité » pour lui permettre de donner un sens au traitement qui la concerne.

Alors que « l’explicabilité » de l’algorithme peut différer selon le système utilisé et ne recouvre pas la même chose.

En « apprentissage machine » ; ce qui était le cas pour les 2 décisions commentées ; « l’explicabilité » de l’algorithme concerne davantage tout ce qui « sort de l’apprentissage machine » c’est-à-dire la capacité de s’expliquer sur le déploiement de l’algorithme et donc de ses sorties.

 Ceci pour permettre à un être humain d’interpréter les étapes du parcours du calcul en différenciant les causes et les raisons.    

Une « information transparente » à raison de l’utilisation d’un traitement automatisé doit s’envisager à 2 niveaux :

•  Celui de l’interprétabilité à destination des personnes qui subissent la décision,
• Et celui de son explicabilité pour réserver les explications à donner en cas de demande d’exercice  par la personne concernée des garanties à pouvoir exercer ses droits, ou lors d'un contrôle de l’autorité compétente par exemple la CNIL ou du  juge en cas de recours judiciaire.

Le responsable de traitement doit dans la délivrance de son information viser à permettre à la personne concernée de comprendre :

•  Qu’elle fait l’objet d’une décision automatisée algorithmique, (Interprétabilité)
• Et qu’elle a des garanties effectives pour exercer ses droits à la « discussion » et à la « contestation » des effets du traitement. (Droits garantis par l’article 22§3 du RGPD). (Explicabilité)

Concernant plus particulièrement la société Deliveroo celle-ci fut dans l’impossibilité de s'expliquer sur la logique utilisée pour obtenir la décision algorithmique c’est-à-dire de justifier de « l’explicabilité » de ses modèles d’apprentissage machine et des sorties des décisions prises.

L’impossibilité de justifier de l’explicabilité du système d’apprentissage machine constitue  au sens du mécanisme d’application de l’article 22 §3 du RGPD;  une  présomption d’un fonctionnement discriminatoire de l’algorithme.

 La sanction est sévère puisque pour l’autorité de contrôle italienne le manque d’explicabilité constitue un défaut de transparence du traitement rendant la décision algorithmique irrégulière.

SECOND ELEMENT DE LEGALITE : UNE INFORMATION PREALABLE MENTIONNANT POUR LA PERSONNE CONCERNEE SES GARANTIES POUR CONTESTER LE DECISION ALGORITHMIQUE

Une information transparente au sens de l’article 12 du RGPD comprend l’énonciation des garanties prévues par l'article 22 § 3 du RGPD consistant à organiser pour la personne concernée les conditions dans lesquelles elle pourra:

• exprimer son point de vue sur la décision,
• demander le cas échéant un examen par une personne humaine,
• et si nécessaire  contester.la décision 

Dans les 2 cas examinés par le Garante italien aucune des 2 entreprises n’avait rédigé une information comprenant les 2 points commentés ci-dessus.

Ceci rendait les traitements algorithmiques irréguliers pour défaut du respect du principe de transparence.

En plus des 2 amendes prononcées, les 2 sociétés sont invitées par l’autorité de contrôle à modifier leur système de prise de décision algorithmique pour y intégrer les correctifs mentionnés ci-avant.

Conclusion provisoire : L'information transparente devient un enjeu de légalité pour les traitements algorithmiques de toute nature :

Ces 2 décisions  ont été diffusées sur le site de l’EDPB (Comité Européen de la Protection des données) avec un commentaire ce qui en démontre l'importance.

 La construction des droits des personnes concernées par une décision algorithmique est donc bien en cours.

Elle est garantie par le RGPD et les Droits fondamentaux prévus par la Charte des droits fondamentaux de l’Union Européenne.

Le message est clair pour les responsables de traitement et leurs équipes de Data Scientists.

Tout développement d’un projet Data utilisant des données à caractère personnel avec des technologies à base d’intelligence artificielle permettant de prendre des décisions automatisées (Prédiction et/ou évaluation) doit dès sa conception prévoir :

Une démarche Privacy et Ethique by Design dans les étapes de développement du projet Data et comprendre:

• La rédaction documentaire de la politique d’information transparente visée par les articles 12, 15 et 22 du RGPD pour assurer la réussite du projet Data dans sa mise en œuvre opérationnelle.

A court terme une nouvelle spécialité dans les métiers utilisant les techniques de la Data science s’annonce :

Le rédacteur « dédié  à l' Information Transparente des traitements », laquelle devra de plus n plus se concevoir dans les conditions proposées par l'article 12 § 7 et 8 du RGPD en mélangeant texte et icônes normalisées pouvant être lues par des machines.

 Ce rédacteur pourrait d’ailleurs être le DPO, qui a bien également à charge :

• Du contrôle de la transparence des informations sur les traitements issus des technologies avec le contrôle de l' Accountability du traitement, c'est à dire   du maintien de la transparence de la loyauté des   informations; tout au long du traitement.(RGPD article 5 § 1 (a ))

La transparence de l' information de l’article 12 du RGPD impose d’adjoindre aux équipes de Data Scientist  la compétence transversale d’un juriste au fait de ces diverses techniques relevant de la Data Science.

Mon cabinet peut vous accompagner et répondre à vos questions sur la rédaction de la police d'information de vos traitements algorithmiques, pour vérifier notamment le respect des éléments de la Transparence dont les enjeux de régularité sont loin d’être négligeables.

Article rédigé à Marseille le 06 Août 2021

Véronique RONDEAU ABOULY

Avocat au barreau de Marseille et  DPO externe.

La rédaction de cet article a été conçue et organisée pour vous soumettre des informations utiles, des axes de réflexion pour une utilisation personnelle ou à visée professionnelle.

Il est mis à jour régulièrement, mais dans un contexte réglementaire et jurisprudentiel évoluant, nous soulignons que nous ne pouvons être responsables de toute péremption du contenu, ou de toute erreur juridique et/ou inexactitude qui pourrait se révéler en fonction de l’évolution,  le lecteur voudra bien considérer qu’en tout état de cause, pour une application personnalisée, chaque cas est unique et que bien sûr, le cabinet reste à votre disposition si vous avez une question précise à poser en lien avec cet article, nous nous ferons un plaisir de collaborer avec vous, n’hésitez pas à prendre contact ou à nous téléphoner.

Mots Clefs :

RGPD- Décision algorithmique- explicabilité et interprétabilité de l’algorithme - Droits fondamentaux- Transparence de l’information-

Crédit Photo : Image par Geralt Altmann (Licence Pixabay)

Retour