La
technologie n’est pas neutre : elle reproduit les préjugés et les
inégalités du monde qui l’a créée. C’est l’ethnographe américaine danah
boyd qui nous alerte, racontant ses débuts sur le Net.
J’ai grandi dans une petite ville de Pennsylvanie.
Je ne trouvais pas ma place. J’étais geek et j’étais queer et
l’hypocrisie de ma communauté me révoltait. Quand je suis arrivée sur
Internet (c’était avant l’invention du World Wide Web), j’ai été
émerveillée comme un enfant.
Dans ces premières communautés en ligne, j’ai
rencontré des gens qui m’ont ouvert les yeux sur certains problèmes
sociaux, et m’ont aidée à penser des questions que j’avais du mal à
comprendre.
Des activistes transgenres m’ont aidée à comprendre ce qu’est le genre, des soldats à comprendre ce qu’est la guerre.
Aujourd’hui encore, quand je repense à cette
période, je me dis souvent qu’Internet a été ma planche de salut : tous
les « étrangers » que j’y ai rencontrés m’ont permis de devenir ce
que je suis aujourd’hui. C’est à cette époque que je suis tombée
amoureuse d’Internet, d’un portail qui ouvrait sur la société complexe
et interconnectée qui est la nôtre.
Le meilleur et le pire
J’ai étudié l’informatique : je voulais concevoir
des systèmes qui créeraient des liens entre les gens et aboliraient les
barrières sociales.
Mon univers était plus large et j’ai vite compris
qu’Internet était surtout une plateforme, et que les gens y faisaient le
meilleur et le pire. Je voyais des activistes utiliser la technologie
pour connecter les gens comme jamais auparavant – et des marketeurs
utiliser les mêmes outils pour manipuler les gens et faire des profits.
J’ai alors cessé de croire que la technologie ferait à elle seule avancer le monde.
Naissance des réseaux sociaux
A la fin des années 90, la hype autour d’Internet
avait créé une bulle énorme. Il devenait évident que de puissants
intérêts économiques étaient à l’œuvre dans l’évolution de la
technologie.
Après l’éclatement de la bulle des « dotcoms » en
2000, j’ai fait partie d’un réseau de gens décidés à concevoir des
systèmes qui permettraient aux gens de se connecter les uns aux autres,
de partager et de communiquer. J’étais alors devenue chercheuse, j’avais
été formée par des anthropologues et j’étais curieuse de voir ce que
les gens allaient faire des nouveaux outils qu’on appelait « réseaux
sociaux ».
A leurs débuts, j’ai vu les gens prendre conscience
qu’ils faisaient partie d’un énorme réseau mondial. C’était exaltant.
Mes amis enclins à l’utopie se remirent à rêver : on allait pouvoir
utiliser cette structure pour abolir les barrières sociales et
culturelles... Mais quand ces outils ont commencé à être utilisés par
tout le monde, on a vu émerger, non les désirs utopiques des premiers
développeurs, mais une complexité de pratiques qui ressemblait beaucoup
au chaos de la vie ordinaire. [...]
Les Noirs sur MySpace
Sans surprise, quand les réseaux sociaux ont
explosé, la technologie s’est trouvée prise dans les questions de classe
et de race [les Américains n’ont pas le même rapport au mot que les Français, ndlr] qui travaillent le pays.
Je me souviendrai encore d’un jour de 2007, où
j’étais assise avec une jeune femme blanche de 15 ans, que j’appellerai
Kat. Nous parlions de sa vie, et elle a remarqué en passant que tous ses
amis avaient quitté MySpace pour aller sur Facebook, qui était plus sûr
et qu’il ne se passait rien sur MySpace. J’ai dû lui jeter un regard
qui l’a mise mal à l’aise parce qu’elle a commencé à se tortiller en
baissant les yeux et a dit :
« Ce n’est pas vraiment raciste mais j’imagine qu’on pourrait dire ça. Je suis pas trop à fond dans le racisme mais je pense que MySpace est devenu plus, genre, ghetto, quoi. »
Mark Zuckerberg, le 21 avril 2010 à San Francisco -
Je ne m’attendais pas à ça. Je lui ai posé d’autres
questions : je voulais en savoir plus, comprendre comment elle voyait
les choses.
« Les gens qui utilisent MySpace – et une fois de plus, ce n’est pas raciste –, c’est souvent plus des gens qui aiment le hip-hop et le rap, des trucs plus ghetto. »
Un peu plus tard, elle m’a dit que les Noirs utilisent MySpace et que les Blancs utilisent Facebook.
J’ai relu mes notes de terrain
Fascinée par l’explication de Kat et par sa gêne,
j’ai relu mes notes de terrain. Et de fait, de nombreux ados avaient
fait des remarques qui, si on les lisait en gardant en tête l’histoire
de Kat, montraient bien qu’un fossé social s’était creusé entre les deux
sites, pendant l’année 2006-2007.
J’ai commencé à interroger les ados et j’ai
rapidement recueilli plus de témoignages sur les façons dont la race
influait sur les modes d’utilisation de la technologie.
Ce n’était pas la première fois que mes recherches mettaient en évidence des divisions raciales.
La migration des Blancs
J’avais cartographié les réseaux d’ados d’une même
école sur MySpace et découvert que même dans les écoles « bien
intégrées », les amitiés se distribuaient selon la race. Et j’avais vu
et entendu d’innombrables exemples des façons selon lesquelles la race
configure les dynamiques sociales qui émergent via les réseaux sociaux.
Dans notre société prétendument « post-raciale »,
les relations sociales et les dynamiques restaient configurées par la
race. Mais aujourd’hui, les jeunes n’ont pas de vocabulaire pour parler
des questions de race, ou interpréter ce qu’ils voient.
C’est ainsi qu’en 2006-2007, je vis se reproduire en ligne un phénomène que l’histoire connaissait bien : un « White Flight »
numérique. MySpace était décrit comme les centre-villes américains des
années 70 : un endroit dangereux où traînaient des personnages
malfamées, alors que Facebook était respectable et sans danger.
Celui qui a l’argent
Facebook avait avec lui l’argent, les médias et les
utilisateurs les plus privilégiés et il est devenu l’acteur dominant du
marché. Aujourd’hui, tout le monde va sur Facebook. Les divisions
raciales, elles, ont seulement migré de technologie : entre Instagram
et Vine, par exemple.
Les ados n’ont pas créé les dynamiques racialisées
des réseaux sociaux : ils n’ont fait que reproduire ce qu’ils voyaient
ailleurs et le projetaient sur leurs outils.
Ils n’étaient d’ailleurs pas les seuls.
Journalistes, parents, politiciens et éditocrates leur fournissaient un
langage raciste qu’ils reprenaient ensuite. Aujourd’hui, la valeur d’une
technologie dépend – culturellement et financièrement – de l’usage
qu’en font les membres les plus privilégiés de notre société. [...]
Jusque dans les pubs sur Google
Le « Big data » est un concept flou, qui englobe
un certain nombre de technologies et de pratiques d’analyse de données
massives. Cependant, aujourd’hui, le big data est surtout un phénomène
de société, qui promet qu’on pourra résoudre tous les problèmes dans le
monde, si seulement on arrive à recueillir un peu plus de données.
Pourtant, la question que pose le big data n’est pas : avons-nous assez
de données ? Mais bien : pouvons-nous en tirer du sens et des savoirs
susceptibles d’éclairer le social ?
Je voudrais raconter un exemple, l’histoire de Latanya Sweeney,
une brillante informaticienne. Latanya cherchait un jour son propre nom
sur Google quand elle a remarqué que toutes les publicités qui
apparaissaient proposaient des services de recherche d’antécédents
criminels. Elles avaient des titres du genre de : « Latanya Sweeney :
a-t-elle déjà été arrêtée ? » qui suggéraient qu’il était bien
possible qu’elle ait un casier judiciaire.
Intriguée, Latanya a lancé d’autres recherches sur
Google, avec des noms plus blancs. Dans ces cas-là, les publicités
proposées étaient bien différentes. Elle a alors lancé un test plus
systématique et découvert qu’en effet, si on cherchait des noms noirs
sur Google, on avait plus de chance de voir des publicités pour des
services et des produits relatifs à la justice pénale.
Ce que le grand public n’a pas compris
L’histoire a été largement relayée par les médias.
Mais ce que le grand public n’a pas vu, c’est que Google ne faisait pas
de discrimination volontaire et qu’il ne vendait pas non plus ses
publicités sur une base raciale. Google n’avait aucune idée du contenu
des publicités. Il savait juste que ses utilisateurs cliquaient plus
souvent sur ces pubs quand ils faisaient certaines recherches et qu’il
valait donc mieux proposer ces pubs en lien avec des recherches
statistiquement similaires.
En d’autres termes : comme les utilisateurs
racistes étaient plus susceptibles de cliquer sur ces publicités quand
ils cherchaient des noms noirs, l’algorithme de Google se transformait
pour proposer ces publicités en lien avec des noms identifiés comme
noirs.
Pour le dire encore autrement : Google devenait raciste parce que ses utilisateurs racistes l’entraînaient à l’être.
Le système « prédit »
Les préjugés de notre culture sont profondément
inscrits dans d’innombrables bases de données, que nos systèmes
utilisent pour apprendre et évoluer.
- Les étudiants noirs ont plus de chance d’avoir déjà reçu des mesures disciplinaires à l’école que les étudiants blancs.
- Les hommes noirs ont beaucoup plus de chances d’être arrêtés et contrôlés dans la rue, d’être arrêtés pour possession de drogue ou condamnés pour des délits, même quand leurs pairs blancs se comportent de la même façon.
- Les pauvres ont bien plus de chances d’avoir des problèmes de santé, d’habiter plus loin de leur travail et d’avoir des difficultés à payer leur loyer.
Pourtant, tous ces paramètres, toutes ces
données servent de base à des algorithmes évolutifs [ « learning
algorithms », ndlr] personnalisés, à des outils judiciaires d’évaluation
des risques, à l’établissement de scores de crédit et d’assurance.
Ainsi, le système « prédit » que les gens qui sont déjà marginaux sont
les personnes les plus à risques – et en conséquent, restreignent
encore plus leurs options et s’assurent ainsi qu’ils deviennent ainsi,
effectivement, des personnes plus à risques.
Quand mes pairs et moi avons imaginé des outils avec
lesquels on pouvait cartographier tout le réseau de ses connaissances
ou rendre public ses intérêts et ses goûts, ce n’est pas à ça que nous
pensions. Nous n’avions pas créé des architectures pour reproduire les
préjugés, mais nous n’avions pas conçu de systèmes pour les combattre
non plus. [...]
Que faire de ces informations ?
Comment utiliser les données ? Il n’y a pas de
réponse simple. Un de mes collègues à Microsoft Research – Eric Horvitz –
peut prédire avec une précision stupéfiante si quelqu’un va être
hospitalisé, en se fondant sur ses recherches internet. Que doit-il
faire de cette information ? Prévenir les personnes en question ?
C’est plutôt intrusif et effrayant. Ne rien faire, alors ? Mais est-ce
bien éthique ?
Quelle que soit la précision de nos prédictions, la
question de leur utilisation est épineuse, sur le plan culturel comme
social. Et la technologie ne résoudra pas ça pour nous.
Au contraire : pour l’instant, la technologie nous
empêche d’avoir un débat sain sur la capacité d’action, la dignité, la
responsabilité et l’éthique.
Au bord d’un nouveau précipice
Les données, c’est le pouvoir. Or, nous voyons de
plus en plus les données être utilisées pour dominer les gens. Cette
situation n’est pas inéluctable – mais je sais aujourd’hui,
d’expérience, que quand on laisse une technologie se développer sans la
contraindre, elle finit presque toujours par profiter aux plus
privilégiés aux dépens de tous les autres.
Nous sommes au bord d’un nouveau précipice. La
plupart des activistes des médias concentrent leurs efforts sur la
question du libre accès à Internet. Bien sûr, c’est une question
cruciale. Mais je voudrais vous inciter à pousser la réflexion encore
plus loin.
Nous sommes en train d’entrer dans un monde de
prédictions, où de plus en plus de gens vont pouvoir juger d’autres
gens, grâce à des données.
L’analyse de ces données pourra évaluer combien
valent les gens, en tant que travailleurs, parents, emprunteurs,
apprenants et citoyens. Ces analyses existent depuis des décennies mais
elles pèsent de plus en plus dans la prise de décision, dans de nombreux
secteurs. Et la plupart des gens ne comprennent pas du tout comment
elles fonctionnent. [...]
Cours de techno pour tous
Un des plus gros problèmes aujourd’hui, c’est que
les concepteurs et les utilisateurs des outils qui façonnent le futur se
ressemblent tous énormément.
Dans la plupart des écoles américaines, l’éducation
statistique et technique ne figure pas dans les programmes. Alors que
les emplois liés à la technologie sont bien payés et qu’il faut
aujourd’hui une certaine connaissance technique minimale pour pouvoir
être citoyen à part entière, moins de 5% des lycées offrent des cours
d’informatique avancés. Pour les jeunes de couleurs [ « black and
brown », ndlr], les chances d’accéder à ces cours sont encore plus
minces.
Si les gens ne comprennent pas comment agissent et
fonctionnent ces systèmes, comment imaginer qu’ils pourront s’y
opposer ? [...]
Si nous voulons un monde meilleur...
De plus en plus, la technologie est appelée à jouer
un rôle central dans tous les secteurs, toutes les communautés et toutes
les interactions. On peut pousser les hauts cris ou rêver d’un monde où
tous les problèmes disparaissent comme par magie : c’est la solution
facile.
Mais si nous voulons vraiment créer un monde
meilleur, nous allons devoir faire réellement attention aux outils qui
apparaissent, et apprendre à poser des questions qui fâchent : comment
peut-on s’en servir pour améliorer la vie des gens ordinaires ?
Aujourd’hui plus que jamais, pour le bien de tous,
ceux qui se préoccupent de justice sociale doivent comprendre la
technologie, et ceux qui comprennent la technologie doivent s’engager
pour la justice sociale.
danah boyd (elle tient aux minuscules) a publié ce texte, issu d'une conférence en octobre 2015, sur son blog. Nous l'avons traduit et raccourci, avec sa permission. Les intertitres sont de la rédaction. Claire Richard
http://rue89.nouvelobs.com/
http://rue89.nouvelobs.com/
Les algorithmes sont-ils vraiment tout-puissants ?
Aucun
de nos clics, de nos tweets ou de nos « like » n'y échappe : les
algorithmes recoupent toutes nos données pour mieux nous cerner. Mais
pour le sociologue Dominique Cardon, ces espions ne sont pas forcément
nos ennemis...
Qu'est-ce qu'un algorithme
? A peine a-t-on formulé cette question que les algorithmes nous
mesurent déjà sur Facebook, nous talonnent sur Amazon, nous conseillent
sur Netflix. Et nous submergeront bientôt dans nos voitures
intelligentes et nos domiciles remplis de capteurs ? Omniprésentes, ces
instructions informatiques invisibles charpentent de plus en plus nos
existences, sans qu'on parvienne à les réduire à leur condition mortelle
(ils sont fabriqués de la main de l'homme). « Un algorithme fonctionne
comme une suite d'ingrédients qu'il faut ajouter dans le bon ordre si on
ne veut pas rater le plat », résume le sociologue Dominique Cardon,
pour nous rassurer un peu. Dans son dernier ouvrage, A quoi rêvent les algorithmes,
il entreprend un combat salutaire : ramener ces nouveaux totems dans le
champ politique. Pour ne pas laisser ceux qui les élaborent dicter leur
loi.
Existe-t-il de bons et de mauvais algorithmes ?
Un algorithme en lui-même n'est ni bon ni mauvais, c'est le
dispositif dans lequel on l'installe qui va produire des effets
désirables ou indésirables. Plus qu'un débat pour ou contre les
algorithmes, il faut porter un regard politique sur les effets qu'ils
cherchent à produire. La question politique qu'ils nous adressent est la
suivante : comment voulons-nous être calculés ? Et, est-ce aux
plateformes de décider pour nous des calculs qu'elles nous imposent ? On
devrait par exemple débattre dans l'espace public pour savoir si l'on
veut qu'un moteur de recherche nous montre à tous les mêmes résultats,
si la recommandation musicale doit nous faire écouter ce qu'on aime déjà
ou ce que l'on ne connaît pas, etc. Les algorithmes produisent des
mondes, mais si on les fait fonctionner autrement, ils peuvent dessiner
d'autres mondes.
En vingt ans, expliquez-vous, les méthodes pour mesurer nos
comportements numériques n'ont cessé d'évoluer. Mais sommes-nous devenus
plus faciles à cerner pour autant ?
Il existe différentes familles d'algorithmes, et elles ne mesurent
pas toutes la même chose. On peut mettre en avant la popularité avec les
chiffres d'audience, le nombre de pages vues sur un site, par exemple ;
l'autorité des informations, en fonction de leur place dans les moteurs
de recherche ; la réputation, avec les compteurs des réseaux sociaux...
Et, de plus en plus, les calculateurs du Web proposent une prédiction
personnalisée à travers les techniques de machine learning, soit «
l'apprentissage automatique », une expression qui tend à remplacer celle
d'« intelligence artificielle ». Nous livrons toujours plus
d'informations aux calculateurs à travers nos clics, nos « like », nos
tweets et beaucoup d'autres traces inaperçues. Mais ces traces ne
donnent de nous qu'une image partielle, incertaine et discontinue.
Contrairement au discours en vogue, avoir beaucoup de données ne veut
pas dire que les algorithmes nous « comprennent » bien. Ils sont souvent
très approximatifs.
Est-ce devenu impossible de critiquer les algorithmes ?
Les algorithmes entrent dans le débat public, ils fascinent autant
qu'ils effraient. Mais disserter sur la supériorité ontologique des
humains ou des machines est vain. Si la situation est aussi grave que ce
qu'on entend parfois, si nous vivons sous le règne de calculateurs qui
rationalisent nos désirs et ont pris le pouvoir sur nos existences,
alors oui, il faut s'armer contre les machines. Mais la vision d'une
emprise totalitaire des calculs sur nos vies est un diagnostic erroné.
Leur manière de nous gouverner est plus subtile. Ils construisent un
environnement qui oriente sans contraindre, qui guide sans obliger. En
fait, comme le disait Michel Foucault du néolibéralisme, ils ont besoin que nous prenions la liberté de faire des choix.
Nous sommes entrés dans une société des calculs. Pourtant, la
mesure statistique a accompagné de longue date la croissance de nos
sociétés libérales. Qu'est-ce qui a changé ?
Ces nouvelles techniques de calcul fabriquent des représentations de
la société. Et inversement, la transformation qui s'opère actuellement
dans la manière de calculer les données épouse les mutations
sociopolitiques de nos sociétés. La statistique sociale a longtemps
représenté la société « par le haut » à travers des catégories et des
conventions qui permettaient de décrire les univers sociaux sans
pénétrer dans l'intimité des individus. Le refus actuel d'appartenir à
une catégorie, la diversification des trajectoires de vie, l'éclectisme
des goûts et des consommations, tout se passe comme si les nouveaux
calculateurs numériques avaient entendu ces nouvelles attentes et
proposaient leur solution : calculer la société « par le bas », depuis
les comportements individuels. La limite est que ces nouveaux
algorithmes prédisent des phénomènes sans en comprendre les causes. On
ne cherche pas à expliquer pourquoi les enfants issus de familles aisées
ont plus de chance de réussir leurs études, par exemple. On passe de
l'explication à la prédiction, d'une société qui cherche à se comprendre
comme un système à une société en quête d'efficacité.
Nous produisons de plus en plus de données, notamment sur les
réseaux sociaux. Qu'est-ce que cela change à la construction des
algorithmes ?
Les mesures d'audience, de popularité et d'autorité représentent la
société dans son ensemble. Le Web social, lui, a fait éclater ces
mesures pour offrir une vision décentralisée qui correspond à nos
cercles d'affinité. Les réseaux sociaux ont mis fin à l'idée selon
laquelle la représentation de l'information devrait être la même pour
tous. Au final, ce n'est pas Facebook qui nous enferme dans une bulle
algorithmique, comme on peut souvent le lire : c'est notre réseau
d'amis. S'ils se ressemblent, les informations qui nous parviennent se
ressemblent aussi. En individualisant la hiérarchie des informations,
l'algorithme renvoie la responsabilité vers les choix de l'internaute.
Il lui dit : « Si tu es curieux, je te rendrai encore plus curieux. Si
tu ne l'es pas, tant pis pour toi. »
On parle beaucoup de « big data », de « mégadonnées ». Y
a-t-il aujourd'hui une sorte de religion du calcul, voire un nouveau
scientisme ?
Il faut nous désenvoûter de cette vision, sortir de l'opposition
complice entre les enthousiastes et les effrayés. Les algorithmes ne
doivent pas nous intimider et il ne faut pas renoncer à les comprendre
et à les critiquer. Le mythe scientiste de la Silicon Valley est une
rêverie qui semble dire : « La nature va parler, on va l'enregistrer et,
même si on n'y comprend rien, les algorithmes vont décoder les lois de
la nature pour faire des prédictions efficaces. » Il se dit que, si l'on
observe de très bas, on verra une société non déformée par les
ambitions des politiques, la subjectivité des humains et le poids des
institutions. Les zélotes des algorithmes rêvent d'une représentation
exacte du monde, à l'instar de Google par exemple. En réalité, ça ne
marche pas si bien que ça : Google Flu Trends, l'outil qui voudrait
prédire les épidémies de grippe, se trompe régulièrement, alors qu'il
s'appuie sur la corrélation entre des mots-clés et la géolocalisation,
relativement simple.
Pourtant, les géants du Net ont bâti leur modèle économique sur les algorithmes.
Les bons calculateurs opèrent dans un espace où ils peuvent parfaire
leurs calculs avec des traces très simples : Amazon sait qui achète ;
Google sait qui clique ; Facebook sait combien de temps on passe sur une
page. L'exploitation de ces « traces de comportements » est essentielle
à l'économie de ces plateformes, mais elle devient l'instrument de leur
hégémonie. Ces traces fouillent dans la vie privée, et cette
architecture rend les données captives des grandes plateformes.
Quel danger cela présente-t-il pour la société ?
Les différentes familles de calcul produisent des effets différents
et parfois contradictoires. Les compteurs de popularité encouragent la
concentration mondiale de l'attention. Les mesures méritocratiques de
l'autorité contribuent à séparer 1 % d'« excellents » des 99 % de «
médiocres » en créant des phénomènes d'inégalités au profit d'un tout
petit nombre d'élus ; les mesures de réputation, comme sur Facebook,
contribuent à livrer les individus à eux-mêmes — c'est-à-dire, à leur
capital social et culturel — pour découvrir de nouveaux horizons.
L'algorithme laisse les inégalités sociales et culturelles se reproduire
d'elles-mêmes. Et peut-être même, les renforce-t-il. Enfin, les
techniques de recommandation prédictive se glissent dans nos
comportements pour nous surveiller et nous guider. Cela fait beaucoup de
risques.
Mais lorsqu'on sait en user de façon adroite et stratège, ces outils
offrent aussi des opportunités inédites. Par exemple, à la différence
des formes statistiques traditionnelles, ils ne sont pas obsédés par la
moyenne et ne cherchent pas à toujours ramener nos comportements vers le
centre. Pour toutes les curiosités minoritaires et périphériques, ils
offrent un moyen d'explorer des espaces d'information originaux, sous le
radar des conformismes majoritaires. Si vous écoutez beaucoup de rock
indépendant sur Spotify ou Deezer, l'algorithme vous offrira des
suggestions bien plus fines que si vous vous cantonnez au Top 50.
Comment reprendre le contrôle des algorithmes ?
Nous devons mettre au point des curseurs pour pouvoir les régler,
être acteurs du couple que nous formons avec eux. Il faut aussi être
vigilant sur la question de la « loyauté » des calculs car on ne sait
pas s'ils font ce qu'ils prétendent faire. Ils peuvent par exemple
produire de la discrimination parce qu'ils n'en connaissent pas les
critères. Il est important que chercheurs, associations et société
civile développent des outils pour « auditer » les algorithmes, les
mettre en débat, questionner leur fonctionnement, opposer aux calculs
d'autres calculs. Quand l'Europe essaie de faire un procès à Google — en
l'accusant d'abuser de sa position dominante sur les moteurs de
recherche —, elle veut le prouver avec des captures d'écran des services
concernés. Elle devrait user d'autres moyens, des machines virtuelles
et des statistiques. Mais surtout, il faut encourager une formation
critique aux calculs algorithmiques : cela devrait faire partie de
l'éducation numérique, cette nouvelle culture du code qui doit nous
accompagner dans nos usages.