lundi 2 novembre 2015

Google est devenu raciste parce que ses utilisateurs le sont

La technologie n’est pas neutre : elle reproduit les préjugés et les inégalités du monde qui l’a créée. C’est l’ethnographe américaine danah boyd qui nous alerte, racontant ses débuts sur le Net.
J’ai grandi dans une petite ville de Pennsylvanie. Je ne trouvais pas ma place. J’étais geek et j’étais queer et l’hypocrisie de ma communauté me révoltait. Quand je suis arrivée sur Internet (c’était avant l’invention du World Wide Web), j’ai été émerveillée comme un enfant.
Dans ces premières communautés en ligne, j’ai rencontré des gens qui m’ont ouvert les yeux sur certains problèmes sociaux, et m’ont aidée à penser des questions que j’avais du mal à comprendre.
Des activistes transgenres m’ont aidée à comprendre ce qu’est le genre, des soldats à comprendre ce qu’est la guerre.
Aujourd’hui encore, quand je repense à cette période, je me dis souvent qu’Internet a été ma planche de salut  : tous les «  étrangers  » que j’y ai rencontrés m’ont permis de devenir ce que je suis aujourd’hui. C’est à cette époque que je suis tombée amoureuse d’Internet, d’un portail qui ouvrait sur la société complexe et interconnectée qui est la nôtre.

Le meilleur et le pire

J’ai étudié l’informatique  : je voulais concevoir des systèmes qui créeraient des liens entre les gens et aboliraient les barrières sociales.
Mon univers était plus large et j’ai vite compris qu’Internet était surtout une plateforme, et que les gens y faisaient le meilleur et le pire. Je voyais des activistes utiliser la technologie pour connecter les gens comme jamais auparavant – et des marketeurs utiliser les mêmes outils pour manipuler les gens et faire des profits.
J’ai alors cessé de croire que la technologie ferait à elle seule avancer le monde.

Naissance des réseaux sociaux

A la fin des années 90, la hype autour d’Internet avait créé une bulle énorme. Il devenait évident que de puissants intérêts économiques étaient à l’œuvre dans l’évolution de la technologie.
Après l’éclatement de la bulle des « dotcoms » en 2000, j’ai fait partie d’un réseau de gens décidés à concevoir des systèmes qui permettraient aux gens de se connecter les uns aux autres, de partager et de communiquer. J’étais alors devenue chercheuse, j’avais été formée par des anthropologues et j’étais curieuse de voir ce que les gens allaient faire des nouveaux outils qu’on appelait «  réseaux sociaux  ».
A leurs débuts, j’ai vu les gens prendre conscience qu’ils faisaient partie d’un énorme réseau mondial. C’était exaltant. Mes amis enclins à l’utopie se remirent à rêver  : on allait pouvoir utiliser cette structure pour abolir les barrières sociales et culturelles... Mais quand ces outils ont commencé à être utilisés par tout le monde, on a vu émerger, non les désirs utopiques des premiers développeurs, mais une complexité de pratiques qui ressemblait beaucoup au chaos de la vie ordinaire. [...]

Les Noirs sur MySpace

Sans surprise, quand les réseaux sociaux ont explosé, la technologie s’est trouvée prise dans les questions de classe et de race [les Américains n’ont pas le même rapport au mot que les Français, ndlr] qui travaillent le pays.
Je me souviendrai encore d’un jour de 2007, où j’étais assise avec une jeune femme blanche de 15 ans, que j’appellerai Kat. Nous parlions de sa vie, et elle a remarqué en passant que tous ses amis avaient quitté MySpace pour aller sur Facebook, qui était plus sûr et qu’il ne se passait rien sur MySpace. J’ai dû lui jeter un regard qui l’a mise mal à l’aise parce qu’elle a commencé à se tortiller en baissant les yeux et a dit  :
«  Ce n’est pas vraiment raciste mais j’imagine qu’on pourrait dire ça. Je suis pas trop à fond dans le racisme mais je pense que MySpace est devenu plus, genre, ghetto, quoi.  »
Mark Zuckerberg, le 21 avril 2010 à San Francisco
Mark Zuckerberg, le 21 avril 2010 à San Francisco -
Je ne m’attendais pas à ça. Je lui ai posé d’autres questions  : je voulais en savoir plus, comprendre comment elle voyait les choses.
«  Les gens qui utilisent MySpace – et une fois de plus, ce n’est pas raciste –, c’est souvent plus des gens qui aiment le hip-hop et le rap, des trucs plus ghetto.  »
Un peu plus tard, elle m’a dit que les Noirs utilisent MySpace et que les Blancs utilisent Facebook.

J’ai relu mes notes de terrain

Fascinée par l’explication de Kat et par sa gêne, j’ai relu mes notes de terrain. Et de fait, de nombreux ados avaient fait des remarques qui, si on les lisait en gardant en tête l’histoire de Kat, montraient bien qu’un fossé social s’était creusé entre les deux sites, pendant l’année 2006-2007.
J’ai commencé à interroger les ados et j’ai rapidement recueilli plus de témoignages sur les façons dont la race influait sur les modes d’utilisation de la technologie.
Ce n’était pas la première fois que mes recherches mettaient en évidence des divisions raciales.

La migration des Blancs

J’avais cartographié les réseaux d’ados d’une même école sur MySpace et découvert que même dans les écoles «  bien intégrées  », les amitiés se distribuaient selon la race. Et j’avais vu et entendu d’innombrables exemples des façons selon lesquelles la race configure les dynamiques sociales qui émergent via les réseaux sociaux.
Dans notre société prétendument «  post-raciale  », les relations sociales et les dynamiques restaient configurées par la race. Mais aujourd’hui, les jeunes n’ont pas de vocabulaire pour parler des questions de race, ou interpréter ce qu’ils voient.
C’est ainsi qu’en 2006-2007, je vis se reproduire en ligne un phénomène que l’histoire connaissait bien : un « White Flight » numérique. MySpace était décrit comme les centre-villes américains des années 70  : un endroit dangereux où traînaient des personnages malfamées, alors que Facebook était respectable et sans danger.

Celui qui a l’argent

Facebook avait avec lui l’argent, les médias et les utilisateurs les plus privilégiés et il est devenu l’acteur dominant du marché. Aujourd’hui, tout le monde va sur Facebook. Les divisions raciales, elles, ont seulement migré de technologie  : entre Instagram et Vine, par exemple.
Les ados n’ont pas créé les dynamiques racialisées des réseaux sociaux  : ils n’ont fait que reproduire ce qu’ils voyaient ailleurs et le projetaient sur leurs outils.
Ils n’étaient d’ailleurs pas les seuls. Journalistes, parents, politiciens et éditocrates leur fournissaient un langage raciste qu’ils reprenaient ensuite. Aujourd’hui, la valeur d’une technologie dépend – culturellement et financièrement – de l’usage qu’en font les membres les plus privilégiés de notre société. [...]

Jusque dans les pubs sur Google

Le «  Big data  » est un concept flou, qui englobe un certain nombre de technologies et de pratiques d’analyse de données massives. Cependant, aujourd’hui, le big data est surtout un phénomène de société, qui promet qu’on pourra résoudre tous les problèmes dans le monde, si seulement on arrive à recueillir un peu plus de données. Pourtant, la question que pose le big data n’est pas  : avons-nous assez de données  ? Mais bien  : pouvons-nous en tirer du sens et des savoirs susceptibles d’éclairer le social  ?
danah boyd, en avril 2010
danah boyd, en avril 2010 - Eddie Kay/Wikimedia Commons/CC

Je voudrais raconter un exemple, l’histoire de Latanya Sweeney, une brillante informaticienne. Latanya cherchait un jour son propre nom sur Google quand elle a remarqué que toutes les publicités qui apparaissaient proposaient des services de recherche d’antécédents criminels. Elles avaient des titres du genre de  : «  Latanya Sweeney  : a-t-elle déjà été arrêtée  ?  » qui suggéraient qu’il était bien possible qu’elle ait un casier judiciaire.
Intriguée, Latanya a lancé d’autres recherches sur Google, avec des noms plus blancs. Dans ces cas-là, les publicités proposées étaient bien différentes. Elle a alors lancé un test plus systématique et découvert qu’en effet, si on cherchait des noms noirs sur Google, on avait plus de chance de voir des publicités pour des services et des produits relatifs à la justice pénale.

Ce que le grand public n’a pas compris

L’histoire a été largement relayée par les médias. Mais ce que le grand public n’a pas vu, c’est que Google ne faisait pas de discrimination volontaire et qu’il ne vendait pas non plus ses publicités sur une base raciale. Google n’avait aucune idée du contenu des publicités. Il savait juste que ses utilisateurs cliquaient plus souvent sur ces pubs quand ils faisaient certaines recherches et qu’il valait donc mieux proposer ces pubs en lien avec des recherches statistiquement similaires.
En d’autres termes  : comme les utilisateurs racistes étaient plus susceptibles de cliquer sur ces publicités quand ils cherchaient des noms noirs, l’algorithme de Google se transformait pour proposer ces publicités en lien avec des noms identifiés comme noirs.
Pour le dire encore autrement  : Google devenait raciste parce que ses utilisateurs racistes l’entraînaient à l’être.

Le système « prédit »

Les préjugés de notre culture sont profondément inscrits dans d’innombrables bases de données, que nos systèmes utilisent pour apprendre et évoluer.
  • Les étudiants noirs ont plus de chance d’avoir déjà reçu des mesures disciplinaires à l’école que les étudiants blancs.
  • Les hommes noirs ont beaucoup plus de chances d’être arrêtés et contrôlés dans la rue, d’être arrêtés pour possession de drogue ou condamnés pour des délits, même quand leurs pairs blancs se comportent de la même façon.
  • Les pauvres ont bien plus de chances d’avoir des problèmes de santé, d’habiter plus loin de leur travail et d’avoir des difficultés à payer leur loyer.
Pourtant, tous ces paramètres, toutes ces données servent de base à des algorithmes évolutifs [ « learning algorithms », ndlr] personnalisés, à des outils judiciaires d’évaluation des risques, à l’établissement de scores de crédit et d’assurance. Ainsi, le système «  prédit  » que les gens qui sont déjà marginaux sont les personnes les plus à risques – et en conséquent, restreignent encore plus leurs options et s’assurent ainsi qu’ils deviennent ainsi, effectivement, des personnes plus à risques.
Quand mes pairs et moi avons imaginé des outils avec lesquels on pouvait cartographier tout le réseau de ses connaissances ou rendre public ses intérêts et ses goûts, ce n’est pas à ça que nous pensions. Nous n’avions pas créé des architectures pour reproduire les préjugés, mais nous n’avions pas conçu de systèmes pour les combattre non plus. [...]

Que faire de ces informations ?

Comment utiliser les données  ? Il n’y a pas de réponse simple. Un de mes collègues à Microsoft Research – Eric Horvitz – peut prédire avec une précision stupéfiante si quelqu’un va être hospitalisé, en se fondant sur ses recherches internet. Que doit-il faire de cette information  ? Prévenir les personnes en question  ? C’est plutôt intrusif et effrayant. Ne rien faire, alors  ? Mais est-ce bien éthique  ?
Quelle que soit la précision de nos prédictions, la question de leur utilisation est épineuse, sur le plan culturel comme social. Et la technologie ne résoudra pas ça pour nous.
Au contraire  : pour l’instant, la technologie nous empêche d’avoir un débat sain sur la capacité d’action, la dignité, la responsabilité et l’éthique.

Au bord d’un nouveau précipice

Les données, c’est le pouvoir. Or, nous voyons de plus en plus les données être utilisées pour dominer les gens. Cette situation n’est pas inéluctable – mais je sais aujourd’hui, d’expérience, que quand on laisse une technologie se développer sans la contraindre, elle finit presque toujours par profiter aux plus privilégiés aux dépens de tous les autres.
Nous sommes au bord d’un nouveau précipice. La plupart des activistes des médias concentrent leurs efforts sur la question du libre accès à Internet. Bien sûr, c’est une question cruciale. Mais je voudrais vous inciter à pousser la réflexion encore plus loin.
Nous sommes en train d’entrer dans un monde de prédictions, où de plus en plus de gens vont pouvoir juger d’autres gens, grâce à des données.
L’analyse de ces données pourra évaluer combien valent les gens, en tant que travailleurs, parents, emprunteurs, apprenants et citoyens. Ces analyses existent depuis des décennies mais elles pèsent de plus en plus dans la prise de décision, dans de nombreux secteurs. Et la plupart des gens ne comprennent pas du tout comment elles fonctionnent. [...]

Cours de techno pour tous

Un des plus gros problèmes aujourd’hui, c’est que les concepteurs et les utilisateurs des outils qui façonnent le futur se ressemblent tous énormément.
Dans la plupart des écoles américaines, l’éducation statistique et technique ne figure pas dans les programmes. Alors que les emplois liés à la technologie sont bien payés et qu’il faut aujourd’hui une certaine connaissance technique minimale pour pouvoir être citoyen à part entière, moins de 5% des lycées offrent des cours d’informatique avancés. Pour les jeunes de couleurs [ « black and brown », ndlr], les chances d’accéder à ces cours sont encore plus minces.
Si les gens ne comprennent pas comment agissent et fonctionnent ces systèmes, comment imaginer qu’ils pourront s’y opposer  ? [...]

Si nous voulons un monde meilleur...

De plus en plus, la technologie est appelée à jouer un rôle central dans tous les secteurs, toutes les communautés et toutes les interactions. On peut pousser les hauts cris ou rêver d’un monde où tous les problèmes disparaissent comme par magie  : c’est la solution facile.
Mais si nous voulons vraiment créer un monde meilleur, nous allons devoir faire réellement attention aux outils qui apparaissent, et apprendre à poser des questions qui fâchent  : comment peut-on s’en servir pour améliorer la vie des gens ordinaires  ?
Aujourd’hui plus que jamais, pour le bien de tous, ceux qui se préoccupent de justice sociale doivent comprendre la technologie, et ceux qui comprennent la technologie doivent s’engager pour la justice sociale.
danah boyd (elle tient aux minuscules) a publié ce texte, issu d'une conférence en octobre 2015, sur son blog. Nous l'avons traduit et raccourci, avec sa permission. Les intertitres sont de la rédaction. Claire Richard
http://rue89.nouvelobs.com/

Les algorithmes sont-ils vraiment tout-puissants ?


Aucun de nos clics, de nos tweets ou de nos « like » n'y échappe : les algorithmes recoupent toutes nos données pour mieux nous cerner. Mais pour le sociologue Dominique Cardon, ces espions ne sont pas forcément nos ennemis...
Qu'est-ce qu'un algorithme ? A peine a-t-on formulé cette question que les algorithmes nous mesurent déjà sur Facebook, nous talonnent sur Amazon, nous conseillent sur Netflix. Et nous submergeront bientôt dans nos voitures intelligentes et nos domiciles remplis de capteurs ? Omniprésentes, ces instructions informatiques invisibles charpentent de plus en plus nos existences, sans qu'on parvienne à les réduire à leur condition mortelle (ils sont fabriqués de la main de l'homme). « Un algorithme fonctionne comme une suite d'ingrédients qu'il faut ajouter dans le bon ordre si on ne veut pas rater le plat », résume le sociologue Dominique Cardon, pour nous rassurer un peu. Dans son dernier ouvrage, A quoi rêvent les algorithmes, il entreprend un combat salutaire : ramener ces nouveaux totems dans le champ politique. Pour ne pas laisser ceux qui les élaborent dicter leur loi.
Existe-t-il de bons et de mauvais algorithmes ?
Un algorithme en lui-même n'est ni bon ni mauvais, c'est le dispositif dans lequel on l'installe qui va produire des effets désirables ou indésirables. Plus qu'un débat pour ou contre les algorithmes, il faut porter un regard politique sur les effets qu'ils cherchent à produire. La question politique qu'ils nous adressent est la suivante : comment voulons-nous être calculés ? Et, est-ce aux plateformes de décider pour nous des calculs qu'elles nous imposent ? On devrait par exemple débattre dans l'espace public pour savoir si l'on veut qu'un moteur de recherche nous montre à tous les mêmes résultats, si la recommandation musicale doit nous faire écouter ce qu'on aime déjà ou ce que l'on ne connaît pas, etc. Les algorithmes produisent des mondes, mais si on les fait fonctionner autrement, ils peuvent dessiner d'autres mondes.
En vingt ans, expliquez-vous, les méthodes pour mesurer nos comportements numériques n'ont cessé d'évoluer. Mais sommes-nous devenus plus faciles à cerner pour autant ?
Il existe différentes familles d'algorithmes, et elles ne mesurent pas toutes la même chose. On peut mettre en avant la popularité avec les chiffres d'audience, le nombre de pages vues sur un site, par exemple ; l'autorité des informations, en fonction de leur place dans les moteurs de recherche ; la réputation, avec les compteurs des réseaux sociaux... Et, de plus en plus, les calculateurs du Web proposent une prédiction personnalisée à travers les techniques de machine learning, soit « l'apprentissage automatique », une expression qui tend à remplacer celle d'« intelligence artificielle ». Nous livrons toujours plus d'informations aux calculateurs à travers nos clics, nos « like », nos tweets et beaucoup d'autres traces inaperçues. Mais ces traces ne donnent de nous qu'une image partielle, incertaine et discontinue. Contrairement au discours en vogue, avoir beaucoup de données ne veut pas dire que les algorithmes nous « comprennent » bien. Ils sont souvent très approximatifs.
Est-ce devenu impossible de critiquer les algorithmes ?
Les algorithmes entrent dans le débat public, ils fascinent autant qu'ils effraient. Mais disserter sur la supériorité ontologique des humains ou des machines est vain. Si la situation est aussi grave que ce qu'on entend parfois, si nous vivons sous le règne de calculateurs qui rationalisent nos désirs et ont pris le pouvoir sur nos existences, alors oui, il faut s'armer contre les machines. Mais la vision d'une emprise totalitaire des calculs sur nos vies est un diagnostic erroné. Leur manière de nous gouverner est plus subtile. Ils construisent un environnement qui oriente sans contraindre, qui guide sans obliger. En fait, comme le disait Michel Foucault du néolibéralisme, ils ont besoin que nous prenions la liberté de faire des choix.

Nous sommes entrés dans une société des calculs. Pourtant, la mesure statistique a accompagné de longue date la croissance de nos sociétés libérales. Qu'est-ce qui a changé ?
Ces nouvelles techniques de calcul fabriquent des représentations de la société. Et inversement, la transformation qui s'opère actuellement dans la manière de calculer les données épouse les mutations sociopolitiques de nos sociétés. La statistique sociale a longtemps représenté la société « par le haut » à travers des catégories et des conventions qui permettaient de décrire les univers sociaux sans pénétrer dans l'intimité des individus. Le refus actuel d'appartenir à une catégorie, la diversification des trajectoires de vie, l'éclectisme des goûts et des consommations, tout se passe comme si les nouveaux calculateurs numériques avaient entendu ces nouvelles attentes et proposaient leur solution : calculer la société « par le bas », depuis les comportements individuels. La limite est que ces nouveaux algorithmes prédisent des phénomènes sans en comprendre les causes. On ne cherche pas à expliquer pourquoi les enfants issus de familles aisées ont plus de chance de réussir leurs études, par exemple. On passe de l'explication à la prédiction, d'une société qui cherche à se comprendre comme un système à une société en quête d'efficacité.
Nous produisons de plus en plus de données, notamment sur les réseaux sociaux. Qu'est-ce que cela change à la construction des algorithmes ?
Les mesures d'audience, de popularité et d'autorité représentent la société dans son ensemble. Le Web social, lui, a fait éclater ces mesures pour offrir une vision décentralisée qui correspond à nos cercles d'affinité. Les réseaux sociaux ont mis fin à l'idée selon laquelle la représentation de l'information devrait être la même pour tous. Au final, ce n'est pas Facebook qui nous enferme dans une bulle algorithmique, comme on peut souvent le lire : c'est notre réseau d'amis. S'ils se ressemblent, les informations qui nous parviennent se ressemblent aussi. En individualisant la hiérarchie des informations, l'algorithme renvoie la responsabilité vers les choix de l'internaute. Il lui dit : « Si tu es curieux, je te rendrai encore plus curieux. Si tu ne l'es pas, tant pis pour toi. »
On parle beaucoup de « big data », de « mégadonnées ». Y a-t-il aujourd'hui une sorte de religion du calcul, voire un nouveau scientisme ?
Il faut nous désenvoûter de cette vision, sortir de l'opposition complice entre les enthousiastes et les effrayés. Les algorithmes ne doivent pas nous intimider et il ne faut pas renoncer à les comprendre et à les critiquer. Le mythe scientiste de la Silicon Valley est une rêverie qui semble dire : « La nature va parler, on va l'enregistrer et, même si on n'y comprend rien, les algorithmes vont décoder les lois de la nature pour faire des prédictions efficaces. » Il se dit que, si l'on observe de très bas, on verra une société non déformée par les ambitions des politiques, la subjectivité des humains et le poids des institutions. Les zélotes des algorithmes rêvent d'une représentation exacte du monde, à l'instar de Google par exemple. En réalité, ça ne marche pas si bien que ça : Google Flu Trends, l'outil qui voudrait prédire les épidémies de grippe, se trompe régulièrement, alors qu'il s'appuie sur la corrélation entre des mots-clés et la géolocalisation, relativement simple.
Pourtant, les géants du Net ont bâti leur modèle économique sur les algorithmes.
Les bons calculateurs opèrent dans un espace où ils peuvent parfaire leurs calculs avec des traces très simples : Amazon sait qui achète ; Google sait qui clique ; Facebook sait combien de temps on passe sur une page. L'exploitation de ces « traces de comportements » est essentielle à l'économie de ces plateformes, mais elle devient l'instrument de leur hégémonie. Ces traces fouillent dans la vie privée, et cette architecture rend les données captives des grandes plateformes.

Quel danger cela présente-t-il pour la société ?
Les différentes familles de calcul produisent des effets différents et parfois contradictoires. Les compteurs de popularité encouragent la concentration mondiale de l'attention. Les mesures méritocratiques de l'autorité contribuent à séparer 1 % d'« excellents » des 99 % de « médiocres » en créant des phénomènes d'inégalités au profit d'un tout petit nombre d'élus ; les mesures de réputation, comme sur Facebook, contribuent à livrer les individus à eux-mêmes — c'est-à-dire, à leur capital social et culturel — pour découvrir de nouveaux horizons. L'algorithme laisse les inégalités sociales et culturelles se reproduire d'elles-mêmes. Et peut-être même, les renforce-t-il. Enfin, les techniques de recommandation prédictive se glissent dans nos comportements pour nous surveiller et nous guider. Cela fait beaucoup de risques.
Mais lorsqu'on sait en user de façon adroite et stratège, ces outils offrent aussi des opportunités inédites. Par exemple, à la différence des formes statistiques traditionnelles, ils ne sont pas obsédés par la moyenne et ne cherchent pas à toujours ramener nos comportements vers le centre. Pour toutes les curiosités minoritaires et périphériques, ils offrent un moyen d'explorer des espaces d'information originaux, sous le radar des conformismes majoritaires. Si vous écoutez beaucoup de rock indépendant sur Spotify ou Deezer, l'algorithme vous offrira des suggestions bien plus fines que si vous vous cantonnez au Top 50.
Comment reprendre le contrôle des algorithmes ?
Nous devons mettre au point des curseurs pour pouvoir les régler, être acteurs du couple que nous formons avec eux. Il faut aussi être vigilant sur la question de la « loyauté » des calculs car on ne sait pas s'ils font ce qu'ils prétendent faire. Ils peuvent par exemple produire de la discrimination parce qu'ils n'en connaissent pas les critères. Il est important que chercheurs, associations et société civile développent des outils pour « auditer » les algorithmes, les mettre en débat, questionner leur fonctionnement, opposer aux calculs d'autres calculs. Quand l'Europe essaie de faire un procès à Google — en l'accusant d'abuser de sa position dominante sur les moteurs de recherche —, elle veut le prouver avec des captures d'écran des services concernés. Elle devrait user d'autres moyens, des machines virtuelles et des statistiques. Mais surtout, il faut encourager une formation critique aux calculs algorithmiques : cela devrait faire partie de l'éducation numérique, cette nouvelle culture du code qui doit nous accompagner dans nos usages.