Comment Google utilise les outils Percolator, Dremel et Pregel ?

6 mars 2014

La plupart des internautes du monde utilisent Google comme moteur de recherche. Mais ils ne savent pas les systèmes,  procédés et expériences qui se cachent dans l’ombre de l’algorithme. Et pourtant Google est un véritable laboratoire scientifique où les meilleurs ingénieurs cherchent sans cesse à améliorer les signaux permettant de mieux classer les sites et leurs pages parmi une quantité incroyable de documents que constituent le world wide web.
En effet, un internaute demande à en savoir un peu plus sur des outils aux noms barbares.[clear]

Pouvez-vous fournir quelques détails sur la manière que Google utilise les outils Percolator, Dremel et Pregel ?

La réponse à cette question n’est pas simple, on rentre dans des domaines de compréhension basés sur les mathématiques. Le challenge de chaque ingénieur chez Google est de découvrir un élément plus efficace dans l’algorithme. Pour ce faire, ils utilisent des outils permettant de faire un grand nombre d’expériences et de tests.

Les outils Percolator, Dremel et Pregel

[accordions]
[accordion title=”Percolator”]Système de mise à jour des données en flux continu

Percolator-mise-a-jour-continueAfin de mieux comprendre ce que Percolator apporte dans le processus d’indexation chez Google, on peut faire comme Matt une analogie avec le train et le taxi.

Dans le passé avant Caffeine, l’algorithme réalisait les mises à jour par lot, planifiées pour intervenir à une date et heure précise. Comme un train, si on ratait l’horaire, il fallait attendre le prochain lot d’indexation pour que les mises à jour soient prises en compte.

Avec Percolator (nom de l’outil au sein de Caffeine), le système adapte ces MAJ en fonction du besoin. De ce fait, il agit un peu comme un taxi qui récupère les passagers au moment voulu.

L’indexation était réalisée par lot avant Caffeine, alors qu’elle est incrémentale depuis.

La doc technique en anglais sur Percolator (pdf)

[/accordion]
[accordion title=”Dremel “]Outil d’analyse et d’extraction rapide de requêtes sur les fichiers de données du web

Dremel-requete-des-bases-de-donneesSi vous avez déjà mis les main dans une base de données, vous savez que selon sa taille, une requête peut prendre quelques minutes avant de renvoyer des résultats.

Dremel est une architecture de base de données permettant de faire un grand nombre de requêtes à l’image de la taille du web, soit 1000 milliards de requêtes à la seconde.

Cet outil est utilisé en interne pour faire des extractions souhaitées et analyser les données récoltées.

La doc technique en anglais sur Dremel (pdf)

[/accordion]
[accordion title=”Pregel “]Outil de lecture de Graph à grande échelle

Pregel--point-et-ligneLes graphs sont les relations entre des éléments, comme le montre l’image ci-contre. Les points sont reliés par des traits (les backlinks). Néanmoins, la firme de Google a d’ailleurs popularisé le terme de graph avec le Knowledge graph.

Pregel est l’outil qui permet d’établir très rapidement les relations entre les différents éléments du web. De ce fait, pour que ce soit possible, il faut une infrastructure capable de mettre en relation très rapidement ces éléments et les classer sous forme de library, afin d’en faciliter l’accès ultérieur.
D’après l’article Googleresearch de 2009, l’implémentation du Page Rank ne nécessite que 15 lignes de code du fait de cette structure efficiente. Comme s’amuse à préciser Matt, ces 15 lignes ont probablement coûté très chères.

[/accordion]
[/accordions]

Les ingénieurs chez Google se servent de ces outils pour expérimenter en continu de nouvelles façons d’explorer le web et classer les pages. De plus, lorsque des améliorations sont mis en avant grâce à ces expériences, elles sont testées selon des protocoles et parfois implémenter dans l’algorithme tel qu’on le connait.

Ce qui fait d’ailleurs que Google cherche toujours à avoir une mesure d’avance sur ses concurrents.

Vidéo 4’05 5 mars

Rubrique de l'article: Google
Cbcf4390b9134261a05381ab86116e8a[1]

Nicolas Baccon

Fondateur de l’agence et passionné de la programmation web, du design, du marketing et des nouvelles technologies, je suis aussi rédacteur à mes heures perdues sur de nombreux sujets.

0 Commentaires

Nous joindre

Vous pouvez nous joindre par téléphone

Du lundi au vendredi, de 9h à17h30

04 84 49 28 73

PARLEZ-NOUS DE VOTRE
PROJET
AUTOUR D’UN CAFÉ


Adresse :

6384 rue Obsidienne
13510 Éguilles


Présentation en vidéo



eleifend dictum libero Sed vulputate, porta. Donec consectetur sed

Cookie Settings is not available. Cookie Consent is disabled or is just disabled for your country.

Cookies
Le site utilise des cookies pour suivre et améliorer votre expérience de navigation. En continuant à naviguer, vous nous autorisez à déposer des cookies.
Lire notre politique de confidentialité
Configurer Cookies
Accepter
Refuser
Cookies
Le site utilise des cookies pour suivre et améliorer votre expérience de navigation. En continuant à naviguer, vous nous autorisez à déposer un cookie à des fins de mesure d'audience.
Politique de confidentialité
Configurer
Accepter
Refuser