web scraping

Le web scraping a d'abord commencé comme une activité de programmation de niche, puis il est devenu un outil commercial essentiel de nos jours. L'évolution de la technologie a introduit des scripts automatisés qui peuvent extraire des données de manière plus efficace. Au fur et à mesure que les sites web sont devenus plus avancés, les techniques de web scraping ont également progressé. Cette progression constante influence la façon dont les entreprises utilisent les données web à grande échelle et avec un niveau de sophistication sans précédent.

Les web scrapers permettent d'extraire toutes sortes de données provenant de différentes pages web à des fins personnelles et/ou commerciales. Mais est-ce que cela nous garantit que toute information extraite est faite de façon légale? Certaines personnes peuvent interpréter le web scraping comme du vol, parce que cela implique de "prendre" les données de quelqu'un d'autre.

Il existe plusieurs outils et façons d'extraire des données d'un site Web, mais cet article va traiter sur une méthode assez connue en Python. Il s'agit de la librairie Beautiful Soup qui est un analyseur HTML.

Pour ce faire, il faut d'abord installer Beautiful Soup en ouvrant un terminal tel que Git Bash et saisir la commande suivante:

python -m pip install beautifulsoup4

Ensuite, ouvrir un éditeur de texte pour écrire un petit programme Python de base et saisir ces quelques lignes:

Tel que mentionné dans un article précédent, le web scraping est une méthode d'extraction de données de n'importe quel site Web. Mais quelles sont les principales utilisations du web scraping?

On compte 4 catégories de web scrapers que l'on va parcourir l'un après l'autre plus en détail:

• Auto-construit ou pré-construit
• Extension de navigateur vs logiciel
• Interface utilisateur
• Cloud vs local

Auto-construit ou pré-construit

Un "web scraper" auto-construit signifie que n'importe qui peut construire son propre outil de web scraping. Par contre, cela nécessite une forte connaissance en programmation, car il faut connaître les fonctionnalités que l'on veut développer pour cet outil. 

Le web scraping est une méthode d'extraction de données d'un site Web, que ce soit des indices boursiers, des statistiques, des noms d'employés et j'en passe. Les personnes qui ont recours à cette façon de faire utilisent l'information extraite afin de l'exporter dans un format qui leur seront plus utiles à leurs besoins. Il existe des outils automatisés pour du web scraping, mais les différents exemples d'outils seront présentés dans un prochain article.

Bonjour cher·e·s lecteur·rice·s,

Je suis Patrick Nguyen, finissant en Techniques de l’informatique, profil Développement d'applications Web et mobiles au Collège de Rosemont. Durant les semaines qui suivent, je vais publier un article qui porte sur un sujet qui m’intéresse: le web scraping.