{"id":329579,"date":"2023-03-06T15:12:12","date_gmt":"2023-03-06T14:12:12","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=pycharm&p=329579"},"modified":"2023-03-09T18:19:35","modified_gmt":"2023-03-09T17:19:35","slug":"utiliser-pycharm-pour-lire-les-donnees-d-une-base-de-donnees-mysql-dans-des-pandas","status":"publish","type":"pycharm","link":"https:\/\/blog.jetbrains.com\/fr\/pycharm\/2023\/03\/utiliser-pycharm-pour-lire-les-donnees-d-une-base-de-donnees-mysql-dans-des-pandas\/","title":{"rendered":"Utiliser PyCharm pour lire les donn\u00e9es d’une base de donn\u00e9es MySQL dans des pandas"},"content":{"rendered":"

Passer de la lecture d’un fichier CSV stock\u00e9 localement dans des pandas \u00e0 la connexion\u00a0 \u00e0 une base de donn\u00e9es pour l’interroger peut s’av\u00e9rer complexe. Dans cet article, nous expliquons comment lire des donn\u00e9es stock\u00e9es dans une base de donn\u00e9es MySQL dans des pandas et pr\u00e9sentons plusieurs fonctionnalit\u00e9s de PyCharm qui facilitent la r\u00e9alisation de ce type de t\u00e2che.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Visualiser le contenu de la base de donn\u00e9es<\/h2>\n

Dans ce tutoriel, nous allons lire des donn\u00e9es concernant les retards et les annulations de vols de compagnies a\u00e9riennes \u00e0 partir d’une base de donn\u00e9es MySQL dans un DataFrame pandas. Ces donn\u00e9es sont une version de l’ensemble de donn\u00e9es \u201cAirline Delays from 2003-2016\u201d<\/a> de Priank Ravichandar<\/a> sous licence CC0 1.0<\/a>.<\/p>\n

Lorsque l’on travaille avec des bases de donn\u00e9es, l’un des points les plus frustrants est de ne pas avoir de vue d’ensemble des donn\u00e9es disponibles, les tables \u00e9tant stock\u00e9es sur un serveur distant. La premi\u00e8re fonctionnalit\u00e9 de PyCharm que nous allons utiliser est la fen\u00eatre d’outils Database<\/em>, qui permet de se connecter \u00e0 une base de donn\u00e9es et de r\u00e9aliser une introspection compl\u00e8te avant d’effectuer toute requ\u00eate.<\/p>\n

Pour se connecter \u00e0 notre base de donn\u00e9es MySQL, il faut tout d’abord cliquer sur la fen\u00eatre d’outils Database<\/em> situ\u00e9e sur \u00e0 droite dans PyCharm.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

En haut \u00e0 gauche de cette fen\u00eatre, vous verrez un bouton plus. Cliquez sur ce bouton pour afficher la boite de dialogue avec menu d\u00e9roulant et s\u00e9lectionnez Data Source <\/em>| MySQL<\/em>.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Cette fen\u00eatre contextuelle nous permet de nous connecter \u00e0 notre base de donn\u00e9es MySQL. Dans le cas pr\u00e9sent, nous utilisons une base de donn\u00e9es h\u00e9berg\u00e9e localement et conservons donc Host<\/em> en tant que \u00ab\u00a0localhost\u00a0\u00bb et Port<\/em> comme port MySQL par d\u00e9faut de \u00ab\u00a03306\u00a0\u00bb. Nous utilisons l’option d’authentification<\/em> \u00ab\u00a0User & Password\u00a0\u00bb et saisissons \u00ab\u00a0pycharm\u00a0\u00bb dans le champ User<\/em> et comme dans le champ Password<\/em>. Puis, nous attribuons le nom \u00ab\u00a0demo\u00a0\u00bb \u00e0 notre Database<\/em>. Bien entendu, pour vous connecter \u00e0 votre propre base de donn\u00e9es MySQL, vous aurez besoin de l’h\u00f4te sp\u00e9cifique, du nom de la base de donn\u00e9es, de votre nom d’utilisateur et de votre mot de passe. Consultez la documentation<\/a> pour voir l’ensemble des options de connexion.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Ensuite, cliquez sur Test Connection<\/em>. PyCharm nous indique que les fichiers du pilote ne sont pas install\u00e9s. Continuez et cliquez sur Download Driver Files<\/em>. La fen\u00eatre d’outils Database<\/em> fournit une fonctionnalit\u00e9 qui trouve et installe automatiquement le pilote requis \u00e0 notre place.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Et voil\u00e0\u00a0! Nous sommes maintenant connect\u00e9s \u00e0 notre base de donn\u00e9es. Nous pouvons aller dans l’onglet Schemas<\/em> et s\u00e9lectionner les sch\u00e9mas que nous voulons introspecter. Dans notre exemple de base de donn\u00e9es, il n’y en a qu’un (\u00ab\u00a0demo\u00a0\u00bb), mais si vous travaillez avec de tr\u00e8s grandes bases de donn\u00e9es, vous pouvez gagner du temps en limitant l’introspection aux sch\u00e9mas pertinents.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Ceci fait, nous sommes pr\u00eats \u00e0 nous connecter \u00e0 notre base de donn\u00e9es. Cliquez sur OK<\/em> et attendez quelques secondes. Vous verrez alors que l’introspection a \u00e9t\u00e9 effectu\u00e9e pour l’int\u00e9gralit\u00e9 de notre base de donn\u00e9es, jusqu’au niveau des champs de tables et de leurs types. Nous disposons ainsi d’une vue d’ensemble de ce qui se trouve dans la base de donn\u00e9es avant d’ex\u00e9cuter une requ\u00eate.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Lire les donn\u00e9es avec MySQL Connector<\/h2>\n

Maintenant que nous savons ce que contient notre base de donn\u00e9es, nous sommes pr\u00eats \u00e0 effectuer une requ\u00eate. Disons que nous voulons voir quels a\u00e9roports ont eu au moins 500 vols retard\u00e9s en 2016. En examinant les champs de la table introspect\u00e9e airlines<\/code>, nous voyons que ces donn\u00e9es peuvent \u00eatre obtenues avec la requ\u00eate suivante\u00a0:<\/p>\n

SELECT AirportCode,\n      SUM(FlightsDelayed) AS TotalDelayed\n   FROM airlines\n   WHERE TimeYear = 2016\n   GROUP BY AirportCode\n   HAVING SUM(FlightsDelayed) > 500;<\/pre>\n
La premi\u00e8re fa\u00e7on dont nous pouvons ex\u00e9cuter cette requ\u00eate avec Python consiste \u00e0 utiliser un paquet appel\u00e9 MySQL Connector, qui peut \u00eatre install\u00e9 depuis PyPI<\/a> ou Anaconda<\/a>. Consultez la documentation correspondante si vous avez besoin de conseils pour configurer les environnements pip<\/a> ou conda<\/a> ou pour installer des d\u00e9pendances<\/a>. Une fois l’installation termin\u00e9e, nous ouvrons un nouveau notebook Jupyter<\/a> et importons le connecteur MySQL et les biblioth\u00e8ques pandas.<\/p>\n
import mysql.connector\nimport pandas as pd<\/pre>\n
Pour lire les donn\u00e9es de notre base, nous devons cr\u00e9er un connector<\/a>. Pour ce faire, nous utilisons la m\u00e9thode connect<\/code>, \u00e0 laquelle nous transmettons les informations d’identification n\u00e9cessaires pour acc\u00e9der \u00e0 la base de donn\u00e9es\u00a0: host<\/code>, database<\/code>, user<\/code> et password<\/code>. Ce sont les m\u00eames informations d’identification que celles que nous avons utilis\u00e9es pr\u00e9c\u00e9demment pour acc\u00e9der \u00e0 la base de donn\u00e9es avec la fen\u00eatre d’outils Database<\/em>.<\/p>\n
mysql_db_connector = mysql.connector.connect(\n   host=\"localhost\",\n   database=\"demo\",\n   user=\"pycharm\",\n   password=\"pycharm\"\n)<\/pre>\n
Nous devons maintenant cr\u00e9er un curseur<\/a>. Il servira pour l’ex\u00e9cution de nos requ\u00eates SQL dans la base de donn\u00e9es et utilise les informations d’identification sp\u00e9cifi\u00e9es dans notre connecteur pour obtenir l’acc\u00e8s.<\/p>\n
mysql_db_cursor = mysql_db_connector.cursor()<\/pre>\n
Nous sommes maintenant pr\u00eats \u00e0 ex\u00e9cuter notre requ\u00eate. Pour ce faire, nous utilisons la m\u00e9thode<\/a> execute<\/code> du curseur et en transmettant la requ\u00eate comme argument.<\/p>\n
delays_query = \"\"\"\n               SELECT AirportCode,\n                      SUM(FlightsDelayed) AS TotalDelayed\n                   FROM airlines\n                   WHERE TimeYear = 2016\n                   GROUP BY AirportCode\n                   HAVING SUM(FlightsDelayed) > 500;\n              \"\"\"\n\nmysql_db_cursor.execute(delays_query)<\/pre>\n
Nous r\u00e9cup\u00e9rons ensuite le r\u00e9sultat en utilisant la m\u00e9thode<\/a> fetchall<\/code> du curseur.<\/p>\n
mysql_delays_list = mysql_db_cursor.fetchall()<\/pre>\n
Cependant, un probl\u00e8me survient \u00e0 ce stade\u00a0: fetchall<\/code> restitue les donn\u00e9es sous forme de liste. Pour le lire dans pandas, nous pouvons le passer dans un DataFrame, mais les noms de nos colonnes seront perdus et il faudra les sp\u00e9cifier manuellement lors de la cr\u00e9ation du DataFrame.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Heureusement, pandas offre une meilleure solution. Plut\u00f4t que de cr\u00e9er un curseur, nous pouvons lire notre requ\u00eate dans un DataFrame en une seule \u00e9tape, en utilisant la m\u00e9thode<\/a> read_sql<\/code>.<\/p>\n
mysql_delays_df2 = pd.read_sql(delays_query, con=mysql_db_connector)<\/pre>\n
Il nous suffit de passer notre requ\u00eate et notre connecteur en arguments pour lire les donn\u00e9es de la base de donn\u00e9es MySQL. En examinant notre dataframe, nous pouvons voir que nous avons exactement les m\u00eames r\u00e9sultats que ci-dessus, mais que les noms de nos colonnes ont \u00e9t\u00e9 pr\u00e9serv\u00e9s cette fois-ci.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Vous avez peut-\u00eatre remarqu\u00e9 que PyCharm applique la mise en \u00e9vidence de la syntaxe \u00e0 la requ\u00eate SQL, m\u00eame lorsqu’elle est contenue dans une cha\u00eene Python. Nous verrons une autre fa\u00e7on de travailler avec SQL avec l’aide de PyCharm plus loin dans cet article.<\/p>\n
Lire les donn\u00e9es avec SQLAlchemy<\/h2>\n
Il est \u00e9galement possible d’utiliser un paquet appel\u00e9 SQLAlchemy<\/a> \u00e0 la place de MySQL Connector. Ce paquet offre une m\u00e9thode unique pour se connecter \u00e0 diff\u00e9rentes bases de donn\u00e9es, parmi lesquelles MySQL. L’un des avantages de SQLAlchemy est que la syntaxe des requ\u00eates reste similaire d’un type de base de donn\u00e9es \u00e0 l’autre, ce qui \u00e9vite d’avoir \u00e0 se souvenir de toutes les commandes multiples si vous travaillez avec un grand nombre de bases de donn\u00e9es diff\u00e9rentes.<\/p>\n
Pour commencer, nous devons installer SQLAlchemy depuis PyPI<\/a> ou Anaconda<\/a>. Nous importons ensuite la m\u00e9thode create_engine<\/code>, et bien s\u00fbr, les pandas.<\/p>\n
import pandas as pd\nfrom sqlalchemy import create_engine<\/pre>\n
Nous devons maintenant cr\u00e9er notre moteur<\/a>. Le moteur permet d’indiquer \u00e0 pandas quel dialecte SQL nous utilisons (dans notre cas, MySQL) et de lui fournir les informations d’identification dont il a besoin pour acc\u00e9der \u00e0 notre base de donn\u00e9es. Tout ceci est pass\u00e9 en tant que cha\u00eene, sous la forme : [dialect]:\/\/[user]:[password]@[host]\/[database]<\/code>. Voyons \u00e0 quoi cela ressemble avec notre base de donn\u00e9es MySQL\u00a0:<\/p>\n
mysql_engine = create_engine(\"mysql+mysqlconnector:\/\/pycharm:pycharm@localhost\/demo\")<\/pre>\n
Une fois cr\u00e9\u00e9e, il nous suffit d’utiliser \u00e0 nouveau read_sql<\/code>, en transmettant cette fois le moteur \u00e0 l’argument con<\/code>\u00a0:<\/p>\n
mysql_delays_df3 = pd.read_sql(delays_query, con=mysql_engine)<\/pre>\n
Comme vous pouvez le voir, nous obtenons le m\u00eame r\u00e9sultat qu’en utilisant read_sql<\/code> avec MySQL Connector.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Options avanc\u00e9es pour travailler avec les bases de donn\u00e9es<\/h2>\n
Ces m\u00e9thodes de connexion sont tr\u00e8s efficaces pour extraire une requ\u00eate que nous connaissons d\u00e9j\u00e0, mais qu’en est-il si nous voulons avoir un aper\u00e7u de ce \u00e0 quoi ressembleront nos donn\u00e9es avant d’ex\u00e9cuter la requ\u00eate compl\u00e8te ou une estimation du temps que prendra la requ\u00eate\u00a0? L\u00e0 encore, PyCharm fournit plusieurs fonctionnalit\u00e9s avanc\u00e9es qui peuvent nous aider.<\/p>\n
En revenant \u00e0 la fen\u00eatre d’outils Database<\/em>, si on fait un clic doit sur la base de donn\u00e9es on peut voir une option situ\u00e9e sous New<\/em> qui permet de cr\u00e9er une Query Console<\/em>.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Nous pouvons alors ouvrir une console et l’utiliser pour interroger la base de donn\u00e9es en SQL natif. La fen\u00eatre de la console fournit la saisie semi-automatique du code SQL et l’introspection, ce qui facilite la cr\u00e9ation de vos requ\u00eates avant de les transmettre aux paquets de connecteurs en Python.<\/p>\n
Mettez votre requ\u00eate en \u00e9vidence et cliquez sur le bouton Execute<\/em> dans le coin sup\u00e9rieur gauche.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Cela permettra de retrouver les r\u00e9sultats de notre requ\u00eate dans l’onglet Services<\/em>, o\u00f9 ils pourront \u00eatre inspect\u00e9s ou export\u00e9s<\/a>. L’un des avantages de l’ex\u00e9cution de requ\u00eates dans la console est que seules les 500 premi\u00e8res lignes sont initialement extraites de la base de donn\u00e9es, ce qui permet de se faire une id\u00e9e des r\u00e9sultats de requ\u00eates plus importantes sans avoir \u00e0 extraire toutes les donn\u00e9es. Vous pouvez ajuster le nombre de lignes r\u00e9cup\u00e9r\u00e9es dans Settings\/Preferences | Tools | Database | Data Editor and Viewer<\/em>, en modifiant la valeur sous Limit page size to:<\/em>.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Nous pouvons \u00e9galement obtenir une estimation du temps que prendra notre requ\u00eate en g\u00e9n\u00e9rant un plan d’ex\u00e9cution<\/a>. En mettant \u00e0 nouveau notre requ\u00eate en surbrillance, puis en effectuant un clic droit, nous pouvons s\u00e9lectionner Explain Plan<\/em> | Explain Analyse<\/em> dans le menu. Cela va g\u00e9n\u00e9rer un plan d’ex\u00e9cution pour notre requ\u00eate, montrant chaque \u00e9tape que le planificateur de requ\u00eates effectue pour r\u00e9cup\u00e9rer nos r\u00e9sultats. Les plans d’ex\u00e9cution constituent un sujet \u00e0 part enti\u00e8re, mais en l’occurrence, il n’est pas vraiment n\u00e9cessaire de comprendre tout ce que notre plan indique. Dans notre cas, la colonne la plus pertinente est Actual Total Time<\/em>, car elle nous permet de voir combien de temps il faudra pour renvoyer toutes les lignes \u00e0 chaque \u00e9tape. Cela nous donne une bonne estimation de la dur\u00e9e totale de la requ\u00eate et nous permet de savoir si certaines parties de notre requ\u00eate sont susceptibles de prendre beaucoup de temps.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Vous pouvez \u00e9galement visualiser l’ex\u00e9cution en cliquant sur le bouton Show Visualization<\/em> \u00e0 gauche du panneau Plan<\/em>.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Cela permet d’obtenir un organigramme qui facilite la navigation \u00e0 travers les \u00e9tapes du planificateur de requ\u00eates.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Importer des donn\u00e9es de MySQL dans des DataFrames pandas est assez simple et PyCharm dispose de nombreux outils qui facilitent le travail avec les bases de donn\u00e9es MySQL. Dans le prochain article de cette s\u00e9rie, nous verrons comment utiliser PyCharm pour lire des donn\u00e9es dans pandas \u00e0 partir de bases de donn\u00e9es PostgreSQL.<\/p>\n\n\n
Article original en anglais de<\/em> :<\/p>\n\n\n    
\n        
\n            
\n                
\n                    \"\"\n                <\/div>\n                
\n                                                        <\/div>\n            <\/div>\n        <\/div>\n    <\/div>\n","protected":false},"author":813,"featured_media":320796,"comment_status":"closed","ping_status":"closed","template":"","categories":[6943,952,1401,5108,2347],"tags":[2934,731,7057,1176,566],"cross-post-tag":[],"acf":[],"_links":{"self":[{"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/pycharm\/329579"}],"collection":[{"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/pycharm"}],"about":[{"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/types\/pycharm"}],"author":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/users\/813"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/comments?post=329579"}],"version-history":[{"count":10,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/pycharm\/329579\/revisions"}],"predecessor-version":[{"id":331603,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/pycharm\/329579\/revisions\/331603"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/media\/320796"}],"wp:attachment":[{"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/media?parent=329579"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/categories?post=329579"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/tags?post=329579"},{"taxonomy":"cross-post-tag","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/fr\/wp-json\/wp\/v2\/cross-post-tag?post=329579"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}