{"id":335975,"date":"2023-03-24T12:34:34","date_gmt":"2023-03-24T11:34:34","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=pycharm&p=335975"},"modified":"2023-03-24T12:34:38","modified_gmt":"2023-03-24T11:34:38","slug":"usando-o-pycharm-para-ler-dados-de-um-banco-de-dados-mysql-em-pandas","status":"publish","type":"pycharm","link":"https:\/\/blog.jetbrains.com\/pt-br\/pycharm\/2023\/03\/usando-o-pycharm-para-ler-dados-de-um-banco-de-dados-mysql-em-pandas\/","title":{"rendered":"Usando o PyCharm para ler dados de um banco de dados MySQL em pandas"},"content":{"rendered":"

Mais cedo ou mais tarde na sua jornada de ci\u00eancia de dados, voc\u00ea chegar\u00e1 a um ponto em que precisar\u00e1 obter dados de um banco de dados. No entanto, o salto entre ler um arquivo CSV armazenado localmente para o pandas e conectar e consultar bancos de dados pode parecer uma tarefa assustadora. Na primeira de uma s\u00e9rie de postagens de blog, exploraremos como ler dados armazenados em um banco de dados MySQL em pandas e veremos alguns recursos interessantes do PyCharm que facilitam essa tarefa.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Visualizando o conte\u00fado do banco de dados<\/h2>\n

Neste tutorial, vamos ler alguns dados sobre atrasos e cancelamentos de companhias a\u00e9reas de um banco de dados MySQL para um DataFrame do pandas. Esses dados s\u00e3o uma vers\u00e3o do conjunto de dados \u201cAirline Delays from 2003-2016\u201d<\/a>, por Priank Ravichandar<\/a> e licenciada sob a CC0 1.0<\/a>.<\/p>\n

Uma das primeiras coisas que podem ser frustrantes ao se trabalhar com bancos de dados \u00e9 n\u00e3o ter uma vis\u00e3o geral dos dados dispon\u00edveis, j\u00e1 que todas as tabelas s\u00e3o armazenadas num servidor remoto. Portanto, o primeiro recurso do PyCharm que usaremos \u00e9 a janela de ferramentas Database<\/em>, que permite que voc\u00ea se conecte e introspeccione totalmente um banco de dados antes de fazer qualquer consulta.<\/p>\n

Para se conectar ao nosso banco de dados MySQL, vamos primeiro navegar para o lado direito do PyCharm e clicar na janela de ferramentas Database<\/em>.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

No canto superior esquerdo dessa janela, voc\u00ea ver\u00e1 um bot\u00e3o de adi\u00e7\u00e3o. Clicar nele ativa a seguinte janela de di\u00e1logo suspensa, na qual selecionaremos Data Source <\/em>| MySQL<\/em>.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Agora, temos uma janela pop-up que nos permitir\u00e1 abrir uma conex\u00e3o ao nosso banco de dados MySQL. Neste caso, estamos usando um banco de dados hospedado localmente, ent\u00e3o deixamos Host<\/em> como \u201clocalhost\u201d e Port<\/em> como a porta MySQL padr\u00e3o de \u201c3306\u201d. Usaremos a op\u00e7\u00e3o de Authentication<\/em> \u201cUser & Password\u201d e digitaremos o valor \u201cpycharm\u201d para User<\/em> e para Password<\/em>. Por fim, vamos inserir \u201cdemo\u201d para como o nome do banco de dados em Database<\/em>. Obviamente, para se conectar ao seu pr\u00f3prio banco de dados MySQL, voc\u00ea precisar\u00e1 do host espec\u00edfico, do nome do banco de dados e do seu nome de usu\u00e1rio e senha. Consulte a documenta\u00e7\u00e3o<\/a> para conhecer o conjunto completo de alternativas.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Em seguida, clique em Test Connection<\/em>. O PyCharm nos informa que n\u00e3o temos os arquivos de driver instalados. V\u00e1 em frente e clique em Download Driver Files<\/em>. Um dos recursos mais interessantes da janela de ferramentas Database<\/em> \u00e9 que ela localiza e instala automaticamente os drivers corretos.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Sucesso! N\u00f3s nos conectamos ao nosso banco de dados. Agora, podemos navegar at\u00e9 a aba Schemas<\/em> e selecionar quais esquemas queremos examinar. Em nosso banco de dados de exemplo, temos apenas uma (\u201cdemo\u201d), mas, nos casos em que voc\u00ea possui bancos de dados muito grandes, pode economizar tempo analisando apenas os relevantes.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Com tudo isso feito, estamos prontos para nos conectar ao nosso banco de dados. Clique em OK<\/em> e aguarde alguns segundos. Agora, voc\u00ea pode ver que todo o nosso banco de dados foi instrospeccionado, at\u00e9 o n\u00edvel dos campos da tabela e seus tipos. Isso nos d\u00e1 uma \u00f3tima vis\u00e3o geral do que est\u00e1 no banco de dados antes de executar qualquer consulta.<\/p>\n

\n
\"\"<\/figure>\n<\/div>\n

Lendo os dados com o MySQL Connector<\/h2>\n

Agora que sabemos o que est\u00e1 em nosso banco de dados, estamos prontos para montar uma consulta. Digamos que queremos ver os aeroportos que tiveram pelo menos 500 atrasos em 2016. Observando os campos na tabela introspectiva airlines<\/code>, vemos que podemos obter esses dados com a seguinte consulta:<\/p>\n

SELECT AirportCode,\n      SUM(FlightsDelayed) AS TotalDelayed\n   FROM airlines\n   WHERE TimeYear = 2016\n   GROUP BY AirportCode\n   HAVING SUM(FlightsDelayed) > 500;<\/pre>\n
A primeira maneira de executar essa consulta usando o Python \u00e9 atrav\u00e9s de um pacote chamado MySQL Connector, que pode ser instalado a partir do PyPI<\/a> ou Anaconda<\/a>. Consulte a documenta\u00e7\u00e3o vinculada se precisar de orienta\u00e7\u00e3o sobre como configurar ambientes pip<\/a> ou conda<\/a> ou sobre como instalar depend\u00eancias<\/a>. Assim que a instala\u00e7\u00e3o for conclu\u00edda, abriremos um novo notebook Jupyter<\/a> e importaremos o MySQL Connector e o pandas.<\/p>\n
import mysql.connector\nimport pandas as pd<\/pre>\n
Para ler dados do nosso banco de dados, precisamos criar um conector<\/a>. Isto \u00e9 feito usando o m\u00e9todo connect<\/code>, para o qual passamos as credenciais necess\u00e1rias para acessar o banco de dados: host<\/code>, database<\/code>, user<\/code> e password<\/code>. Estas s\u00e3o as mesmas credenciais que usamos para acessar o banco de dados usando a janela de ferramentas Database<\/em> na se\u00e7\u00e3o anterior.<\/p>\n
mysql_db_connector = mysql.connector.connect(\n   host=\"localhost\",\n   database=\"demo\",\n   user=\"pycharm\",\n   password=\"pycharm\"\n)<\/pre>\n
Agora, precisamos criar um cursor<\/a>. Isto ser\u00e1 usado para executar nossas consultas SQL no banco de dados e usar\u00e1 as credenciais ordenadas no nosso conector para obter acesso.<\/p>\n
mysql_db_cursor = mysql_db_connector.cursor()<\/pre>\n
Agora, estamos prontos para executar nossa consulta. Fazemos isso usando o m\u00e9todo<\/a> execute<\/code> do nosso cursor e passando a consulta como argumento.<\/p>\n
delays_query = \"\"\"\n               SELECT AirportCode,\n                      SUM(FlightsDelayed) AS TotalDelayed\n                   FROM airlines\n                   WHERE TimeYear = 2016\n                   GROUP BY AirportCode\n                   HAVING SUM(FlightsDelayed) > 500;\n              \"\"\"\n\nmysql_db_cursor.execute(delays_query)<\/pre>\n
Em seguida, recuperamos o resultado usando o m\u00e9todo<\/a> fetchall<\/code> do cursor.<\/p>\n
mysql_delays_list = mysql_db_cursor.fetchall()<\/pre>\n
No entanto, temos um problema nesse ponto: fetchall<\/code> retorna os dados como uma lista. Para us\u00e1-la em pandas, podemos pass\u00e1-la para um DataFrame, mas perderemos os nomes de coluna, que precisar\u00e3o ser especificados manualmente quando quisermos criar o DataFrame.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Felizmente, pandas oferece uma solu\u00e7\u00e3o melhor. Em vez de criar um cursor, podemos ler nossa consulta em um DataFrame numa \u00fanica etapa, usando o m\u00e9todo method<\/a> read_sql<\/code>.<\/p>\n
mysql_delays_df2 = pd.read_sql(delays_query, con=mysql_db_connector)<\/pre>\n
Precisamos simplesmente passar nossa consulta e conector como argumentos para ler os dados do banco de dados MySQL. Olhando para nosso dataframe, podemos ver que temos exatamente os mesmos resultados acima, mas, desta vez, nossos nomes de coluna foram preservados.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Um bom recurso que voc\u00ea deve ter percebido \u00e9 que o PyCharm aplica realce de sintaxe \u00e0 consulta SQL, mesmo quando ela est\u00e1 contida numa string Python. Abordaremos outra maneira pela qual o PyCharm permite que voc\u00ea trabalhe com o SQL mais adiante nesta postagem de blog.<\/p>\n
Lendo os dados com o uso do SQLAlchemy<\/h2>\n
Uma alternativa para usar o MySQL Connector \u00e9 usar um pacote chamado SQLAlchemy<\/a>. Esse pacote oferece um m\u00e9todo \u00fanico para conectar-se a uma variedade de bancos de dados diferentes, incluindo o MySQL. Uma das coisas boas sobre o uso do SQLAlchemy \u00e9 que a sintaxe para consultar diferentes tipos de banco de dados permanece consistente entre os tipos de banco de dados, evitando que voc\u00ea se tenha que se lembrar de v\u00e1rios comandos diferentes se estiver trabalhando com muitos bancos de dados diferentes.<\/p>\n
Para come\u00e7ar, precisamos instalar o SQLAlchemy a partir do PyPI<\/a> ou Anaconda<\/a>. Em seguida, importamos o m\u00e9todo create_engine<\/code> e, \u00e9 claro, pandas.<\/p>\n
import pandas as pd\nfrom sqlalchemy import create_engine<\/pre>\n
Agora, precisamos criar nosso mecanismo<\/a>. O mecanismo nos permite dizer ao pandas qual dialeto SQL estamos usando (no nosso caso, o MySQL) e fornecer as credenciais necess\u00e1rias para acessar nosso banco de dados. Tudo isso \u00e9 passado como uma string, na forma de [dialect]:\/\/[user]:[password]@[host]\/[database]<\/code>. Vejamos como fica usando nosso banco de dados MySQL:<\/p>\n
mysql_engine = create_engine(\"mysql+mysqlconnector:\/\/pycharm:pycharm@localhost\/demo\")<\/pre>\n
Com isto criado, basta usar read_sql<\/code> novamente, desta vez passando o mecanismo para o argumento con<\/code>:<\/p>\n
mysql_delays_df3 = pd.read_sql(delays_query, con=mysql_engine)<\/pre>\n
Como voc\u00ea pode ver, obtemos o mesmo resultado ao usar read_sql<\/code> com o MySQL Connector.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Op\u00e7\u00f5es avan\u00e7adas para trabalhar com bancos de dados<\/h2>\n
Esses m\u00e9todos de conector s\u00e3o muito bons para extrair uma consulta que j\u00e1 sabemos que queremos. Mas, e se quisermos ter uma pr\u00e9via de como ser\u00e3o nossos dados antes de executar a consulta completa ou ter uma ideia de quanto tempo toda a consulta levar\u00e1? O PyCharm est\u00e1 de volta com alguns recursos avan\u00e7ados para trabalhar com bancos de dados.<\/p>\n
Se navegarmos de volta para a janela de ferramentas Database<\/em> e clicarmos com o bot\u00e3o direito do mouse em nosso banco de dados, veremos que, em New<\/em>, temos a op\u00e7\u00e3o de criar um console de consulta em Query Console<\/em>.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Isso nos permite abrir um console que podemos usar para consultar o banco de dados em SQL nativo. A janela do console inclui complementa\u00e7\u00e3o e introspec\u00e7\u00e3o de c\u00f3digo SQL, oferecendo uma maneira mais f\u00e1cil de criar suas consultas antes de repass\u00e1-las para os pacotes de conectores em Python.<\/p>\n
Realce sua consulta e clique no bot\u00e3o Execute<\/em> no canto superior esquerdo.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Isto recuperar\u00e1 os resultados da nossa consulta na aba Services<\/em>, onde ela pode ser inspecionada ou exportada<\/a>. Uma coisa boa sobre a execu\u00e7\u00e3o de consultas no console \u00e9 que apenas as primeiras 500 linhas s\u00e3o inicialmente recuperadas do banco de dados, o que significa que voc\u00ea pode ter uma no\u00e7\u00e3o dos resultados de consultas maiores sem o compromisso de extrair todos os dados. Voc\u00ea pode ajustar o n\u00famero de linhas recuperadas acessando Settings\/Preferences | Tools | Database | Data Editor and Viewer<\/em> e alterando o valor em Limit page size to:<\/em>.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Falando em consultas grandes, tamb\u00e9m podemos ter uma no\u00e7\u00e3o de quanto tempo nossa consulta levar\u00e1, gerando um plano de execu\u00e7\u00e3o<\/a>. Se real\u00e7armos nossa consulta novamente e clicarmos com o bot\u00e3o direito do mouse, poderemos selecionar Explain Plan<\/em> | Explain Analyse<\/em> no menu. Isto gerar\u00e1 um plano de execu\u00e7\u00e3o para a nossa consulta, mostrando cada etapa que o planejador de consulta est\u00e1 realizando para recuperar nossos resultados. Planos de execu\u00e7\u00e3o s\u00e3o um tema por si s\u00f3, e n\u00e3o precisamos realmente entender tudo o que nosso plano est\u00e1 nos dizendo. Mais relevante para nossos prop\u00f3sitos \u00e9 a coluna Actual Total Time<\/em>, onde podemos ver quanto tempo levar\u00e1 para retornar todas as linhas em cada etapa. Isto nos d\u00e1 uma boa estimativa do tempo geral da consulta, bem como se alguma parte de nossa consulta provavelmente consumir\u00e1 muito tempo.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Voc\u00ea tamb\u00e9m pode visualizar a execu\u00e7\u00e3o clicando no bot\u00e3o Show Visualization<\/em>, \u00e0 esquerda do painel Plan<\/em>.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Isto exibir\u00e1 um fluxograma que torna um pouco mais f\u00e1cil navegar pelas etapas que o planejador de consulta est\u00e1 executando.<\/p>\n
\n
\"\"<\/figure>\n<\/div>\n
Obter dados de bancos de dados MySQL em DataFrames pandas \u00e9 simples, e o PyCharm possui v\u00e1rias ferramentas poderosas para facilitar o trabalho com bancos de dados MySQL. Na pr\u00f3xima postagem do blog, veremos como usar o PyCharm para ler dados em pandas de outro tipo de banco de dados popular: bancos de dados PostgreSQL.<\/p>\n
Artigo original em ingl\u00eas por:<\/em><\/p>\n\n    
\n        
\n            
\n                
\n                    \"\"\n                <\/div>\n                
\n                                                        <\/div>\n            <\/div>\n        <\/div>\n    <\/div>\n","protected":false},"author":1086,"featured_media":320796,"comment_status":"closed","ping_status":"closed","template":"","categories":[6943,952,1401,5108,2347],"tags":[2934,731,7057,1176,566],"cross-post-tag":[],"acf":[],"_links":{"self":[{"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/pycharm\/335975"}],"collection":[{"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/pycharm"}],"about":[{"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/types\/pycharm"}],"author":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/users\/1086"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/comments?post=335975"}],"version-history":[{"count":6,"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/pycharm\/335975\/revisions"}],"predecessor-version":[{"id":335986,"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/pycharm\/335975\/revisions\/335986"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/media\/320796"}],"wp:attachment":[{"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/media?parent=335975"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/categories?post=335975"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/tags?post=335975"},{"taxonomy":"cross-post-tag","embeddable":true,"href":"https:\/\/blog.jetbrains.com\/pt-br\/wp-json\/wp\/v2\/cross-post-tag?post=335975"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}