Préparation et analyse de données sous la forme ligne/colonne¶
Les biliothèques qui vont être utilisées relèvent de l'écosystème PyData (un groupe d'utilisateurs / de developpeurs et une série de conférences autour de l'analyse de données - ainsi que les bibliothèques comme pandas et xarray).
Pandas¶
- Permet de manipuler des objets de type
DataFrame.
- Inspirée par les
data.frameR.
- API riche, bonne performance, compatibilité avec le reste de l'écosystème.
- Des exemples de comparaisons de l'API avec celle offerte par des outils similaires (R, SAS, SQL, Stata) inclus dans la documentation : https://pandas.pydata.org/pandas-docs/stable/getting_started/comparison/
Exemple : prix de la weed¶
Les données proviennent de The Price of Weed website : http://www.priceofweed.com/
Un utilisateur a récupéré les données journalières (491 dates) pour les 51 états américains : https://github.com/frankbi/price-of-weed/
On va regarder comment ouvrir, nettoyer et manipuler ces données avec pandas
In [36]:
# Imports nécessaires
import pandas as pd
import numpy as np
import os
# Lister les fichiers du dossier contenant les données :
files = os.listdir('data/prices')
files
Out[36]:
In [37]:
# Ouverture du premier fichier pour voir sa structure :
df = pd.read_csv(os.path.join('data', 'prices', files[0]))
df.head()
Out[37]:
In [38]:
# Avant de concaténer les différents fichiers, on devra ajouter la date à chaque de ces fichiers :
date_file = files[0].replace('weedprices', '').replace('.csv', '') # 'weedprices13082014.csv' -> '13082014'
date_file = '-'.join([date_file[:2], date_file[2:4], date_file[4:]]) # '13082014' -> '13-08-2014'
date_file = pd.to_datetime(date_file, dayfirst=True)
df['date'] = date_file
df.head(3)
Out[38]:
In [39]:
# On définit une function qui va s'occuper de convertir le nom de fichier en date
def datetime_from_filename(filename):
date_file = filename.replace('weedprices', '').replace('.csv', '')
return pd.to_datetime(
'-'.join([date_file[:2], date_file[2:4], date_file[4:]]),
dayfirst=True
)
In [40]:
# On va concaténer ces DataFrame de manière séquentielle :
dfs = []
for name in files:
df = pd.read_csv(os.path.join('data', 'prices', name))
df['date'] = datetime_from_filename(name)
dfs.append(df)
result = pd.concat(dfs, ignore_index=True)
In [41]:
result.head()
result.tail()
result.dtypes
Out[41]:
Out[41]:
Out[41]:
Il va falloir nettoyer les données et effectuer des conversions de types pour les manipuler et les analyser par la suite¶
In [42]:
# Le type des éléments dans ces colones est hétérogène (float, str, d'où la notation 'object')
result['HighQ'] = result['HighQ'].apply(lambda x: float(x.replace('$', '')) if isinstance(x, str) else x)
result['MedQ'] = result['MedQ'].apply(lambda x: float(x.replace('$', '')) if isinstance(x, str) else x)
# Cette colonne contient des valeurs inutilisables, on va les convertir en une valeur
# numérique qui à ce sens : NaN
result['LowQ'] = result['LowQ'].apply(lambda x: x.replace('$', '') if isinstance(x, str) else x)
result['LowQ'] = pd.to_numeric(result['LowQ'], errors='coerce')
# Les autre colonnes contiennent des entiers et ne présentent pas de problèmes
result['HighQN'] = result['HighQN'].astype(int)
result['MedQN'] = result['MedQN'].astype(int)
result['LowQN'] = result['LowQN'].astype(int)
In [43]:
result.head()
result.tail()
result.dtypes
Out[43]:
Out[43]:
Out[43]:
Quelques opérations de base sur notre table de données :¶
In [44]:
# Obtenir des lignes spécifiques :
result[2:4]
Out[44]:
In [45]:
# Obtenir une colonne :
result['State']
Out[45]:
In [46]:
result.loc[0]
Out[46]:
In [47]:
# Index et nom de colonne
result.loc[0, 'State']
Out[47]:
In [48]:
# Index et index de colonne
result.iloc[0, 0]
Out[48]:
In [49]:
# Sélection de lignes où le prix pour l'Alabama est inférieur à 340$ pour la plus haute qualité
# - en utilisant l'indexation booléenne et la combinaison des deux critères
result[(result.State == 'Alabama') & (result.HighQ < 340.0)]
Out[49]:
In [50]:
# Sélection de lignes où le prix pour l'Alabama est inférieur à 340$ pour la plus haute qualité
# - en utilisant l'indexation booléenne et la méthode .eval() pour
# combiner nos 2 critères
result[result.eval('State == "Alabama" and HighQ < 340.0')]
Out[50]:
In [51]:
# Sélection de lignes où le prix pour l'Alabama est inférieur à 340$ pour la plus haute qualité
# - en la méthode .query() qui permet de chainer les critères
result.query('State == "Alabama"').query('HighQ < 340.0')
Out[51]:
In [52]:
# Export au format CSV pour le réutiliser par la suite :
result.to_csv('data/weed_prices.csv', index=False)
Seaborn¶
Seaborn propose une API de haut-niveau (basée sur matplotlib en interne) permettant d'utiliser directement des DataFrame de pandas.
In [53]:
import matplotlib.pyplot as plt
import seaborn as sns
plt.rcParams['figure.figsize'] = (12, 10)
# En continuant d'utiliser les données ouvertes précédemment..
# représentons l'évolution du prix en Californie
df_cal = result[result["State"] == "California"]
df_cal.head()
df_cal.plot(x = "date", y = "HighQ") # plot est ici une méthode de l'objet DataFrame
Out[53]:
Out[53]:
In [54]:
# Pour les 3 catégories ?
df_cal[["HighQ", "MedQ", "LowQ", "date"]].plot(x='date')
Out[54]:
In [55]:
# Sous forme de boite à moustache
df_cal[["HighQ", "MedQ", "LowQ"]].plot(kind = "box", figsize=(6,6))
Out[55]:
In [56]:
# En utilisant directement l'API de Seaborn
sns.boxplot(data=df_cal[["HighQ", "MedQ", "LowQ"]], palette='Set3')
Out[56]:
In [57]:
# Seaborn propose de tracer assez facilement d'autres types de graphiques:
sns.jointplot(data=df_cal, x='HighQ', y='MedQ', kind="reg")
Out[57]:
In [58]:
iris = sns.load_dataset("iris")
g = sns.jointplot("petal_length", "sepal_length", data=iris, color='g',
marginal_kws=dict(bins=15, rug=True),
s=40, edgecolor="w", linewidth=1, size=8)
xarray¶
- Permet de manipuler des jeux de données structurés de dimensions arbitraires (pandas sur N dimensions)
In [59]:
import numpy as np
import pandas as pd
import seaborn as sns
import xarray as xr
times = pd.date_range('2000-01-01', '2001-12-31', name='time')
annual_cycle = np.sin(2 * np.pi * (times.dayofyear.values / 365.25 - 0.28))
base = 10 + 15 * annual_cycle.reshape(-1, 1)
tmin_values = base + 3 * np.random.randn(annual_cycle.size, 3)
tmax_values = base + 10 + 3 * np.random.randn(annual_cycle.size, 3)
# Un `DataSet` de xarray :
ds = xr.Dataset({
'tmin': (('time', 'location'), tmin_values),
'tmax': (('time', 'location'), tmax_values)
}, {
'time': times, 'location': ['IA', 'IN', 'IL'],
})
In [60]:
# Conversion d'une dimension en DataFrame
# pour afficher avec Seaborn :
ds.mean(dim='location').to_dataframe().plot()
Out[60]:
In [61]:
## Risque de gel selon le mois et la localité :
freeze = (ds['tmin'] <= 0).groupby('time.month').mean('time')
freeze.to_pandas().plot(title="Risque de gel selon le mois de l'année")
Out[61]:
