Calcul scientifique et visualisation de données¶
Numpy¶
Numpy va permettre de créer et manipuler des tableaux typés de n dimensions de manière performante.
Les bibliothèques utilisées par la suite se basent sur des objets de ce type (les colonnes de valeurs dans pandas, valeurs de chaque cellule d'un raster avec rasterio, etc.) ou prennent ces objets en entrées (scikit-learn, etc.).
In [1]:
import numpy as np
arr = np.array([1, 2, 3, 4])
arr.dtype
Out[1]:
In [2]:
# Application de l'opération à l'ensemble
# du tableau
arr + 2
Out[2]:
In [3]:
#### On peut ainsi définir des tableaux plus complexes :
arr = np.array([
[12.1, -23.9],
[3.91, -20.1],
[2.12, -7.93],
])
arr
Out[3]:
Connaitre la taille du tableau :¶
In [4]:
arr.size # Nombre d'éléments
Out[4]:
In [5]:
arr.shape # Dimensions : (3 lignes, 2 colonnes)
Out[5]:
Appliquer une opération à l'ensemble du tableau :¶
In [6]:
arr2 = arr * 3.1
arr2
Out[6]:
Transposé :¶
In [7]:
arr2.T
Out[7]:
In [8]:
arr2.transpose()
Out[8]:
Produit terme à terme :¶
In [9]:
arr * arr2
Out[9]:
Produit matriciel :¶
In [10]:
arr.dot(arr2.T)
Out[10]:
Découpage (slicing) :¶
In [11]:
arr[:,1]
Out[11]:
Sélection d'éléments :¶
In [12]:
arr[arr > 0]
Out[12]:
Modification de la forme du tableau :¶
In [13]:
arr.reshape(6, 1)
Out[13]:
In [14]:
arr.reshape(1, 6)
Out[14]:
In [15]:
# Division de tous les éléments de la
# deuxième colonne (-> index 1) par 3
arr[:,1] /= 3
arr
Out[15]:
Création de tableaux "spécifiques" :¶
In [16]:
np.zeros((4, 2))
Out[16]:
In [17]:
np.ones(3)
Out[17]:
In [18]:
# Éléments régulièrement espacés
np.linspace(1., 4., 6) # Premier, dernier, nombre d'éléments
Out[18]:
In [19]:
np.random.uniform(0, 1, 100) # 100 valeurs entre 0 et 1
Out[19]:
Un histogramme pour visualiser ces valeurs ?¶
Matplotlib¶
In [20]:
import matplotlib.pyplot as plt
%matplotlib inline
data = np.random.uniform(0, 1, 1000)
plt.hist(data, 20, facecolor='purple')
plt.xlabel('X~U[0,1]')
plt.ylabel('Count')
plt.title("Uniform Distribution Histogram (Bin size 20)")
plt.axis([0, 1, 0, 80])
plt.grid(True)
plt.show()
In [21]:
from mpl_toolkits.mplot3d import Axes3D
def randrange(n, vmin, vmax):
return (vmax - vmin)*np.random.rand(n) + vmin
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
n = 100
for c, m, zlow, zhigh in [('r', 'o', -50, -25), ('b', '^', -30, -5)]:
xs = randrange(n, 23, 32)
ys = randrange(n, 0, 100)
zs = randrange(n, zlow, zhigh)
ax.scatter(xs, ys, zs, c=c, marker=m)
ax.set_xlabel('X Label')
ax.set_ylabel('Y Label')
ax.set_zlabel('Z Label')
plt.show()
In [22]:
### Des contours ET des motifs ??
x = np.linspace(-3, 5, 150).reshape(1, -1)
y = np.linspace(-3, 5, 120).reshape(-1, 1)
z = np.cos(x) + np.sin(y) + np.random.uniform(0, 0.25, 120 * 150).reshape((120, 150))
x, y = x.flatten(), y.flatten()
fig2, ax2 = plt.subplots(figsize=(8,8))
n_levels = 6
ax2.contour(x, y, z, n_levels, colors='black', linestyles='-')
cs = ax2.contourf(x, y, z, n_levels, colors='none',
hatches=['.', '/', '\\', None, '\\\\', '*'],
extend='lower')
# ax2.legend(*cs.legend_elements(), handleheight=2)
plt.show()
Sans rentrer dans les détails de l'API de matplotlib :
- API riche, documentation complète, nombreux examples, personnalisable, etc.
- les différentes visualisations de cette présentation (graphiques avec pandas et seaborn, "cartes" avec geopandas) utilisent matplotlib quand ce n'est pas spécifié.
- d'autres solutions existent (notamment Bokeh et Plot.ly avec sa syntaxe déclarative et sa possibilité de faire facilement des graphiques interactifs).
Le même histogramme que précédemment avec Bokeh ?¶
In [23]:
from bokeh.io import output_notebook
from bokeh.plotting import figure, show
output_notebook()
In [24]:
# On génère les données, et les dimensions des 20 boites (bins) :
data = np.random.uniform(0, 1, 1000)
hhist, hedges = np.histogram(data, bins=20)
# Création d'une figure en choisissant les dimensions des axes
ph = figure(toolbar_location=None,x_range=(0, 1), y_range=(0, 100), plot_height=300)
# Personnalitation rapide
ph.xgrid.grid_line_color = None
ph.yaxis.major_label_orientation = np.pi/4
# Ajout des rectangles
ph.quad(bottom=0, left=hedges[:-1], right=hedges[1:], top=hhist, color="purple", line_color="white")
show(ph)
Interagir avec R / Embarquer R dans un code Python¶
- Fonctionnalité fournie par RPy2 : https://rpy2.readthedocs.io
- Disponible dans les notebook Jupyter avec une commande spéciale IPython
%%R
In [25]:
%load_ext rpy2.ipython
In [26]:
%%R
mean(runif(100))
In [27]:
%%R
a = runif(100)
In [28]:
# Attention, les variables affectée de cette manière
# ne sont pas (automatiquement) disponibles dans le scope
# des cellules Python
a
On peut toutefois convertir explicitement certains objets Python pour les utiliser directement dans ces cellules R et spécifier quelles variables R doivent être exportées vers Python à la fin de l'éxécution de la cellule :
In [29]:
# Créons deux tableaux NumPy :
x = np.array([1, 2, 4, 6, 5, 8])
y = np.array([0, 1, 3, 2, 5, 7])
In [30]:
%%R -i x,y -o my_coef
# ^^ avec -i et le(s) nom(s) de variable(s) Python à utiliser en R
# ^^ avec -o et pour la sortie R vers Python
xylm = lm(y~x)
my_coef = coef(xylm)
par(mfrow=c(2,2))
plot(xylm)
In [31]:
# La variable my_coef est bien accessible en Python :
my_coef
Out[31]:
- Permet une réelle intégration de R dans Python (création d'une application web en Python qui exposerait une console R, etc.), en utilisant les différents modules de rpy2 on va pouvoir utiliser les différentes fonctionnalitées de R et des packages qu'on va importer avec une granularité très fine.
Exemple d'utilisation des fonctionnalitées de R, entièrement en Python
Le code R natif qu'on veut mobiliser est le suivant :
ctl <- c(4.17,5.58,5.18,6.11,4.50,4.61,5.17,4.53,5.33,5.14)
trt <- c(4.81,4.17,4.41,3.59,5.87,3.83,6.03,4.89,4.32,4.69)
group <- gl(2, 10, 20, labels = c("Ctl","Trt"))
weight <- c(ctl, trt)
anova(lm.D9 <- lm(weight ~ group))
summary(lm.D90 <- lm(weight ~ group - 1))# omitting intercept
Utilisation du module rpy2.robjects qui permet d'appeler les différentes fonctionnalités R :
In [35]:
import rpy2.robjects as robjects
from rpy2.robjects import FloatVector
from rpy2.robjects.packages import importr
stats = importr('stats')
base = importr('base')
ctl = FloatVector([4.17,5.58,5.18,6.11,4.50,4.61,5.17,4.53,5.33,5.14])
trt = FloatVector([4.81,4.17,4.41,3.59,5.87,3.83,6.03,4.89,4.32,4.69])
group = base.gl(2, 10, 20, labels = ["Ctl","Trt"])
weight = ctl + trt
# Pour les utiliser dans une formule,
# on doit explicitement mettre les variables
# approprié dans l'environnement global de R
robjects.globalenv["weight"] = weight
robjects.globalenv["group"] = group
lm_D9 = stats.lm("weight ~ group")
print(stats.anova(lm_D9))
lm_D90 = stats.lm("weight ~ group - 1") # omitting intercept
print(base.summary(lm_D90))