Panda Python - Dati sparsi
Gli oggetti sparsi vengono "compressi" quando vengono omessi i dati corrispondenti a un valore specifico (NaN / valore mancante, sebbene sia possibile scegliere qualsiasi valore). Uno speciale oggetto SparseIndex tiene traccia della posizione in cui i dati sono stati "sparsificati". Questo avrà molto più senso in un esempio. Tutte le strutture dati standard di Pandas applicano l'estensioneto_sparse metodo -
import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts
Suo output è il seguente -
0 -0.810497
1 -1.419954
2 NaN
3 NaN
4 NaN
5 NaN
6 NaN
7 NaN
8 0.439240
9 -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)
Gli oggetti sparsi esistono per motivi di efficienza della memoria.
Supponiamo ora di avere un DataFrame NA di grandi dimensioni ed eseguire il codice seguente:
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()
print sdf.density
Suo output è il seguente -
0.0001
Qualsiasi oggetto sparse può essere riconvertito nella forma densa standard chiamando to_dense -
import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()
Suo output è il seguente -
0 -0.810497
1 -1.419954
2 NaN
3 NaN
4 NaN
5 NaN
6 NaN
7 NaN
8 0.439240
9 -1.095910
dtype: float64
Tipi di D sparsi
I dati sparsi dovrebbero avere lo stesso dtype della sua rappresentazione densa. Attualmente,float64, int64 e booldtypessono supportati. A seconda dell'originaledtype, fill_value default modifiche -
float64 - np.nan
int64 - 0
bool - Falso
Eseguiamo il seguente codice per capire lo stesso:
import pandas as pd
import numpy as np
s = pd.Series([1, np.nan, np.nan])
print s
s.to_sparse()
print s
Suo output è il seguente -
0 1.0
1 NaN
2 NaN
dtype: float64
0 1.0
1 NaN
2 NaN
dtype: float64