PySpark - SparkConf

Per eseguire un'applicazione Spark sul locale / cluster, è necessario impostare alcune configurazioni e parametri, questo è ciò con cui SparkConf aiuta. Fornisce configurazioni per eseguire un'applicazione Spark. Il blocco di codice seguente contiene i dettagli di una classe SparkConf per PySpark.

class pyspark.SparkConf (
   loadDefaults = True, 
   _jvm = None, 
   _jconf = None
)

Inizialmente, creeremo un oggetto SparkConf con SparkConf (), che caricherà i valori da spark.*Anche le proprietà del sistema Java. Ora puoi impostare diversi parametri usando l'oggetto SparkConf ei loro parametri avranno la priorità sulle proprietà di sistema.

In una classe SparkConf sono presenti metodi setter che supportano il concatenamento. Ad esempio, puoi scrivereconf.setAppName(“PySpark App”).setMaster(“local”). Una volta passato un oggetto SparkConf ad Apache Spark, non può essere modificato da nessun utente.

Di seguito sono riportati alcuni degli attributi più comunemente usati di SparkConf:

  • set(key, value) - Per impostare una proprietà di configurazione.

  • setMaster(value) - Per impostare l'URL principale.

  • setAppName(value) - Per impostare il nome di un'applicazione.

  • get(key, defaultValue=None) - Per ottenere un valore di configurazione di una chiave.

  • setSparkHome(value) - Per impostare il percorso di installazione di Spark sui nodi di lavoro.

Consideriamo il seguente esempio di utilizzo di SparkConf in un programma PySpark. In questo esempio, stiamo impostando il nome dell'applicazione Spark comePySpark App e impostando l'URL principale per un'applicazione Spark su → spark://master:7077.

Il seguente blocco di codice ha le linee, quando vengono aggiunte nel file Python, imposta le configurazioni di base per l'esecuzione di un'applicazione PySpark.

---------------------------------------------------------------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName("PySpark App").setMaster("spark://master:7077")
sc = SparkContext(conf=conf)
---------------------------------------------------------------------------------------