DynamoDB - Pipeline di dati

Data Pipeline consente di esportare e importare dati da / verso una tabella, un file o un bucket S3. Questo ovviamente si rivela utile nei backup, nei test e per esigenze o scenari simili.

In un'esportazione, utilizzi la console Data Pipeline, che crea una nuova pipeline e avvia un cluster Amazon EMR (Elastic MapReduce) per eseguire l'esportazione. Un EMR legge i dati da DynamoDB e li scrive sulla destinazione. Discuteremo EMR in dettaglio più avanti in questo tutorial.

In un'operazione di importazione, si utilizza la console Data Pipeline, che crea una pipeline e avvia EMR per eseguire l'importazione. Legge i dati dall'origine e scrive nella destinazione.

Note - Le operazioni di esportazione / importazione comportano un costo in considerazione dei servizi utilizzati, in particolare EMR e S3.

Utilizzo della pipeline di dati

È necessario specificare le autorizzazioni per azioni e risorse quando si utilizza Data Pipeline. Puoi utilizzare un ruolo o una policy IAM per definirli. Gli utenti che eseguono importazioni / esportazioni devono prendere nota che richiederebbero un ID chiave di accesso attivo e una chiave segreta.

Ruoli IAM per la pipeline di dati

Sono necessari due ruoli IAM per utilizzare Data Pipeline:

  • DataPipelineDefaultRole - Questo contiene tutte le azioni che permetti alla pipeline di eseguire per te.

  • DataPipelineDefaultResourceRole - Questo contiene le risorse che consenti alla pipeline di fornire per te.

Se non conosci Data Pipeline, devi generare ogni ruolo. Tutti gli utenti precedenti possiedono questi ruoli a causa dei ruoli esistenti.

Utilizza la console IAM per creare ruoli IAM per Data Pipeline ed esegui i quattro passaggi seguenti:

Step 1 - Accedi alla console IAM situata in https://console.aws.amazon.com/iam/

Step 2 - Seleziona Roles dalla dashboard.

Step 3 - Seleziona Create New Role. Quindi immettere DataPipelineDefaultRole nel fileRole Name campo e selezionare Next Step. NelAWS Service Roles elenco nel file Role Type pannello, vai a Data Pipelinee scegli Select. SelezionareCreate Role nel Review pannello.

Step 4 - Seleziona Create New Role.