Amazon Web Services - Kinesis
Amazon Kinesisè un servizio gestito, scalabile e basato su cloud che consente l'elaborazione in tempo reale di grandi quantità di dati in streaming al secondo. È progettato per applicazioni in tempo reale e consente agli sviluppatori di acquisire qualsiasi quantità di dati da diverse origini, aumentandoli e diminuendoli che possono essere eseguiti su istanze EC2.
Viene utilizzato per acquisire, archiviare ed elaborare dati da flussi distribuiti di grandi dimensioni come registri eventi e feed di social media. Dopo aver elaborato i dati, Kinesis li distribuisce a più consumatori contemporaneamente.
Come utilizzare Amazon KCL?
Viene utilizzato in situazioni in cui si richiedono dati in rapido movimento e la loro elaborazione continua. Amazon Kinesis può essere utilizzato nelle seguenti situazioni:
Data log and data feed intake- Non abbiamo bisogno di aspettare per raggruppare i dati, possiamo inviare i dati a un flusso Amazon Kinesis non appena i dati vengono prodotti. Protegge anche la perdita di dati in caso di guasto del produttore di dati. Ad esempio: i registri di sistema e dell'applicazione possono essere aggiunti continuamente a un flusso e possono essere disponibili in pochi secondi quando necessario.
Real-time graphs- Possiamo estrarre grafici / metriche utilizzando Amazon Kinesis stream per creare risultati di report. Non è necessario attendere batch di dati.
Real-time data analytics - Possiamo eseguire analisi dei dati di streaming in tempo reale utilizzando Amazon Kinesis.
Limiti di Amazon Kinesis?
Di seguito sono riportati alcuni limiti da tenere presenti durante l'utilizzo di Amazon Kinesis Streams:
I record di un flusso possono essere accessibili fino a 24 ore per impostazione predefinita e possono essere estesi fino a 7 giorni abilitando la conservazione dei dati estesa.
La dimensione massima di un BLOB di dati (il payload dei dati prima della codifica Base64) in un record è 1 megabyte (MB).
Uno shard supporta fino a 1000 record PUT al secondo.
Per ulteriori informazioni relative ai limiti, visitare il seguente collegamento - https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
Come utilizzare Amazon Kinesis?
Di seguito sono riportati i passaggi per utilizzare Amazon Kinesis:
Step 1 - Configura Kinesis Stream utilizzando i seguenti passaggi:
Accedi all'account AWS. Seleziona Amazon Kinesis da Amazon Management Console.
Fare clic su Crea stream e compilare i campi obbligatori come il nome dello stream e il numero di frammenti. Fare clic sul pulsante Crea.
Lo stream sarà ora visibile nell'elenco degli stream.
Step 2- Configura gli utenti sullo stream Kinesis. Crea nuovi utenti e assegna un criterio a ciascun utente (abbiamo discusso la procedura sopra per creare utenti e assegnare loro il criterio)
Step 3- Collega la tua applicazione ad Amazon Kinesis; qui stiamo collegando Zoomdata ad Amazon Kinesis. Di seguito sono riportati i passaggi per connettersi.
Accedi a Zoomdata come amministratore e fai clic su Sorgenti nel menu.
Seleziona l'icona Kinesis e inserisci i dettagli richiesti. Fare clic sul pulsante Avanti.
Seleziona lo Stream desiderato nella scheda Stream.
Nella scheda Campi, creare nomi di etichette univoci, come richiesto e fare clic sul pulsante Avanti.
Nella scheda Grafici, abilita i grafici per i dati. Personalizzare le impostazioni come richiesto, quindi fare clic sul pulsante Fine per salvare l'impostazione.
Caratteristiche di Amazon Kinesis
Real-time processing - Permette di raccogliere e analizzare informazioni in tempo reale come i prezzi di scambio di azioni altrimenti è necessario attendere il rapporto di uscita dei dati.
Easy to use - Utilizzando Amazon Kinesis, possiamo creare un nuovo flusso, impostarne i requisiti e avviare rapidamente lo streaming dei dati.
High throughput, elastic - Permette di raccogliere e analizzare informazioni in tempo reale come i prezzi di scambio di azioni altrimenti è necessario attendere il rapporto di uscita dei dati.
Integrate with other Amazon services - Può essere integrato con Amazon Redshift, Amazon S3 e Amazon DynamoDB.
Build kinesis applications- Amazon Kinesis fornisce agli sviluppatori librerie client che consentono la progettazione e il funzionamento di applicazioni di elaborazione dati in tempo reale. Aggiungi la libreria client di Amazon Kinesis all'applicazione Java e notificherà quando nuovi dati saranno disponibili per l'elaborazione.
Cost-efficient- Amazon Kinesis è conveniente per carichi di lavoro di qualsiasi scala. Paga a consumo per le risorse utilizzate e paga ogni ora per la produttività richiesta.