Il backend del colosso della musica in streaming Spotify, che conta oltre 2 miliardi di playlist e 30 milioni di brani, si sposta dai data center locali ai server cloud di Google.

Un cambiamento che riguarda – anche se non se ne accorgeranno nemmeno – la migrazione di ben 75 milioni di utenti. Dalle prossime settimane e nei prossimi mesi, infatti, l’esperienza musicale passerà su Google Cloud Platform- “Stiamo collaborando – fanno sapere dai piani alti di Spotify – a un ambizioso progetto per portare il backend di Spotify su GCP”.

“Se è vero che Spotify ha fatto sviluppare ai propri ingegneri l’infrastruttura di base – spiega Guillaume Leygues, Lead Sales Engineer, Google Cloud Platform -ha acquistato e noleggiato spazio nei data center, oltre a PC e infrastrutture di rete per fornire un’esperienza senza soluzione di continuità agli utenti, è anche vero che più volte si è chiesta se valesse la pena impegnare così tante risorse a discapito dello sviluppo di funzioni innovative e di software”.

“La decisione – continua Leygues – è stata quella di uscire dal business dei data center, per scegliere Google Cloud Platform dopo un’accurata valutazione di tutte le offerte sul mercato. La società ha suddiviso la migrazione a Google Cloud Platform in due parti: passaggio dei servizi e passaggio dei dati. Spotify fa funzionare i propri prodotti su una moltitudine di microservizi, molti dei quali stanno ora migrando dai data center locali al cloud di Google, grazie a Cloud Storage, Compute Engine e altri prodotti”.

Con Compute Engine, i team possono contare su prestazioni costanti di SSD ad altissimo IOPS e capacità di storage locale SSD. E con le funzionalità di autoscaling possono creare applicazioni resilienti e a basso costo che utilizzano solo la giusta quantità di risorse necessarie in ogni momento.

Per lo storage, Spotify sta implementando Cloud Datastore e Cloud Bigtable. Questa ricca struttura di servizi di storage consente agli ingegneri di concentrarsi sulle strategie di backend, piuttosto che disperdere risorse nel capire come memorizzare i dati e mantenere attivi i database. Spotify sta anche implementando i servizi di Cloud Networking di Google, come Direct Peering, Cloud VPN e Cloud Router, per trasferire petabyte di dati. Tutto questo si traduce in un’esperienza veloce, affidabile e sicura per gli utenti di tutto il mondo.

Per la gestione dei dati, l’azienda sta adottando un’insieme di tecnologie completamente nuove. Sono comprese la migrazione da Hadoop, MapReduce, Hive e da una serie di strumenti di dashboard locali, per dotarsi dei più recenti strumenti di data processing, compresi Google Cloud Pub/Sub, Dataflow, BigQuery, e Dataproc.

Con BigQuery e Dataproc, è possibile eseguire query complesse e ottenere risposte in un minuto o due, invece che aspettare per ore. Ciò consente a Spotify di effettuare analisi approfondite e interattive con maggiore frequenza, a vantaggio dello sviluppo dei prodotti, dei test di funzionalità e della user experience. Cloud Pub/Sub, il servizio di Google per lo scambio dati tra applicazioni, offre ai diversi team la possibilità di elaborare centinaia di migliaia di messaggi al secondo in modo affidabile. E per potenziare i suoi carichi di lavoro ETL, Spotify sta implementando Cloud Dataflow, il servizio di data processing di Google. In questo modo l’azienda si affida a un unico servizio basato su cloud, sia per il batch processing che per lo stream processing.