Voilà un domaine éminemment intéressant et crucial.
Chez Believe SA, nous utilisons en avant-première des systèmes de données innovants, car nous avons conscience que ce domaine est, depuis toujours et peut-être pour toujours, en pleine évolution.
Suivre ces vagues technologiques, les installer et les tester ouvre de nouveaux horizons. En ce moment, la vague du stockage en colonnes (Column-Based Storage) est particulièrement intéressante.
En optimisant la façon de stocker et de requêter les données en mémoire, on s'aperçoit qu'il n'est peut-être pas si compliqué de résoudre les questions liées à la sauvegarde, à l'interrogation et à la réplication.
À tel point que certaines bases de données ne sont maintenant plus que quelques fichiers Parquet distribués, montés en mémoire et répartis sur un nombre étudié de machines, qui peut bien sûr augmenter à la demande.
Avec une telle architecture, on respire. Les ETL ne sont plus vraiment nécessaires, les solutions propriétaires perdent de leur intérêt et les coûts de maintenance vont dramatiquement chuter.
Le plus intéressant dans tout cela, c'est que les meilleures solutions disponibles aujourd'hui, et de très loin, sont totalement open-source et basées sur des langages d'une fiabilité exemplaire.
Ce nouveau paradigme ouvre également un autre horizon. Chaque fichier Parquet peut être interrogé facilement en SQL ou avec l'API DataFrame, et l'IA est très performante lorsqu'il s'agit de générer ce type de requêtes.