Dans le domaine en pleine évolution du stockage et de l’analyse des données, un nouveau format de fichier nommé “Pixels” attire l’attention des ingénieurs en données et des chercheurs quantitatifs. Reconnu pour ses performances supérieures dans le traitement des données chronologiques, Pixels se positionne comme une avancée potentielle, surpassant de manière significative les capacités du format Apache Parquet, largement utilisé. Conçu pour des flux de travail à grande échelle et à haut débit, Pixels est réputé pour traiter les requêtes de manière exponentiellement plus rapide que les fichiers CSV, et même pour surpasser Parquet, notamment dans les tâches de filtrage et d’agrégation.
Pixels est un format de stockage en colonnes optimisé pour les charges de travail analytiques, doté d’un indexage avancé et d’une gestion de la mémoire qui améliorent ses performances. Son système d’indexation adaptative permet d’ignorer rapidement et précisément les blocs de données non pertinents, accélérant ainsi les temps d’exécution des requêtes sur de grands ensembles de données. Une caractéristique notable de Pixels est sa gestion efficace des données horodatées, ce qui le rend idéal pour les analystes financiers et les data scientists qui travaillent fréquemment avec des informations basées sur le temps. L’indexation interne du format permet un accès rapide à des fenêtres temporelles spécifiques, réduisant le besoin de scanner des volumes de données excessifs.
De plus, Pixels optimise les agrégations courantes en stockant les colonnes de temps et les colonnes numériques clés de manière contiguë en mémoire, facilitant ainsi des calculs à grande vitesse. Le format s’intègre parfaitement avec DuckDB, une base de données OLAP SQL en processus, permettant des requêtes faciles des fichiers Pixels via son API Python. Cette intégration, couplée à des gains de performance significatifs, positionne Pixels comme une option redoutable pour le stockage de séries chronologiques, en particulier dans les secteurs intensifs en données comme la finance et l’analyse IoT.
Bien qu’encore à ses débuts en termes d’adoption, Pixels reçoit des éloges de la part des premiers utilisateurs dans les industries où la performance et l’échelle sont cruciales. Alors que les volumes de données continuent de croître, la demande pour des formats de fichiers efficaces comme Pixels devient de plus en plus critique, marquant potentiellement une nouvelle évolution dans le stockage et l’interrogation des données à grande échelle.
