Quelle est la meilleure façon de stocker des données de tendance?

Vous pouvez essayer de faire usage d'une base de données basée sur une colonne. Ces types de bases de données sont bien meilleurs dans les requêtes analytiques du type que vous décrivez. Il existe plusieurs options:

http://fr.wikipedia.org/wiki/column-oriented_dbms < / p>

Nous avons eu une bonne expérience avec INFINIDEB:

http://infinidb.org/

et Infobright a l'air bien aussi:

http://www.infobright.com/

InfiniDB et Infobright ont des éditions de communauté open source gratuites. Je vous recommanderais donc de les utiliser pour obtenir des points de repère sur les types de prestations de performance que vous pourriez obtenir.

Vous voudrez peut-être aussi consulter votre partitionnement de vos données pour améliorer les performances.

C'est un peu dépendant de vos données, et le type d'agrégations / tendances que vous souhaitez courir. La plupart des bases de données relationnelles fonctionnent parfaitement pour ce type de données chronologiques. Même avec des milliards d'enregistrements, une indexation appropriée et un partitionnement peuvent effectuer des travaux de travail rapides de trouver les archives dont vous avez besoin. DB est comme Oracle, MySQL, SQL-Server tomber dans cette catégorie.

permet de dire que les produits avec lesquels vous travaillez sont des stocks et pour chaque stock que vous obtenez un nouveau prix chaque jour (un cas très réaliste). De nouveaux échanges, stocks, fréquences commerciales augmenteront ces données de manière exponentielle assez rapidement. Vous pouvez toutefois partitionner les données par échange. Ou région.

Divers outils de renseignement de l'entreprise sont également en mesure d'aider, ce qui revient effectivement à pré-agréger les données avant la récupération. Ceci est essentiellement une base de données orientée colonne, comme on l'a suggéré. (Les entrepôts de données et les structures OLAP peuvent aider à masser et à enregistrer des ensembles de données à l'avance).

Semblable à l'idée de l'entreposage de données, s'il s'agit simplement d'une question des agrégations prenant trop de temps, vous pouvez travailler les agrégations du jour au lendemain dans une structure plus rapide pour interroger. Dans mon exemple précédent, vous n'avez peut-être pas seulement de récupérer de gros morceaux de données très rarement, mais plus souvent, une agrégation telle que 52 semaines. Vous pouvez stocker la grande quantité de données brutes en un format, puis chaque nuit, vous avez un travail de travail que ce dont vous avez besoin dans une table plutôt que des milliers de points de données par stock, a maintenant 3 ou 4.

Si les tendances que vous suivez sont vraiment sur la place ou des algorithmes complexes, une solution BI à part entière peut être une autre chose à étudier afin que vous puissiez utiliser des algorithmes antérieurs et d'exploitation antérieurs pré-construits.

Si les données ne sont pas très structurées, vous pouvez avoir une bonne chance avec une base de données NOSQL comme Hadoop ou Mongo, bien que, bien que mes connaissances sur les bases de données soient davantage axées sur les formats relationnels.

Modification des données relatives à des graphiques non relationnels, tels que des graphiques, convertissant des données à des formes mieux et organisées telles que l'utilisation des martons de données et des lacs de données. En utilisant des algorithmes d'extraction de données. Traitement des données ensemble en utilisant des techniques telles que la carte Réduire. Convertir les propriétés acides en basique.