Optimize task dimensioning for table creation rules

[marcboulle]

Description

La création d’instances peut entrainer une charge mémoire complexe à prévoir, notamment dans la cas de la création de table, dont le nombre d’instances dépendant des données des bases en entrée.

Cas des instances de la base

• Types de variable à prendre en compte
  • préparation, modélisation : types simples uniquement (Numerical, Categorical)
  • déploiement, data management : type stockables uniquement (ni Entity, ni Table)
• Le dimensionnement n’est donc pas concerné par la création de Table, car seules les variables de type stockable sont à gérer, comme précédemment
• Le seul problème est pour le calcul d’une instance d’analyse (du dictionnaire d’analyse), qui peut demander beaucoup de mémoire intermédiaire pour le chargement des table pouvant être de grande taille ou la création de table pour des représentation intermédiaires
• Ce problème est déjà prise en compte pour la gestion des instances « éléphant », dont l’occupation mémoire totale peut excéder la capacité mémoire (ex : un client associé à des millions de logs)
  • Cf. classe KWDatabaseMemoryGuard dans la librairie Learning
  • Cf jeux de test LearningTest\TestKhiops\CrashTests\MaxMTRecordNumber
• A vérifier: cette protection existante doit rester effective dans le cas d’instances utilisant massivement de règles de création de Table

Context

• Khiops version: après V11