Pourquoi j'obtiens des résultats différents lorsque je fais une division manuelle des données de test et d'entraînement par opposition à l'utilisation de la fonction de division Python

La fonction train_test_split de scikit-learn utilise sklearn.model_selection.ShuffleSplit selon le documentation et cela signifie que cette méthode randomise vos données lors du fractionnement.

Lorsque vous avez fractionné manuellement, vous ne l'avez pas randomisé, donc si vos étiquettes ne sont pas réparties uniformément dans votre ensemble de données, vous aurez bien sûr des problèmes de performances car votre modèle ne sera pas assez généralisé en raison de données d'entraînement ne contenant pas suffisamment échantillon d'autres étiquettes.

Si mes soupçons sont corrects, vous devriez obtenir un résultat similaire en passant shuffle = False dans train_test_split .

Je suppose que les deux méthodes ici font réellement ce que vous avez l'intention de faire et que les formes de votre X_train / test et y_train / tests sont les mêmes venant des deux méthodes. Vous pouvez soit tracer les distributions sous-jacentes de vos ensembles de données , soit comparer votre deuxième implémentation à un modèle à validation croisée (pour une meilleure rigueur).

Tracez les distributions (c'est-à-dire faites des graphiques à barres / des graphiques de densité) des étiquettes (y) dans le train initial - testez les ensembles par rapport aux seconds (à partir de l'implémentation manuelle). Vous pouvez plonger plus profondément et également tracer vos autres colonnes dans les données, voir si quelque chose concernant les distributions de vos données est différent entre les ensembles résultants des deux implémentations. Si les distributions sont différentes de ce qui a du sens, vous obtenez des écarts entre vos deux modèles. Si votre écart est énorme, il se peut que vos étiquettes (ou d'autres colonnes) soient réellement triées pour votre implémentation manuelle, vous obtenez donc des distributions très différentes dans les ensembles de données que vous comparez.

De plus, si vous voulez vous assurer que vos résultats de fractionnement manuel sont un ensemble `` représentatif '' (qui se généraliserait bien) basé sur les résultats du modèle au lieu des distributions de données sous-jacentes, je le comparerais aux résultats d'une validation croisée modèle, pas un seul ensemble de résultats.

Essentiellement, bien que la probabilité soit faible et que le train_test_split effectue un brassage, vous pourriez essentiellement obtenir une paire «train / test» qui fonctionne bien juste par chance. (Pour réduire le risque de cela sans faire de validation croisée, je suggère d'utiliser l'argument stratify de la fonction train_test_split . Alors au moins vous êtes sûr que le premier implémentation 'essaie plus fort' d'obtenir des paires train / test équilibrées.)

Si vous décidez de faire une validation croisée (avec test_train_split ), vous obtenez une prédiction de modèle moyenne pour les plis et un intervalle de confiance autour de celle-ci et vous pouvez vérifier si les résultats de votre deuxième modèle se situent dans cet intervalle. Si ce n'est pas le cas, cela signifie simplement que votre fractionnement est en fait `` corrompu '' (par exemple en ayant des valeurs triées).

P.S. J'ajouterais également que les arbres de décision sont des modèles connus pour surajuster massivement [1]. Peut-être utiliser une forêt aléatoire à la place? (vous devriez obtenir des résultats plus stables en raison du bootstraping / bagging qui agirait de la même manière que la validation croisée pour réduire le risque de surajustement.)

1 - http: //cv.znu .ac.ir / afsharchim / AI / lectures / Decision% 20Trees% 203.pdf

Supposons que votre ensemble de données contienne ces données.

2 - 2
4 - 4#test data is subtraction

Supposons donc que vous souhaitiez une répartition à 50% du train. train_test_split le mélange comme ceci pour qu'il se généralise mieux

1 + 1 = 2
2 + 2 =4#only learned addition

Il sait donc quoi faire quand il voit ces données

2+2
4-4#since it learned both addition and subtraction

Mais lorsque vous les mélangez manuellement comme ceci

1+1=2
2-2= 0

Il ne sait pas quoi faire lorsqu'il voit ces données

1 + 1 = 2
2 + 2 = 4
4 - 4 = 0
2 - 2 = 0

J'espère que cela répond à votre question

Cela peut ressembler à une simple vérification mais ..

Dans le premier exemple, vous lisez des données à partir de 'data.csv', dans le deuxième exemple vous lisez à partir de 'train.csv' et 'test.csv' . Puisque vous dites que vous divisez le fichier manuellement, j'ai une question sur la façon dont cela a été fait. Si vous coupez simplement le fichier à la marque 2/3 et que vous le sauvegardez sous «train.csv» et le reste sous «test.csv», vous avez sans le savoir fait une hypothèse sur l'uniformité des données dans le fichier. Les fichiers de données peuvent avoir une structure ordonnée qui fausserait la formation ou le test, c'est pourquoi le train_test_split randomise les lignes. Si vous ne l'avez pas déjà fait, essayez d'abord de randomiser les lignes, puis d'écrire dans votre train et de tester le fichier csv pour vous assurer que vous disposez d'un ensemble de données homogène .

L'autre ligne la ligne 6 n'est peut-être pas à sa place:

X_test = testing_data.iloc[:,testing_data.columns.str.contains('|'.join(['x1','x2','x3']))] 

Peut-être que les l_vars contiennent autre chose que ce que vous attendez. Peut-être devrait-il lire ce qui suit pour être plus cohérent.

X_test = testing_data.iloc[:,testing_data.columns.str.contains('|'.join(l_vars))] 

bonne chance, faites-nous savoir si cela aide.