iemodel evaluate model
La commande iemodel evaluate évalue un modèle du module Information Extraction précédemment formé.
Utilisation
iemodel evaluate model --n modelName --t testFileName --o outputFileName --c categoryCount --d trueOrfalse| Obligatoire | Argument | Description |
|---|---|---|
| Oui | --n modelName | Indique le nom et l'emplacement du modèle à évaluer. Les chemins de répertoire que vous indiquez ici sont relatifs à l'emplacement dans lequel vous exécutez l'utilitaire Administration. |
| Oui | --t testFileName | Indique le nom et l'emplacement du fichier de test utilisé pour évaluer le modèle. |
| Non | --o outputFileName | Indique le nom et l'emplacement du fichier de sortie qui va stocker les résultats de l'évaluation. |
| Non | --c categoryCount | Spécifie le nombre de catégories du modèle ; doit être une valeur numérique. Remarque : S'applique uniquement au modèle Text Classification.
|
| Non | --d trueOrfalse | Spécifie s’il faut afficher une table avec une analyse détaillée des entités ; la valeur doit être true ou false, comme suit :
false. La table Résultats d’évaluation du modèle, et Matrice de confusion avec ses colonnes, comme décrit ci-dessous, affichent les nombres par entité. Remarque : Si la commande est exécutée sans cet argument, ou avec la valeur d'argument false, la table Résultats d’évaluation du modèle et Matrice de confusion ne sont pas affichées. Seules les Statistiques d’évaluation du modèle sont affichées.
|
Sortie
- Statistiques d’évaluation du modèle
- L'exécution de cette commande affiche ces statistiques d’évaluation sous forme de tableau :
- Précision : il s’agit d’une mesure de l'exactitude. La précision définit la proportion d’uplets correctement identifiés.
- Rappel : il s’agit d’une mesure de l’exhaustivité des résultats. Rappel peut être défini sous forme de fraction d’instances pertinentes récupérées.
- Mesure F1 : il s’agit de la mesure de la précision d’un test. Le calcul du score F1 prend en compte à la fois la précision et le rappel du test. Il peut être interprété comme la moyenne pondérée de la précision et du rappel, où un score F1 de valeur 1 est le meilleur score et un score F1 de valeur 0 est le pire score.
- Exactitude : cette option mesure le degré d’exactitude des résultats. Elle définit la proximité de la valeur mesurée par rapport à la valeur connue.
- Résultats d’évaluation du modèle
- Si la commande est exécutée avec l’argument
--d true, le nombre de correspondances de toutes les entités est affiché dans un tableau. Les colonnes de la table sont les suivantes :- Input Count
- Nombre d’occurrences de l’entité dans les données d’entrée.
- Mismatch Count
- Nombre de fois où la correspondance d'entités a échoué.
- Match Count
- Nombre de fois où la correspondance d'entités a réussi.
- Matrice de confusion
- La Matrice de Confusion (illustrée ci-dessous) permet de visualiser les performances d'un algorithme. Elle illustre les performances d’un modèle de classification.
Exemple
Cet exemple :
iemodel evaluate model --n MyModel --t C:\Spectrum\IEModels\ModelTestFile --o C:\Spectrum\IEModels\MyModelTestOutput --c 4 --d true- Évalue le modèle appelé « MyModel ».
- Utilise un fichier de test appelé « ModelTestFile » au même emplacement.
- Enregistre la sortie de l'évaluation dans un fichier appelé « MyModelTestOutput ».
- Indique un nombre de catégories 4.
- Indique qu’une analyse détaillée de l’évaluation est requise.