iemodel evaluate model

Der Befehl iemodel evaluate wertet ein Modell des Information Extraction-Moduls aus, das zuvor trainiert wurde.

Verwendung

iemodel evaluate model --n Modellname --t Testdateiname --o Ausgabedateiname --c Kategorieanzahl --d WahrOderFalsch

Erforderlich	Argument	Beschreibung
Ja	--n `modelName`	Gibt den Namen und den Speicherort des Modells an, das Sie auswerten möchten. Die hier von Ihnen angegebenen Verzeichnispfade sind relativ zu dem Speicherort, an dem Sie die Administrationsumgebung ausführen.
Ja	--t `testFileName`	Gibt den Namen und den Speicherort der Testdatei an, die für die Auswertung des Modells verwendet wird.
Nein	--o `outputFileName`	Gibt den Namen und den Speicherort der Ausgabedatei an, in der die Auswertungsergebnisse gespeichert werden.
Nein	--c `categoryCount`	Gibt die Anzahl an Kategorien in dem Modell an und muss ein numerischer Wert sein. Anmerkung: Gilt nur für das Textklassifizierungsmodell.
Nein	--d `trueOrfalse`	Gibt an, ob eine Tabelle mit einer entitätsbezogenen detaillierten Analyse angezeigt werden soll. Der Wert muss `true` oder `false` sein, wie folgt: true Detaillierte Auswertungsergebnisse sind erforderlich. false Detaillierte Auswertungsergebnisse sind nicht erforderlich. Der Standardwert ist `false`. In der Tabelle Ergebnisse der Modellauswertung und der Konfusionsmatrix mit den zugehörigen Spalten wird die Anzahl pro Entität angezeigt. Anmerkung: Wenn der Befehl ohne dieses Argument oder mit dem Argumentwert `false` ausgeführt wird, werden die Tabelle Ergebnisse der Modellauswertung und die Konfusionsmatrix nicht angezeigt. Nur die Statistik der Modellauswertung wird angezeigt.

Ausgabe

Statistik der Modellauswertung

Nach Ausführen dieses Befehls wird diese Auswertungsstatistik in tabellarischem Format angezeigt:

Genauigkeit: Dies ist eine Maßeinheit für Genauigkeit. Die Genauigkeit definiert das Verhältnis ordnungsgemäß identifizierter Tupel.
Wiederaufruf: Dies ist eine Maßeinheit für die Vollständigkeit der Ergebnisse. Der Wiederaufruf kann als Anteil relevanter Instanzen definiert werden, die abgerufen werden.
F1-Wert: Dies ist die Maßeinheit für die Genauigkeit eines Tests. Bei der Berechnung des F1-Wertes werden die Genauigkeit und der Wiederaufruf des Tests berücksichtigt. Sie kann als gewichteter Mittelwert von der Genauigkeit und dem Wiederaufruf interpretiert werden, wobei das beste Ergebnis des F1-Wertes der Wert 1 und das schlechteste der Wert 0 ist.
Genauigkeit: Misst bei den Ergebnissen den Grad der Korrektheit. Sie definiert die Nähe des gemessenen Wertes zu dem bekannten Wert.

Ergebnisse der Modellauswertung

Wenn der Befehl mit dem Argument --d true ausgeführt wird, werden die Übereinstimmungsanzahlen aller Entitäten in tabellarischem Format angezeigt. Die Tabelle enthält folgende Spalten:

Anzahl Eingabe: Die Häufigkeit der Vorkommen der Entität in den Eingabedaten.
Anzahl Nichtübereinstimmungen: Die Anzahl, wie oft der Entitätsvergleich keine Übereinstimmung ergab.
Anzahl Übereinstimmungen: Die Anzahl, wie oft der Entitätsvergleich eine Übereinstimmung ergab.

Konfusionsmatrix

Mit der Konfusionsmatrix (unten dargestellt) kann visualisiert werden, wie ein Algorithmus ausgeführt wird. Sie veranschaulicht die Leistung eines Klassifizierungsmodells.

In der Spalte werden die Instanzen einer vorhergesagten Klasse dargestellt, während in der Zeile die Instanzen einer tatsächlichen Klasse dargestellt werden. Einige der Begriffe, die der Konfusionsmatrix zugeordnet sind, lauten wie folgt:

Tatsächlich: Die Häufigkeit der Vorkommen der Entität in der tatsächlichen Klasse.
Vorhergesagt: Die Häufigkeit der Vorkommen der Entität in der vorhergesagten Klasse.
RP: Richtig-Positiv: Die Häufigkeit der Vorkommen der Entität, mit der diese als positiv und auch als wahr vorhergesagt wird.
TN: Richtig-Negativ: Die Häufigkeit der Vorkommen der Entität, mit der diese als negativ, aber wahr vorhergesagt wird.
FP: Falsch-Positiv: Die Häufigkeit der Vorkommen der Entität, mit der diese als positiv, aber falsch vorhergesagt wird.
FN: Falsch-Negativ: Die Häufigkeit der Vorkommen der Entität, mit der diese als negativ und auch als falsch vorhergesagt wird.

Beispiel

Beispiel:

Wertet das Modell namens „MyModel“ aus
Verwendet eine Testdatei namens „ModelTestFile“ am selben Speicherort
Speichert die Ausgabe der Auswertung in einer Datei namens „MyModelTestOutput“
Gibt eine Kategorieanzahl von 4 an
Gibt an, dass eine detaillierte Analyse der Auswertung erforderlich ist

iemodel evaluate model --n MyModel --t C:\Spectrum\IEModels\ModelTestFile --o C:\Spectrum\IEModels\MyModelTestOutput --c 4 --d true