NEU: Version 1.1 mit zusätzlichen Funktionen, u.a. automatischer Auswertung der Performance! (09.7.2010)


Hallo zusammen,

(nicht mehr! Bitte bei Interesse melden) im Anhang befindet sich ein Programm zum Download und zur Installation einer Anwendung, mittels derer die internen Parameter hinsichtlich Geschwindigkeit und Genauigkeit des Erkennungsprozesses unmittelbar erfasst werden, und bei Bedarf in einer TXT-Datei abgespeichert werden können. Im Unterschied zu den bisherigen, aus meiner Sicht nicht nachvollziehbaren und mithin dubiosen, Bemühungen darum handelt es sich dabei um die Daten, die der Drachen bei der Arbeit selbst ausspuckt (aus dem Innenleben der ActiveX-Objekte).

Die Anwendung ist so konstruiert, dass man direkt hinein diktieren kann, wobei immer nur eine Äußerung im ganzen betrachtet wird, oder aber die Audio-Datei einer Äußerung umsetzen lassen kann. Um miteinander vergleichbare Ergebnisse zur erhalten, ist letzteres ohnehin angezeigt.

Die Anwendung liefert die Systemzeiten (in Millisekunden) des Erkennungsprozesses, demgegenüber die Länge (in Millisekunden) der physikalischen Äußerung (insgesamt und der einzelnen Wörter), die Anzahl und Liste der miteinander konkurrierenden Lösungen (das können im Unterschied zum Korrekturmenü auch schon mal 35 sein!) und - leider nur im englischen Profil in voller Funktionaliät - die "confidence scores" (Genauigkeitsparameter) der erkannten Wörter.

Die Anwendung wird (nach dem Entpacken) mit dem üblichen Windows-Installer installiert und kann über die Systemsteuerung wie gewohnt deinstalliert werden. Voraussetzung ist, dass .NET Framework 3.5 auf dem System vorhanden ist. Wenn die Installationsroutine feststellt, dass dies nicht der Fall ist, leitet sie automatisch zur Download-Seite von Microsoft weiter. Der Download ist kostenlos (und gefahrenlos).

Vor Benutzung des Programms muss Dragon gestartet werden.

Über Rückmeldungen und Fragen jeglicher Art würde ich mich sehr freuen.

Grüße
Rüdiger Wilke

Ergänzung: Bis vorhin (06.07. ca. 9:30 Uhr) war eine nicht aktuelle Version eingestellt. Wer diese verwendet hat, möchte sie bitte deinstallieren und die nun angebotene Version herunter laden und installieren. Tut mir leid wegen evtl. Umstände.

Als Ergänzung vorab ein Screenshot von der Anwendung bei der Arbeit:



Uploaded with ImageShack.us

Es handelt sich hierbei um die Umsetzung einer Aufnahme der Äußerung "unter gewissen Voraussetzungen...", die ich einfach mit dem Windows-Soundrekorder erstellt und noch einfacher mit dem Button "WAV" habe umsetzen lassen.

Im linken Fenster werden die Daten des Erkennungsprozesses (in "real time") eingeblendet, das rechte Fenster zeigt die Daten (Zeit) der physikalischen Äußerung an, nachdem ich den Button "Timeline" nach erfolgter Umsetzung drücke.

Wie die Daten zu interpretieren sind, dazu später mehr. Aber wer das mal ausprobieren möchte, wird staunen, wenn er oder sie bei diesem Verfahren (WAV oder WMA Datei in Windows 7) die "Repeat" Taste mehrmals hintereinander drückt, wodurch die Umsetzung direkt wiederholt wird. Interessant auch, den Schieberegler zu betätigen, und und und ...

Grüße
Rüdiger Wilke

Zur weiteren Demonstration der Funktionalität der Anwendung füge ich unten die Log-Datei einer Umsetzung mit einem englischen Profil an. Zu beachten ist, dass in der Log-Datei zunächst die Systemkenndaten und die Trainingszeit des Profils erfasst werden. Trainingszeit des Profils bezieht sich auf Lesen von Trainingstexten oder Durchführung von Optimierungen, mit anderen Worten, jedes Mal, wenn die Benutzerdateien angepasst werden, wird die Trainingszeit erhöht.

Auf diese Weise kann überprüft werden, inwieweit Unterschiede bei Profilen unterschiedlicher "Reife" bestehen.

Auch zu beachten: im englischen Profil werden die "confidence scores" (auf einer Skala von 0 bis 1000) ausgewertet.

Die mit dem Windows-Soundrecorder aufgezeichnete Äußerung wurde drei Mal bei unterschiedlichen Einstellungen des Reglers "speed vs. accuracy" umgesetzt.

Zitat

---

Testing Performance Tool, Copyright R.Wilke 2010
Log created: 06.07.2010, 00:18
Currently loaded user profile: US English Test
User training time: 87 minutes, 58 seconds

Processor:
IntelR CoreTM2 Duo CPU T9400 @ 2.53GHz
Architecture: 64-bit
L2-Cache Size: 6144 KB
L3-Cache Size: 0 KB
Physical Memory: 4095 MB

Operating System:
Microsoft Windows 7 Ultimate N 64-Bit

+++ File transcription invoked +++
-----------------------------------------------
*** Starting logging utterance, with Speed vs. Accuracy set to 75 % ***

DgnEngineControl_event: Utterance begin started 0:17:52:442
DgnEngineControl_event: Engine recogniton started 6 msecs total plus
DgnDictEdit_event: Dictation Recognition started 17 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 1786 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 2063 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 2518 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 2742 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 3169 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 3562 msecs total plus
DgnDictEdit_event: Text changed started 3918 msecs total plus
DgnEngineControl_event: Utterance end started 3946 msecs total plus

Overall procesing time: 3946 msecs
Time between utt start and text display: 3918 msecs
Time between engine rec start and text display: 3912 msecs
Time between text rec start and text display: 3901 msecs

9 phrase(s) in collection

Number of words in utterance: 13
Length of entire utterance: 8980 msecs

Beginning timestamp - ending timestamp : length of individual words:

0. 10 -- 2190 : 2180 msecs : under
1. 2190 -- 2570 : 380 msecs : certain
2. 2570 -- 3310 : 740 msecs : conditions
3. 3310 -- 3870 : 560 msecs : ,comma
4. 3870 -- 4390 : 520 msecs : having
5. 4390 -- 4510 : 120 msecs : a
6. 4510 -- 5210 : 700 msecs : well-trained
7. 5210 -- 5550 : 340 msecs : user
8. 5550 -- 6230 : 680 msecs : profile
9. 6230 -- 6670 : 440 msecs : can
10. 6670 -- 7070 : 400 msecs : be
11. 7070 -- 8170 : 1100 msecs : advantageous
12. 8170 -- 8990 : 820 msecs : .period

Total length of all words: 8980 msecs

Last Result 1: under certain conditions ,comma having a well-trained user profile can be advantageous .period

Number of words: 13
1. under; Confidence Score: 994
2. certain; Confidence Score: 996
3. conditions; Confidence Score: 995
4. ,comma; Confidence Score: 982
5. having; Confidence Score: 977
6. a; Confidence Score: 974
7. well-trained; Confidence Score: 921
8. user; Confidence Score: 971
9. profile; Confidence Score: 881
10. can; Confidence Score: 987
11. be; Confidence Score: 993
12. advantageous; Confidence Score: 992
13. .period; Confidence Score: 993

Average Confidence Score: 973
Lowest Confidence Score: 881
Highest Confidence Score: 996

*** End of logging utterance ***

+++ File transcription repeating +++
-----------------------------------------------
*** Starting logging utterance, with Speed vs. Accuracy set to 100 % ***

DgnEngineControl_event: Utterance begin started 0:18:22:937
DgnEngineControl_event: Engine recogniton started 8 msecs total plus
DgnDictEdit_event: Dictation Recognition started 17 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 3999 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 4003 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 4008 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 4013 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 4025 msecs total plus
DgnDictEdit_event: Text changed started 4038 msecs total plus
DgnEngineControl_event: Utterance end started 4061 msecs total plus

Overall procesing time: 4061 msecs
Time between utt start and text display: 4038 msecs
Time between engine rec start and text display: 4030 msecs
Time between text rec start and text display: 4021 msecs

4 phrase(s) in collection

Number of words in utterance: 13
Length of entire utterance: 8980 msecs

Beginning timestamp - ending timestamp : length of individual words:

0. 10 -- 2190 : 2180 msecs : under
1. 2190 -- 2570 : 380 msecs : certain
2. 2570 -- 3310 : 740 msecs : conditions
3. 3310 -- 3870 : 560 msecs : ,comma
4. 3870 -- 4390 : 520 msecs : having
5. 4390 -- 4510 : 120 msecs : a
6. 4510 -- 5210 : 700 msecs : well-trained
7. 5210 -- 5550 : 340 msecs : user
8. 5550 -- 6230 : 680 msecs : profile
9. 6230 -- 6650 : 420 msecs : can
10. 6650 -- 7070 : 420 msecs : be
11. 7070 -- 8170 : 1100 msecs : advantageous
12. 8170 -- 8990 : 820 msecs : .period

Total length of all words: 8980 msecs

Last Result 1: under certain conditions ,comma having a well-trained user profile can be advantageous .period

Number of words: 13
1. under; Confidence Score: 994
2. certain; Confidence Score: 997
3. conditions; Confidence Score: 995
4. ,comma; Confidence Score: 992
5. having; Confidence Score: 984
6. a; Confidence Score: 987
7. well-trained; Confidence Score: 973
8. user; Confidence Score: 981
9. profile; Confidence Score: 857
10. can; Confidence Score: 989
11. be; Confidence Score: 995
12. advantageous; Confidence Score: 994
13. .period; Confidence Score: 993

Average Confidence Score: 979
Lowest Confidence Score: 857
Highest Confidence Score: 997

*** End of logging utterance ***

+++ File transcription repeating +++
-----------------------------------------------
*** Starting logging utterance, with Speed vs. Accuracy set to 25 % ***

DgnEngineControl_event: Utterance begin started 0:18:41:37
DgnEngineControl_event: Engine recogniton started 4 msecs total plus
DgnDictEdit_event: Dictation Recognition started 14 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 1727 msecs total plus
DgnDictEdit_event: Phrase hypothesis started 1732 msecs total plus
DgnDictEdit_event: Text changed started 1744 msecs total plus
DgnEngineControl_event: Utterance end started 1762 msecs total plus

Overall procesing time: 1762 msecs
Time between utt start and text display: 1744 msecs
Time between engine rec start and text display: 1740 msecs
Time between text rec start and text display: 1730 msecs

4 phrase(s) in collection

Number of words in utterance: 13
Length of entire utterance: 8980 msecs

Beginning timestamp - ending timestamp : length of individual words:

0. 10 -- 2190 : 2180 msecs : under
1. 2190 -- 2570 : 380 msecs : certain
2. 2570 -- 3310 : 740 msecs : conditions
3. 3310 -- 3870 : 560 msecs : ,comma
4. 3870 -- 4390 : 520 msecs : having
5. 4390 -- 4510 : 120 msecs : a
6. 4510 -- 5210 : 700 msecs : well-trained
7. 5210 -- 5550 : 340 msecs : user
8. 5550 -- 6230 : 680 msecs : profile
9. 6230 -- 6670 : 440 msecs : can
10. 6670 -- 7070 : 400 msecs : be
11. 7070 -- 8170 : 1100 msecs : advantageous
12. 8170 -- 8990 : 820 msecs : .period

Total length of all words: 8980 msecs

Last Result 1: under certain conditions ,comma having a well-trained user profile can be advantageous .period

Number of words: 13
1. under; Confidence Score: 995
2. certain; Confidence Score: 998
3. conditions; Confidence Score: 997
4. ,comma; Confidence Score: 996
5. having; Confidence Score: 989
6. a; Confidence Score: 991
7. well-trained; Confidence Score: 983
8. user; Confidence Score: 988
9. profile; Confidence Score: 920
10. can; Confidence Score: 992
11. be; Confidence Score: 996
12. advantageous; Confidence Score: 995
13. .period; Confidence Score: 994

Average Confidence Score: 987
Lowest Confidence Score: 920
Highest Confidence Score: 998

*** End of logging utterance ***

---

Lieber Rüdiger,

herzlichen Glückwunsch, aus meiner Sicht eine großartige Leistung. Jetzt kann man nicht nur einen Einblick erhalten, was "under the hood" so alles abläuft, was schon faszinierend genug ist, sondern auch diverse Vergleiche anstellen, um den Einsatz der Software zu optimieren, z. B. durch Umsetzung derselben aufgenommenen Äußerung auf verschiedenen Rechnern und/oder mit verschiedenen Einstellungen. Chapeau!

Gruß, Marius

Hallo Marius,

vielen Dank für die freundlichen Worte. Als weitere Beigabe hier noch Links zu Demo-Videos, in denen die Verwendung des Programms kurz vorgeführt wird.

http://img710.imageshack.us/my.php?image...ncetestdemo.mp4

Grüße
Rüdiger Wilke

Hallo zusammen,

Ich glaube ich stelle mich dumm an. Ich kann nirgendwo einen Link zum performancetool entdecken. Übersehe ich etwas?

Viele Grüße, Janosch

Zitat von jask

---

Hallo zusammen,

Ich glaube ich stelle mich dumm an. Ich kann nirgendwo einen Link zum performancetool entdecken. Übersehe ich etwas?

Viele Grüße, Janosch

---

Nein, nicht dumm. Den Link hatte ich mal eine Zeit lang veröffentlicht, ich schicke Dir das Programm per Mail, wahrscheinlich heute Abend (wenn ich es nicht vergesse...).

Grüße
Rüdiger Wilke

Und ich habe schon an mir selbst gezweifelt

Danke im Voraus,

Viele Grüße

Hallo Rüdiger,

ich bin auf diesen Beitrag gestoßen, weil ziemlich genau ein Tool, wie das gesucht habe. Ich nutze Dragon auf verschiedenen Rechnern und würde gerne meine Einstellungen optimieren, insbesondere weil die Performance auf dem vermeintlich Leistungsstärksten nicht so recht stimmt. Könntest Du das Programm noch hochladen oder mir per Mail zukommen lassen. Das wäre großartig.

Beste Grüße
Christian

Hallo Christian, und willkommen im Forum!

Danke für das Interesse, das Programm ist in der Mail. Fragen und Rückmeldungen (ausdrücklich erwünscht) bitte hier an dieser Stelle.

Grüße, Rüdiger

(Google Übersetzer)
Hallo Rüdiger, sieht die Performance-Tool sehr beeindruckend und ich möchte es benutzen, aber ich kann nicht sehen, wo zum Download oder kaufen Sie es. Dank

(Hello Rüdiger, the performance tool looks very impressive and I would like to use it but I cannot see where to download or purchase it. Thanks)

Welcome to the forum!

The tool is for free, but not publicly available. I will send you an e-mail with an attachment later today.

Regards, Rüdiger

Hello

Would it be possible to send me a link to download this tool as well?

Regards

Paul

Zitat von moonmonkey8

---

Hello

Would it be possible to send me a link to download this tool as well?

Regards

Paul

---

Hello Paul, welcome to the forum.

The tool is free, but not publicly available, but I will send it to you via e-mail attachment. You will find a zipped executable that you can run to install it on your computer with a shortcut to it being placed on your desktop. In order to uninstall, go go the Control Panel in Windows. If you have any questions, feel free to ask.

Regards, Rüdiger

Guten Tag Herr Wilke,

Wenn ich in "Testing DNS Performance" eine Phrase einmal direkt in das Mikrofon spreche und ein anderes Mal die gleiche Phrase mit dem Audiorecorder aufnehme und im Tool abspiele, dann liegen die Performancefaktoren (Ratio processing time vs. utterance length) reproduzierbar in zwei ganz unterschiedlichen Größenordnungen. Ich habe den Eindruck, als ob die Spracherkennungsverarbeitungsdauer (Overall processing time) in den beiden Fällen unterschiedlich ermittelt wird. Ist das richtig? Ich meine, im Forum schon einmal etwas darüber gelesen zu haben, finde aber den Beitrag nicht mehr.

Viele Grüße, Hannes