Sie sind vermutlich noch nicht im Forum angemeldet - Klicken Sie hier um sich kostenlos anzumelden Impressum 
Sie können sich hier anmelden
Dieses Thema hat 8 Antworten
und wurde 27 mal aufgerufen
 Berichte und Tipps
bk82 Offline



Beiträge: 43

04.04.2012 15:15
RE: Modelloptimierung – Placebo oder echter Nutzen? Zitat · Antworten

Liebes Forum

ich habe bisher meinen Kunden immer davon abgeraten, die Genauigkeitsoptimierung (auch als Modelloptimierung bekannt) zu verwenden.

Grund dafür ist meine eigene negative Erfahrung mit dieser Funktion. Bei früheren Dragon-Versionen war es jeweils so, dass die Genauigkeit meines Benutzerprofils mit der Zeit abnahm. Versuche, dies mit der Modelloptimierung zu beheben, scheiterten jeweils kläglich. Die Erkennung war nach der Optimierung noch schlimmer als vorher.

Immer bereit, etwas Neues dazu zu lernen, habe ich soeben eine Modelloptimierung auf einem nicht mehr ganz frischen Profil durchgeführt. Und siehe da: die Genauigkeit ist doch tatsächlich viel besser geworden.

Ich diktiere schon 1 h lang diverse E-Mails und bin sehr glücklich mit der Erkennungsleistung. Ich wollte mal fragen, ob dies etwas mit meiner inneren Einstellung zu tun hat – ich tue etwas, folglich muss es besser werden (Placeboeffekt) – oder ob das ein allgemein bekanntes Phänomen ist.

Wie sind eure Erfahrungen mit der Modelloptimierung?

Viele Grüsse,
Boris

Boris Krsti?, in2comp - Spracherkennung und Textbausteine (http://www.in2comp.ch)
Dragon Medical Practice Edition 2, Dragon Pro 13, Diverse Betriebssysteme und Computer; Mikrofone: Jabra BIZ 2400 USB

R.Wilke Offline



Beiträge: 6.119

04.04.2012 21:06
#2 RE: Modelloptimierung – Placebo oder echter Nutzen? Zitat · Antworten

Hallo Boris!

Der Placeboeffekt ist nicht zu unterschätzen, insbesondere bei Dragon. So wie von dir beschrieben, gilt das sinngemäß genauso, oder umso mehr, wenn es Geld kostet, etwa bei der Anschaffung von Geräten, nach dem Motto "wenn ich schon fast 300 € für dieses Gerät gezahlt habe, muss einfach gut sein".

Wenn du es ganz genau wissen willst, mach einfach folgendes – bei den dir zur Verfügung stehenden Mitteln sollte das kein Problem sein:

Fertige vor der Optimierung des Profils eine Kopie davon an, und verwende anschließend die Kopie und das optimierte Profile parallel auf zwei verschiedenen Systemen parallel mit jeweils demselben Eingabegerät.

Vergleiche dann die Ergebnisse miteinander, und berichte uns bitte.

Viele Grüße
Rüdiger

_______________________________________

DPG 15.6 (15.60.200.015) auf Windows 10 Pro (64-bit)
SpeechMike Premium (LFH3500) + SpeechMike II
HP ZBook 17 G2 (Refurbished) - i7-4910qm - 8MB SmartCache - 32 GB RAM - 512 GB SSD - 1 TB HSSD - 2 TB HDD

bk82 Offline



Beiträge: 43

04.04.2012 22:41
#3 RE: Modelloptimierung – Placebo oder echter Nutzen? Zitat · Antworten

Zu meiner Schande muss ich gestehen, dass ich kein Setup mit virtuellen Maschinen habe, mit denen ich den Test in der von Dir beschriebenen Form durchführen könnte.

Ich habe mir anders beholfen:
ich habe 2 Diktate auf ein Diktiergerät aufgenommen. Eines davon war ein leicht adaptierter Trainingstext, wie er von Dragon für die Erstellung eines Benutzerprofils für ein Diktiergerät angeboten wird. Das andere Diktat war ein privates E-Mail, dass ich heute verschickt habe. Dieses E-Mail habe ich ausgedruckt und vorgelesen.

Mein heute optimiertes Profil hatte noch das Backup von letzter Woche drin. Zwischendurch hatte ich nicht - oder nur sehr wenig - mit diesem Profil diktiert. Das Back-up-Profil beinhaltet also den Zustand des Profils vor der Optimierung.

Ich habe also den kompletten Benutzerordner kopiert und im kopierten Ordner das Back-up-Profil zum Current-Profil gemacht.

Die beiden Diktate habe ich danach in beiden Benutzerprofilen umgesetzt (d.h. eine Audiodatei in Text umgewandelt).

Beim Trainingstext von Dragon gab es überhaupt keinen Unterschied. Der Text war beide Male genau gleich gut.

Beim privaten E-Mail (etwa eine halbe A4-Seite) gab es genau 3 Unterschiede:
1. beide Profile erkannten ein Wort falsch, aber jeweils anders (das gewünschte Wort Word "Dir", erkannt wurde "Tiere" und "die").
2. Das optimierte Profil erkannte einen Ausdruck richtig, während das alte Profil einen Fehler machte. (Das war eine der Fehler, die ich am häufigsten korrigiere: "dass sich")
3. Beim 3. Unterschied war es genau umgekehrt: das optimierte Profil machte einen Fehler, das alte Profil schrieb es richtig.

Ich habe bewusst eine Audiodatei benutzt, weil so Varianzen ausgeschlossen werden, die durch 2 unterschiedliche Mikrofone (auch wenn es das identische Modelle ist) verursacht werden können.

Fazit:
die Modelloptimierung scheint tatsächlich etwas zu bewirken.

Es ist auch logisch, dass im Übungstext von Dragon keine Unterschiede zu bemerken sind. Schliesslich ist das eine Sprache, die ich nicht verwende.

Die Unterschiede bei der Erkennung im privaten E-Mail weisen darauf hin, dass die Modelloptimierung tatsächlich etwas zu verbessern sucht. Leider hat es bei diesem privaten E-Mail nicht wirklich funktioniert.

Die Menge an Audiodaten war zu klein, um einen sinnvollen Schluss ziehen zu können.
Die Theorie des Placeboeffekts ist nicht widerlegt worden.

Ich werde mir ein paar Referenz-Audiodateien anlegen, die ich für solche Testzwecke verwenden kann. Die Diktate werden wohl eine Länge von 5-10 min haben. Ich berichte dann wieder. Falls jemand anderes auch noch so einen Test machen möchte, ist er oder sie herzlich eingeladen, die Ergebnisse hier zu veröffentlichen.

More research is clearly needed, wie man so schön sagt an der Uni.

Ich wünsche allen, die jetzt noch auf sind, eine gute Nacht, und allen anderen einen schönen Tag!
Boris Krstic

Boris Krsti?, in2comp - Spracherkennung und Textbausteine (http://www.in2comp.ch)
Dragon Medical Practice Edition 2, Dragon Pro 13, Diverse Betriebssysteme und Computer; Mikrofone: Jabra BIZ 2400 USB

R.Wilke Offline



Beiträge: 6.119

04.04.2012 22:49
#4 RE: Modelloptimierung – Placebo oder echter Nutzen? Zitat · Antworten

Zitat von bk82
Ich werde mir ein paar Referenz-Audiodateien anlegen, die ich für solche Testzwecke verwenden kann.



So geht es natürlich auch, aber ich nahm an, Du hättest mindestens zwei Computer. Allerdings, das noch als Hinweis, achte darauf, dass die Referenz-Dateien nicht in das "Training" des Profils eingehen, also nach dem Umsetzen solltest Du mit nicht korrigieren und zur Sicherheit die Profile nicht speichern.

Gruß,
Rüdiger

_______________________________________

DPG 15.6 (15.60.200.015) auf Windows 10 Pro (64-bit)
SpeechMike Premium (LFH3500) + SpeechMike II
HP ZBook 17 G2 (Refurbished) - i7-4910qm - 8MB SmartCache - 32 GB RAM - 512 GB SSD - 1 TB HSSD - 2 TB HDD

Harald Offline



Beiträge: 357

05.04.2012 09:10
#5 RE: Modelloptimierung – Placebo oder echter Nutzen? Zitat · Antworten

Ich hatte hier im Forum an anderer Stelle die Meinung vertreten, dass die Modelloptimierung in der Summe zu einer Verschlechterung des Profils führt, weil die „Diktatur der wahrscheinlichsten Wort-Verbindung" sich mit zunehmenden Alter des Profils über die gehörten Wörter manchmal rücksichtslos hinwegsetzt. Ich konstruiere einmal ein Beispiel, wenn ich häufig in verschiedenen Zusammenhängen die Phrase „viele ändern" diktiert hatte, und dann an anderer Stelle diktierte „viele Enten", was in der Aufnahme auch zu hören war, schrieb Dragon dennoch „viele ändern".

Ich hatte dann noch einmal mit einem neuen jungfräulichen Profil begonnen. Das hatte aber den Nachteil, dass solche speziellen Termini wie zum Beispiel „1:1 Umsetzung", „1. Bevollmächtigter" usw. mehrfach, möglichst in verschiedenen Zusammenhängen neu trainiert werden mussten, bis nicht mehr "eins zu eins Umsetzung" und „erster Bevollmächtigter" geschrieben wurden.

Kurz, ich bin zu meinem alten Profil zurückgekehrt und lass es gelegentlich auch optimieren. Und wenn Dragon zwar richtig gehört, aber falsch transkribiert hat, dann lösche ich es und spreche betont deutlich die gleiche Phrase noch einmal, und dann fügt sich Dragon.

DNS 15.3 Professional Individual auf Windows 10 Home (64-bit)
Plantronics PLT Savi W440
Intel (R) Core (TM) i7-7500 2,7 GHz 8 GB RAM 64 Bit

RA-Behnke Offline



Beiträge: 30

10.05.2012 11:55
#6 RE: Modelloptimierung – Placebo oder echter Nutzen? Zitat · Antworten

Ich führe seit langer Zeit ausschließlich alle paar Wochen die akustische Optimierung durch. Die bringt bei mir eine Verbesserung - insbesondere bei der Geschwindigkeit der Erkennung. So jedenfalls mein subjektiver Eindruck.

Die Sprachmodelloptimierung verursacht bei mir eine erhebliche Verschlechterung der Erkennungsleistung. Das habe ich mehrfach probiert.


Grüße
Andreas

R.Wilke Offline



Beiträge: 6.119

10.05.2012 23:27
#7 RE: Modelloptimierung – Placebo oder echter Nutzen? Zitat · Antworten

Zitat von RA-Behnke
Ich führe seit langer Zeit ausschließlich alle paar Wochen die akustische Optimierung durch. Die bringt bei mir eine Verbesserung - insbesondere bei der Geschwindigkeit der Erkennung. So jedenfalls mein subjektiver Eindruck.

Die Sprachmodelloptimierung verursacht bei mir eine erhebliche Verschlechterung der Erkennungsleistung. Das habe ich mehrfach probiert.


Grüße
Andreas



Ein interessanter Hinweis. Das werde ich auch mal ausprobieren.

Gruß, RW

_______________________________________

DPG 15.6 (15.60.200.015) auf Windows 10 Pro (64-bit)
SpeechMike Premium (LFH3500) + SpeechMike II
HP ZBook 17 G2 (Refurbished) - i7-4910qm - 8MB SmartCache - 32 GB RAM - 512 GB SSD - 1 TB HSSD - 2 TB HDD

RA.Fricke Offline



Beiträge: 1

16.08.2012 15:50
#8 RE: Modelloptimierung – Placebo oder echter Nutzen? Zitat · Antworten

Guten Tag,

bei mir bringt die Optimierung bessere Erkennung. Aber Vorsicht. Der Netzwerkrechner mit dem Netzwerklaufwerk muß die Optimierung durchführen, nicht ein Client im Netz. Außerdem muß für die Optimierung die Funktion "kein Diktat verfügbar" angehakt sein und der Rechner im Admin-Status laufen.

All das hat viel zeit gekostet um es herauszufinden.


Zitat von bk82
Liebes Forum

ich habe bisher meinen Kunden immer davon abgeraten, die Genauigkeitsoptimierung (auch als Modelloptimierung bekannt) zu verwenden.

Grund dafür ist meine eigene negative Erfahrung mit dieser Funktion. Bei früheren Dragon-Versionen war es jeweils so, dass die Genauigkeit meines Benutzerprofils mit der Zeit abnahm. Versuche, dies mit der Modelloptimierung zu beheben, scheiterten jeweils kläglich. Die Erkennung war nach der Optimierung noch schlimmer als vorher.

Immer bereit, etwas Neues dazu zu lernen, habe ich soeben eine Modelloptimierung auf einem nicht mehr ganz frischen Profil durchgeführt. Und siehe da: die Genauigkeit ist doch tatsächlich viel besser geworden.

Ich diktiere schon 1 h lang diverse E-Mails und bin sehr glücklich mit der Erkennungsleistung. Ich wollte mal fragen, ob dies etwas mit meiner inneren Einstellung zu tun hat – ich tue etwas, folglich muss es besser werden (Placeboeffekt) – oder ob das ein allgemein bekanntes Phänomen ist.

Wie sind eure Erfahrungen mit der Modelloptimierung?

Viele Grüsse,
Boris

carstue Offline



Beiträge: 223

23.08.2012 18:06
#9 RE: Modelloptimierung – Placebo oder echter Nutzen? Zitat · Antworten

Die Sprachmodell-Optimierung führt bei mir zu einer erheblichen Verschlechterung der Erkennungsleistung. Ich habe wie Harald den Eindruck, dass sich die Statistik nach der Optimierung immer hemmungslos gegenüber den erkannten Lauten durchsetzt.

Die akustische Optimierung dagegen funktioniert. Gerade was die leidigen Endungen angeht.

Ähnliche Themen Antworten/Neu Letzter Beitrag⁄Zugriffe
Letztes Update nutzen???
Erstellt im Forum Fragen zur Anwendung von
2 19.06.2017 16:26
von mbmz • Zugriffe: 33
Wie lassen sich bei Neuinstallation die alten Sprachdateien nutzen ...
Erstellt im Forum Fragen zur Anwendung von
10 10.02.2015 20:15
von R.Wilke • Zugriffe: 33
Fehlermeldung bei der akustischen Modelloptimierung
Erstellt im Forum Fehlermeldungen von
7 16.05.2014 12:17
von Drachentöter • Zugriffe: 20
eigene Wörter auf mehreren Computern nutzen
Erstellt im Forum Fragen zur Anwendung von
7 13.07.2018 18:05
von P.Roch • Zugriffe: 25
Modelloptimierung
Erstellt im Forum Fragen zur Anwendung von
8 10.12.2011 11:41
von R.Wilke • Zugriffe: 11
Abbruch der Modelloptimierung
Erstellt im Forum Fehlermeldungen von
16 11.04.2013 00:30
von R.Wilke • Zugriffe: 23
Dragon beendet Modelloptimierung nie...
Erstellt im Forum Fragen zur Anwendung von
4 27.02.2012 13:28
von Sonja • Zugriffe: 19
Thunderbird E-Mails zur Verbesserung der Erkennungsgenauigkeit nutzen
Erstellt im Forum Fragen zur Anwendung von
3 07.10.2010 19:16
von Marius Raabe • Zugriffe: 27
Modelloptimierung VORSICHT lt Hotline
Erstellt im Forum Fehlermeldungen von
1 19.04.2010 15:48
von R.Wilke • Zugriffe: 34
 Sprung  
Xobor Ein Kostenloses Forum | Einfach ein Forum erstellen
Datenschutz