Sie sind vermutlich noch nicht im Forum angemeldet - Klicken Sie hier um sich kostenlos anzumelden Impressum 
Sie können sich hier anmelden
Dieses Thema hat 10 Antworten
und wurde 23 mal aufgerufen
 Berichte und Tipps
R.Wilke Offline



Beiträge: 6.119

19.10.2014 12:09
RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Wie schon vor etwa zwei Wochen hier, an anderer Stelle, angekündigt, konnte ich nun mit freundlicher Unterstützung einiger Aktiven aus dem Forum die neue Version 13 einem qualifizierten Leistungstest unterziehen - mit erstaunlichem Ergebnis, um es vorweg zu nehmen.

Grundlage der Testanordnung waren Audioaufzeichnungen der Probanden, mittels derer ich Benutzerprofile anlegen und damit wiederum Probetexte umsetzen konnte, in replizierbarer Form. Dazu wurde zunächst der Trainingstext "Einführung in die Spracherkennung" aus der Dragon-Installation aufgezeichnet, ein Text mit 710 Wörtern in der Zählung von MS Word, sodann ein etwas längerer, sprachlich anspruchsvoller Probetext mit rund 2.750 Wörtern, dessen Lektüre je nach Lesegeschwindigkeit ca. 25-30 Minuten dauert.

Aufgrund des Umfangs der dabei gewonnenen Datenmenge alleine schon sind die Testresultate als valide anzusehen.

Mit den Audiodateien des Trainingstextes wurden Benutzerprofile als Rekorder-Profile angelegt, mit denen dann die Probedateien in Dragon umgesetzt werden.

Mit dieser Anordnung kann der Versuch jederzeit an einem beliebigen Ort und ohne jedes weitere Mitwirken der Akteure wiederholt werden. Es versteht sich von selbst, dass ich die weitere Bearbeitung zentral übernommen habe, die Probanden aber erhalten von mir die Mittel und Werkzeuge, um selbst eigene Testreihen mit ihrem Material und weitere, darauf basierende Überprüfungen nach Belieben auszuführen. Als kleines Dankeschön für ihre Mühen damit.

Die Aufzeichnung der Dateien erfolgte unter Verwendung von Digital-Rekordern im DS2- und MP3-Format, und da die Beteiligten sehr sorgfältig gearbeitet haben, ist die Qualität mehr als gut und damit für den Zweck bestens geeignet. Eine kleine Ausnahme davon stellen die Aufnahmen dar, die von einem Teilnehmer unter Verwendung einer Audio-Software angefertigt wurden, wobei die Klangqualität deutlich abfällt, leider, aber die Resultate dennoch sehr gut verwendet werden können - als Gegenbeispiel.

Im einzelnen wurde bei der Auswertung so verfahren, dass in die Benutzerprofile nach deren Anlage zunächst eine Liste mit 43 Wörtern importiert wurde, die im Probetext vorkommen, aber noch nicht im Standard-Vokabular enthalten sind, wie etwa "Grapheme, Elisionen, Gaumenverschlusslaute", um nur einige zu nennen. Danach wurden die Audio-Dateien umgesetzt, z.B. in DragonPad (hier aber nicht), und die Umsetzungen anschließend mit der Textvorlage verglichen.

Dabei wurde aber noch ein Zwischenschritt eingelegt, denn es wird sehr schnell klar, dass die Umsetzung an einigen Stellen jeweils abweicht (abweichen muss), wenn der Sprecher anders diktiert als im Text vorgegeben. Wenn also Wörter weggelassen, hinzugefügt oder vertauscht werden, oder einfach komplett anders ausgesprochen werden, muss die Vorlage demzufolge entsprechend angepasst oder - wie ich es genannt habe - "bereinigt" werden.

Erst aus dem Textvergleich zwischen der Umsetzung und der bereinigten Vorlage ergibt sich schließlich der effektive Fehlerquotient - oder Genauigkeitsquotient, je nach Sichtweise.

Nun, bevor jemand auf die Idee verfällt, ich hätte tagelang hier gesessen und Tausende von Wörtern im Text auf Abweichungen hin untereinander verglichen und mich dabei sehr wahrscheinlich dutzende Male verzählt, - zu dem Zweck habe ich eine eigene Software, die das mittels Klick erledigt, aber das nur am Rande.

Nun endlich zu den Ergebnissen. In der aktuellen Testreihe geht es zunächst einmal um den direkten Vergleich zwischen Version 13 und 12.5, was die Erkennungsgenauigkeit "aus dem Stand heraus" angeht.

Die Resultate (Anzahl der Fehler und Erkennungsrate), für jeden der insgesamt vier Sprecher in einer Zeile, stehen unten in der Tabelle. Es fällt sofort auf, dass die drei qualitativ unbedenklichen Aufnahmen mit rund 40 Fehlern in Version 13 abschneiden, in Version 12.5 dagegen die Anzahl jeweils rund doppelt so hoch ist, was im übrigen auch für den "Ausreißer" gilt.

Nun, soll man also daraus schließen, dass die Erkennungsgenauigkeit in Version 13 doppelt so hoch ist wie in der Vorgängerversion? - Könnte man, wenn man so will!

Aber wie auch immer, 40 Fehler mehr oder weniger für rund 30 Minuten Diktat bearbeiten zu müssen macht einen gewaltigen Unterschied, egal wie man es rechnen will.

Was den Unterschied hinsichtlich Art der Fehler in 12.5 gegenüber 13 betrifft, zeichnet sich übrigens ganz klar ab, dass die Verbesserung in 13 eindeutig bei der korrekten Erkennung der Wortendungen und bei spontan gebildeten Komposita liegt, was einige hier sehr interessieren dürften.

Alles im allem: wer's noch nicht hat, sollte es sich schnell holen - 13 heißt die Losung.

_______________________________________

DPG 15.6 (15.60.200.015) auf Windows 10 Pro (64-bit)
SpeechMike Premium (LFH3500) + SpeechMike II
HP ZBook 17 G2 (Refurbished) - i7-4910qm - 8MB SmartCache - 32 GB RAM - 512 GB SSD - 1 TB HSSD - 2 TB HDD

Angefügte Bilder:
Aufgrund eingeschränkter Benutzerrechte werden nur die Namen der Dateianhänge angezeigt Jetzt anmelden!
 f5t1943p13265n327.jpg 
Harald Offline



Beiträge: 357

19.10.2014 13:40
#2 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Habe ich mit größtem Interesse gelesen. Danke für die aufschlussreiche Arbeit! Immerhin ist damit die Aussage von Dragon, dass sich die Erkennungsgenauigkeit erneut erheblich verbessert hat, nunmehr auch objektiv verifiziert. Für mich persönlich bleibt allerdings die Frage, und die muss sich selbstverständlich jeder selber beantworten, ob damit allein ein Update auf 13 ausreichend begründet ist. Wer, wie ich, mit seinen diktierten Text in der „Urfassung" ohnehin nie zufrieden ist und immer nachträglich korrigiert (nicht nur Fehler, sondern auch stilistisch und die Wortwahl), wird von der verbesserten Erkennungsgenauigkeit nicht spürbar profitieren.

DNS 15.3 Professional Individual auf Windows 10 Home (64-bit)
Plantronics PLT Savi W440
Intel (R) Core (TM) i7-7500 2,7 GHz 8 GB RAM 64 Bit

Rossbach Offline



Beiträge: 174

19.10.2014 18:26
#3 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Danke für den Beitrag, Herr Wilke,

solche Vergleiche belegen für mich, dass es sich in jedem Fall lohnen wird, von der aus meiner Sicht guten und unkomplizierten Version 12.5 auf 13 umzusteigen.

Mit freundlichem Gruß aus Hamburg
Malte Rossbach
Dragon legal individual 15.0 Windows 10 Prof. 64 bit, MS Office 2013, Intel Core i7 3770K, 16 GB RAM, Asus Xonar Soundkarte, Sennheiser MD 431 II; sowie Notebook, Core i5-6267U, 6 GB RAM, Windows 10 Home 64 bit, MS Office 2015, Sennheiser USB Headset PC 26.
http://www.rechtsanwalt-rossbach.de

Jedlova Offline




Beiträge: 169

19.10.2014 19:13
#4 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Der Meinung von Harald schließe ich mich in jedem Punkt an.

Windows 10, 64 Bit, Fujitsu Lifebook, Arbeitsspeicher 4GB, MS Office 2013, Dragon Home 15

Dioskur Offline



Beiträge: 511

19.10.2014 20:56
#5 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Zitat von R.Wilke
wie auch immer, 40 Fehler mehr oder weniger für rund 30 Minuten Diktat bearbeiten zu müssen macht einen gewaltigen Unterschied, egal wie man es rechnen will.



Hallo Rüdiger,

freut mich, dass Du meinen subjektiven Eindruck, den ich hier http://dragon-spracherkennung.forumprofi...108.html#p13108geschildert habe, mit Deinem Test belegen konntest. Danke für Deine Mühe!
Noch eine Beobachtung am Rande: Die weiter verbesserte Erkennungsgenauigkeit verführt dazu, etwas schludriger zu diktieren, was aber dann doch wieder bestraft wird. Beispiel: Umsetzung von "groß sie" als "I" wenn ich beim Diktieren zwischen "groß" und "sie" nicht wenigstens eine klitzkleine Pause mache. Tragischeres Beispiel: "und treu" (gesprochen "undtreu") wird beim Diktieren ohne Pause zu "untreu".

Noch einen schönen Abend

Hans

DPI 15 auf Windows 10 Professional (64-bit)
SpeechMike Premium. Intel i7 Core 4x2.67 GHz, 6 GB RAM

Brügge1 Offline



Beiträge: 117

19.10.2014 22:07
#6 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Hallo Rüdiger,

vielen Dank für Deinen Einsatz. Ich kann mich Deiner Bewertung und auch dem, was Dioskur hier beschrieben hat, nur vollumfänglich anschließen. Für mich hat sich die Version 13 in jedem Falle gelohnt, ich habe ganz erheblich weniger Korrekturaufwand. Das macht die Arbeit einfach flüssiger…

Etwas erstaunt habe mich doch die großen Unterschiede hinsichtlich der Audioqualität. Nachdem einige Anwender hier berichteten, dass sie in der Version 13 auch gut das Mikrofon des Laptops einsetzen konnten, bin ich überrascht.

Herzliche Grüße
Angelika

Laptop: Intel Core 2 Duo P8700 (2,53 GHz, 3 MB L2 Cache), 4 GB RAM, Windows 7 32-Bit, DPI 15, MS Office 2007, Olympus DR-1000, Samson GoMic
PC: Intel i5, Windows 7 64-bit, Dragon NaturallySpeaking 13 Prof, MS Office 2013

boulevard Offline



Beiträge: 53

21.10.2014 09:02
#7 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Das liest sich ja gut! Bin schon gespannt auf "legal 13"! Obwohl mich auch schon die Version 12.5 positiv überrascht hat nach anfänglichen Versuchen vor einigen Jahren, die ich schnell abbrach.

Schönen Tag

Dragon legal 13, Jabra 930 BT Headset, SpeechMike 3500, DPM 8000, Office 2010,
Win 7 Prof.

karin Offline



Beiträge: 175

21.10.2014 18:28
#8 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Sehr interessanter Test - demnach hätte Nuance bei der Ankündigung ja sogar tiefgestapelt!

Zitat von R.Wilke
Was den Unterschied hinsichtlich Art der Fehler in 12.5 gegenüber 13 betrifft, zeichnet sich übrigens ganz klar ab, dass die Verbesserung in 13 eindeutig bei der korrekten Erkennung der Wortendungen und bei spontan gebildeten Komposita liegt, was einige hier sehr interessieren dürften.



Außerdem funktioniert nach meinem Eindruck die Groß- und Kleinschreibung besser - substantivierte Verben und Adjektive werden viel häufiger spontan großgeschrieben.

Und Korrekturen werden bei gleicher Hardware schneller umgesetzt, was ebenfalls einen Zeitgewinn bringt.

DNS Professional Individual, Windows 10 Pro 64 Bit
Lenovo Notebook mit i7-4700M QuadCore mit 3,4 GHz, 6 MB L3-Cache, 8 GB RAM, SSD,
Plantronics Savi W445

R.Wilke Offline



Beiträge: 6.119

21.10.2014 19:40
#9 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Zitat von karin
Außerdem funktioniert nach meinem Eindruck die Groß- und Kleinschreibung besser - substantivierte Verben und Adjektive werden viel häufiger spontan großgeschrieben.



Auch das kann ich nur bestätigen.

_______________________________________

DPG 15.6 (15.60.200.015) auf Windows 10 Pro (64-bit)
SpeechMike Premium (LFH3500) + SpeechMike II
HP ZBook 17 G2 (Refurbished) - i7-4910qm - 8MB SmartCache - 32 GB RAM - 512 GB SSD - 1 TB HSSD - 2 TB HDD

Alois Offline



Beiträge: 158

29.10.2014 14:17
#10 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Von einer 99,9 % Fehlerrate sind wir scheinbar noch Jahre entfernt

(DPI 14, Windows 8 / 64)

R.Wilke Offline



Beiträge: 6.119

30.10.2014 01:12
#11 RE: Der ultimative Leistungstest - Was Version 13 wirklich besser macht Zitat · Antworten

Zitat von Alois
Von einer 99,9 % Fehlerrate sind wir scheinbar noch Jahre entfernt



Ganz im Gegenteil, aber sicherlich meinten Sie „99,9 % Erkennungsgenauigkeit“. – Eine Erkennungsgenauigkeit von 100 % ist sogar direkt vom Start weg möglich, letztendlich hängt es vor allem auch vom verwendeten Text ab. Der bei diesem Test verwendete Text war schon recht anspruchsvoll, zur Verdeutlichung hänge ich ihn hier einmal an, damit sich jeder selbst ein Bild davon machen kann, und nicht zuletzt kann man dabei auch noch etwas lernen, was unser Thema betrifft.

Erwähnt werden muss auch, dass mindestens die Hälfte der Fehler auf Fachbegriffe zurückzuführen sind, die trotz Hinzufügung zum Vokabular praktisch nicht erkannt werden, sofern man die Wörter nicht zugleich auch trainieren kann. Hierbei handelt es sich insbesondere um solche Begriffe wie „Phonemen“ und diverse Varianten davon, oder auch „Phon, Allophone, Graphem“ usw. Interessanterweise waren die Fehlleistungen in der Hinsicht bei allen Probanden in etwa gleich. Unter dem Strich aber müsste man aus diesem Blickwinkel die effektive Fehlerzahl noch einmal halbieren, um ein realistisches Bild zu gewinnen.

Allerdings, und das wird möglicherweise schnell übersehen, ging es gar nicht um die absolute Zahl der Fehler, sondern lediglich um die Relationen untereinander, und zwar nicht bezogen auf die einzelnen Akteure im Vergleich, sondern lediglich im Hinblick darauf, wie identisches Eingangsmaterial von den Versionen 12.5 und 13 unterschiedlich verarbeitet wird.

Insofern ist die Erkennungsleistung der Version 13 als schlichtweg überragend zu bewerten, zumal ich schon bei Erscheinen der Version 12 vor zwei Jahren einen ähnlichen Vergleich mit der damaligen Vorversion 11 durchgeführt habe, wenngleich auf schmalerer Datenbasis, wobei sich auch damals ganz klar eine Verbesserung bei der neuen Version herausgestellt hatte.

Ich denke schon, dass aufgrund des hier demonstrierten systematischen Zusammenhangs der Ergebnisse die verbesserte Erkennungsleistung nicht zu bezweifeln ist.

Weitere ähnliche Tests sind schon geplant, wobei es dann darum gehen wird, die Erkennungsleistung von „frischen“ gegenüber „trainierten“ Profilen untereinander zu vergleichen.

_______________________________________

DPG 15.6 (15.60.200.015) auf Windows 10 Pro (64-bit)
SpeechMike Premium (LFH3500) + SpeechMike II
HP ZBook 17 G2 (Refurbished) - i7-4910qm - 8MB SmartCache - 32 GB RAM - 512 GB SSD - 1 TB HSSD - 2 TB HDD

Dateianlage:
Aufgrund eingeschränkter Benutzerrechte werden nur die Namen der Dateianhänge angezeigt Jetzt anmelden!
f5t1943p13390n330.pdf
Ähnliche Themen Antworten/Neu Letzter Beitrag⁄Zugriffe
Installationsproblem Version 15
Erstellt im Forum Fragen zur Anwendung von
2 31.07.2017 15:43
von noizy • Zugriffe: 46
Fragen zum Einsatz der legal-Version
Erstellt im Forum Fragen zur Anwendung von
5 20.10.2014 20:58
von boulevard • Zugriffe: 25
alte Versionen
Erstellt im Forum Fragen zur Anwendung von
5 16.10.2013 15:09
von R.Wilke • Zugriffe: 12
Probleme haben zu versuchen, zur englischen Version dieser Web site an
Erstellt im Forum Fragen zur Anwendung von
9 20.06.2011 13:38
von Tiger Feet • Zugriffe: 32
Hilfe! Wir haben in der Arbeit nur die Version 10!
Erstellt im Forum Fragen zur Anwendung von
18 02.06.2011 21:31
von R.Wilke • Zugriffe: 51
Performance-Einbußen nach dem Upgrade auf Version 11, was tun?
Erstellt im Forum Fragen zur Anwendung von
2 13.05.2011 08:56
von R.Wilke • Zugriffe: 29
Premium oder Professional Version 11?
Erstellt im Forum Fragen zur Anwendung von
8 23.10.2010 22:55
von R.Wilke • Zugriffe: 27
Dragon 11 – kleinere und größere Probleme beim Umstieg von Version 10
Erstellt im Forum Berichte und Tipps von
8 07.10.2010 18:50
von R.Wilke • Zugriffe: 41
als Wiedereinsteiger… ist Version 11 ein Segen
Erstellt im Forum Berichte und Tipps von
3 06.10.2010 22:07
von R.Wilke • Zugriffe: 24
 Sprung  
Xobor Ein Kostenloses Forum | Einfach ein Forum erstellen
Datenschutz