Bei einem Übertragungssystem, das aufgrund des Kanalfrequenzgangs HK(f) starke Verzerrungen aufweist, geht man zweckmäßigerweise von folgendem Blockschaltbild aus (obere Grafik). Darunter ist ein äquivalentes Ersatzschaltbild gezeichnet.
Zu diesen Darstellungen ist Folgendes anzumerken:
Das Empfangsfilter HE(f) wird – zumindest gedanklich – aus einem idealen Kanalentzerrer 1/HK(f) und einem Tiefpass HG(f) zusammengesetzt. Hierfür wird in diesem Kapitel beispielhaft ein Gaußtiefpass mit der Grenzfrequenz fG verwendet.
Verschiebt man nun den idealen Entzerrer – wiederum rein gedanklich – auf die linke Seite der Rauschadditionsstelle, so ändert sich bezüglich dem S/N–Verhältnis an der Sinke und bezüglich der Fehlerwahrscheinlichkeit nichts gegenüber dem oberen Blockschaltbild.
Aus dem unteren Ersatzschaltbild erkennt man, dass sich durch den Kanalfrequenzgang HK(f) bezüglich des Detektionsnutzsignals dS(t) nichts ändert, wenn man diesen mit 1/HK(f) vollständig kompensiert. Das Nutzsignal hat somit die genau gleiche Form wie im Kapitel 3.2 berechnet.
Die Degradation durch den Kanalfrequenzgang HK(f) zeigt sich nun durch eine signifikante Erhöhung der Detektionsstörleistung, also der Varianz des Signals dN(t):
Voraussetzung für einen endlichen Wert von σd2 ist dabei, dass der Tiefpass HG(f) das Rauschen/ die Störung n(t) bei (sehr) hohen Frequenzen stärker abschwächt, als es vom idealen Entzerrer 1/HK(f) angehoben wird.
Anzumerken ist, dass der Kanalfrequenzgang HK(f) nach Betrag und Phase entzerrt werden muss, allerdings nur in einem eingeschränkten Frequenzbereich, der von HG(f) vorgegeben wird.
Eine vollständige Phasenentzerrung ist aber nur auf Kosten einer (frequenzunabhängigen) Laufzeit möglich, die im Folgenden jedoch nicht weiter berücksichtigt wird.
