Wie künstliche Intelligenz den De-Esser verbessert hat

März 14, 2024 | Know-how

Mit smart:deess haben wir den De-Esser auf ein neues Level gebracht. Hier erfährst du, welche Rolle künstliche Intelligenz dabei gespielt hat.

smart:deess ist eines unserer neuesten KI-gestütztes Audio-Plugin. Wie smart:comp, smart:gate, smart:EQ und der Rest unserer smart-Produktreihe, ist smart:deess eine Neuerfindung eines traditionellen Audioprozessors.

In echter sonible-Manier nutzt smart:deess unsere Erfahrung mit künstlicher Intelligenz, um Dinge zu erreichen, die kein anderer De-Esser zuvor erreicht hat. Wir haben die Art und Weise, wie der De-Esser mit der Phonem-Erkennung ausgelöst wird und wie Zischlaute aus Audioaufnahmen entfernt werden, neu gedacht.

Wir haben auch den einzigartigen Phonem-Erkennungsalgorithmus von smart:deess genutzt, um das Plugin zu mehr als einem reinen De-Esser zu machen. Mit smart:deess haben Produzenten die Möglichkeit, auch Plosive aus Audioaufnahmen zu entfernen!

Mit der Phonem-Erkennung unter der Haube ist smart:deess auch in der Lage, dumpfe Aufnahmen durch “Re-Essing” wieder zum Leben zu erwecken – und deinen Vocal-Takes neuen Glanz zu verleihen.

Du kannst smart:deess 30 Tage lang kostenlos testen.

Die Funktionsweise der KI in smart:deess

Wie genau ermöglicht die künstliche Intelligenz smart:deess, neue Wege in der Welt des De-Essings zu beschreiten? Obwohl KI das Herzstück von smart:deess ist, ist sie nicht der einzige Faktor, der eine Rolle spielt.

smart:deess führt auch die Spektralverarbeitung in die Welt der De-Esser ein. Diese Technologie findest du in mehreren unserer Plugins, darunter smart:comp 2 und smart:EQ 4. Sie ermöglicht eine präzise Audioformung und -bearbeitung, die mit herkömmlichen Audioprozessoren so nicht möglich ist.

In diesem Artikel werden wir einen Blick darauf werfen, wie die auf künstlicher Intelligenz basierende Phonemerkennung und die Spektralverarbeitung smart:deess dabei helfen, das bisher Unmögliche zu erreichen.

Phonem-Erkennung

Herkömmliche De-Esser erkennen Zischlaute normalerweise wie ein Kompressor. Anstatt jedoch einen Threshold zu haben, der über das gesamte Frequenzspektrum ausgelöst werden kann, werden De-Esser nur in einem bestimmten Frequenzbereich ausgelöst.

Der Arbeitsablauf besteht in der Regel darin, den Frequenzbereich des De-Essers festzulegen (normalerweise zwischen 4 und 10 kHz) und anschließend einen Threshold einzustellen. Wenn der Threshold im eingestellten Frequenzbereich überschritten wird, hat der De-Esser Zischlaute erkannt und komprimiert das Signal.

Dies ist jedoch keine 100%ig genaue Methode zur Erkennung von Zischlauten. Es besteht die Möglichkeit, dass Zischlaut-Frequenzen mit dieser Methode nicht erkannt werden, wenn sie nicht laut genug sind, oder dass laute Phoneme, die nicht zischend sind, den De-Esser auslösen.

smart:deess löst diese Probleme durch den Einsatz künstlicher Intelligenz zur Erkennung von Zischlauten. Die Algorithmen von sonible sind in der Lage, Zischlaute in Gesangsaufnahmen zu identifizieren, ohne dass ein Threshold oder ein Bereich festgelegt werden muss.

phoneme detection with smart:deesssmart:deess erkennt nicht nur “ess”-Laute, sondern auch Z, Sh, Ch, K, T, P. Durch die Erkennung von Zischlauten in einer Gesangsaufnahme kann smart:deess diese von Anfang bis Ende verarbeiten und nicht nur, wenn sie den Schwellenwert überschreiten, wie es bei herkömmlichen De-Essern der Fall ist.

Mehr als nur De-Essing

Mit der Phonem-Erkennung kann smart:deess mehr als nur Zischlaute aus Aufnahmen entfernen. Der größte Vorteil der Phonemerkennung ist, dass smart:deess Plosive in Gesangsaufnahmen erkennen und entfernen kann.

Doch was sind Plosive eigentlich? Plosive entstehen, wenn der Mund eines Menschen einen “Pee”- oder “Bee”-Laut ausspricht. Bei der Aussprache dieser Phoneme tritt ein Luftstrom aus dem Mund aus. Dieser kann auf die Membran des Mikrofons treffen und diese in Schwingung versetzen. Die Vibration wird dann bei Audioaufnahmen als bass-lastiges Rumpeln oder plötzliche Spitze wahrgenommen.

Es ist gängige Praxis, Gesang mit einem Poppschutz aufzunehmen. Jeder, der sich mit Tontechnik auskennt, wird mit diesen praktischen Helferlein vertraut sein. Sie werden oft als Poppfilter bezeichnet und zerstreuen diese Luftstöße, bevor sie auf die Mikrofonmembran treffen.

Doch auch mit Poppfiltern können unerwünschte Plosive in Gesangsaufnahmen auftreten. Daher ist ein Werkzeug wie smart:deess, das Plosive erkennen und entfernen kann, sehr nützlich.

Traditionelle De-Esser sind nicht in der Lage, Plosive zu erkennen, da Plosive in einem anderen Frequenzbereich auftreten als Zischlaute. Während Zischlaute – je nach Sänger – typischerweise im oberen Mitten Bereich des Frequenzspektrums zwischen 4kHz und 10kHz auftreten, finden sich Plosive am unteren Ende des Spektrums zwischen 20 und 500Hz.

Herkömmliche De-Esser sind so konzipiert, dass sie nur durch laute Frequenzen im spezifischen Zischlautbereich ausgelöst werden, sodass Plosive im Bereich unter 500 Hz völlig unerkannt durchgelassen werden. Da smart:deess KI einsetzt, um bestimmte Phoneme zu erkennen, spielt es keine Rolle, wo im Frequenzspektrum die Phoneme auftreten. Somit ist das Plugin in der Lage, auch Plosive zu erkennen.

Kombination mit spektraler Verarbeitung für genaueres De-Essing

Dank KI ist smart:deess in der Lage, Zischlaute und andere unerwünschte Laute wie Plosive genauestens zu erkennen. Wenn es darum geht, diese Geräusche aus Gesangsaufnahmen nach dieser Identifizierung zu entfernen, setzt smart:deess eine weitere hochmoderne Audiotechnologie ein.

Die Spektralverarbeitung ist eine Technologie, die in vielen unserer intelligenten Produkte eingesetzt wird. Du kannst dir die Spektralverarbeitung als unglaublich hochauflösende Multiband-Verarbeitung vorstellen. Das Frequenzspektrum wird in Tausende von Bändern aufgeteilt, und jedes dieser Bänder kann separat bearbeitet werden.

Herkömmliche De-Esser verwenden einen Breitband- oder Einbandansatz. Damit wird, wenn Zischlaute erkannt werden, das gesamte Frequenzspektrum komprimiert. Das bedeutet, dass Frequenzen, die nicht störend oder unangenehm sind, zusammen mit den Zischlautfrequenzen auch aus der Aufnahme entfernt werden. Dies kann zu unerwünschten klanglichen Veränderungen in der Aufnahme führen.

Mit der Spektralverarbeitung kann smart:deess zeilgenau die Frequenzen, bei denen das Zischen tatsächlich auftritt, herausfiltern und nur die Lautstärke dieser Frequenzen reduzieren. Das ist nur dank der KI-Phonem-Erkennung möglich, die identifiziert, wo das Zischen auftritt.

Wenn du mehr darüber erfahren möchtest, wie Spektralverarbeitung genau funktioniert, solltest du unseren Artikel “Wie sonible die Spektralverarbeitung umsetzt” lesen.

Wie künstliche Intelligenz den Reverb, EQ, Kompressor und mehr verbessert hat

smart:deess ist nicht unser erstes Plugin, das künstliche Intelligenz einsetzt, um traditionelle Audio-Tools zu verbessern. In den folgenden Absätzen erfährst du, wie wir künstliche Intelligenz in unserer Reihe von intelligenten Plugins eingesetzt haben, um Audioprozessoren der nächsten Generation zu entwickeln.

Das Audio-Gate

Wie smart:deess nutzt auch smart:gate künstliche Intelligenz, um eingehende Audiodaten zu analysieren und erwünschte sowie unerwünschte Komponenten zu erkennen. smart:gate ist in der Lage, Instrumente und Gesang in Aufnahmen zu identifizieren und die gewünschten Komponenten beizubehalten, während unerwünschte Geräusche entfernt werden.

Der Kompressor

smart:comp 2 ist ein vielseitig einsetzbarer, leistungsstarker Kompressor, mit dem sich eine transparente und professionelle Kompression erzielen lässt – mit oder ohne der KI-Funktionalität. Dank der künstlichen Intelligenz kann smart:comp 2 jedoch ein Audiosignal analysieren und – basierend auf einem vom Benutzer ausgewählten Instrumentenprofil – optimale Kompressionseinstellungen vornehmen.

Das ist ideal für Profis, um einen schnellen, gut klingenden Ausgangspunkt für die Kompressionsbearbeitung zu schaffen, oder für Anfänger, um ohne langjährige Kenntnisse professionelle Kompressionsergebnisse zu erreichen.

Der Reverb

Die Zeiten der Hallkammern sind lange vorbei. Heutzutage sind Hall-Plugins sehr fortschrittlich, aber nur wenige können sich mit einem durch künstliche Intelligenz gesteuerten, quellen-orientierten Hall wie smart:reverb rühmen.

smart:reverb passt sich an die spektralen und zeitlichen Eigenschaften deines Quellmaterials an und vermeidet so schon zu Beginn der Erstellung einen verwaschenen Nachhall und unerwünschte Resonanzfrequenzen.

Der EQ

Wie smart:comp 2 kann auch smart:EQ 4 rein manuell verwendet werden, um fantastische Ergebnisse zu erzielen. Mit KI kannst du jedoch in Sekundenschnelle eine ausgewogene, quellenabhängige EQ-Kurve erstellen.

smart:EQ 4 nutzt die Spektralverarbeitung, um einen ausbalancierten und klaren Klang zu erzielen und dank der kanalübergreifenden Verarbeitung kannst du ein transparentes Arrangement von bis zu 10 Kanälen erzielen.

Der Limiter

smart:limit ist nach dem Motto “set, checked and left” konzipiert. Dieser Limiter stellt die Limiting-Parameter auf der Grundlage des Quellmaterials ein und sorgt so jedes Mal für ein lautes und transparentes Limiting.

Teste smart:deess kostenlos für 30 Tage

Nicht vergessen: Wenn du die nächste Generation des KI-gestützten De-essings selbst ausprobieren möchtest, kannst du smart:deess jetzt 30 Tage lang kostenlos testen.