Musik aus Text

Instrumente/ Instrumentenkunde, Arrangement/Songwriting, Musik Wissenschaft & Geschichte

Moderatoren: hugoderwolf, Mods

Benutzeravatar
Peter Ostry
Mediator
Beiträge: 10174
Registriert: 13 Okt 2004 - 14:54
Logic Version: 0
Wohnort: Niederösterreich

Musik aus Text

Beitrag von Peter Ostry » 14 Jun 2017 - 7:15

Hat sich hier schon jemand mit dem Generieren von Musik aus Texten beschäftigt?

Ich programmiere schon eine Weile an einer solchen Applikation, könnte Input aus frischen Gedanken gebrauchen.

Texte werden eingelesen, analysiert und danach alle oder gewissen Kriterien entsprechende Buchstaben als Noten ausgegeben. Anwendung ist hauptsächlich für Gedichte. Ich will Struktur und Rhythmik erhalten und musikalisch interpretieren. Allerdings nicht so, dass am Ende ein Synthesizer zu sprechen versucht. Freie Interpretation bei Erhaltung der Struktur, sozusagen. Bei gleicher Einstellung sollen Unterschiede zwischen Schiller, Wilhelm Busch und H. C. Artmann erhörbar sein.

Ich glaube, alle Kriterien erkannt zu haben, mit deren Hilfe
sich Listen erstellen, auswerten und abspielen lassen:
  1. Textanfang
  2. Absatz- und Satzanfang
  3. Ganzer Satz
  4. Wörter eines Satzes
  5. Silben der Wörter
  6. Betonte Silben
  7. Anfangsbuchstaben
  8. Groß- und Kleinschreibung
  9. Interpunktionen
  10. Absatz- und Satzende
  11. Textende
Wahlweise Tonhöhe für Buchstaben:
  • Begrenzter Zufall
  • Einzeln eingestellt
  • Nach Häufigkeit in der jeweiligen Sprache
  • Auf Basis von Vokalen und Konsonanten
Wahlweise Lautstärke:
  • Begrenzter Zufall
  • Einzeln eingestellt
  • Betonte Silben lauter
  • Großbuchstaben lauter
  • Der Art von Vokalen und Konsonanten entsprechend
Wahlweise abspielen:
  • Seriell nach Buchstabendauer mit Pausen
  • Mit Wort- oder Silben-Rhythmik
  • Sätze mit gleicher Dauer
Habe ich etwas übersehen oder nicht bedacht?

Mich interessiert hauptsächlich, ob das schon jemand von euch gemacht hat, wo er in der Sackgasse der Kakophonie gelandet ist und wo er Potential gesehen hat.
"Schatz, kommst du bald ins Bett?" —
"Ich kann nicht, im Internet hat jemand unrecht."
Benutzeravatar
lonely
Haudegen
Beiträge: 563
Registriert: 09 Apr 2004 - 17:18
Logic Version: 9
Wohnort: Deutschland

Re: Musik aus Text

Beitrag von lonely » 14 Jun 2017 - 9:46

Eigentlich wollte ich genau dies im geheimen ausarbeiten und dann groß rauskommen und mit den Gagen in millionenhöhe weiße Yachten mit goldenen Relingssss zu Hauf kauf.

Aber immer gibt´s so einen A ... der einem was wegschnappt-eingeschnappt - die Welt ist zu groß - das Internet ist scheisse, aber jetzt mal Ernst beiseite:

So wie du das dezidiert und systematisch angehst, glaub´ ich kaum, dass DIR noch jemand Tippps geben kann.
Mein Ansatz war viel primitiver - Convert Audio to Midi - so heißt oder hieß der Menüpunkt glaub ich mal in Logic. So wollte ich das mal angehen, aber nie den ar*** (arsh, schafft´s das durch den Filter? :lol: ) hochgekriegt und jetzt kommst du ...grmbl.
Aber nein, nur Spaß (Lüge) - schick doch mal via PN ein File; das interessiert mich echt.
Wenn ich mich recht erinnere, gab´s (ganz grob!!) 1950 mal einen Film mit - och ich weiß es wirklich nicht mal mehr halb genau - sprechenden Saxophonen - also die Stimmen der Protagonisten (waren das Blumen :roll: , war das ein Cartoon :roll: ) waren (glaub ich) Saxe; das hat mich damals schon fasziniert, obwohl ich da noch nicht mal geboren war. (uiuiui)
http://www.garemu.de/ "Weltgrößtes, schönstes, lustigstes aber trotzdem teuerstes, bestriechendstes, ältestes (gegr. anno 735 AD) Studio."
Benutzeravatar
Peter Ostry
Mediator
Beiträge: 10174
Registriert: 13 Okt 2004 - 14:54
Logic Version: 0
Wohnort: Niederösterreich

Re: Musik aus Text

Beitrag von Peter Ostry » 14 Jun 2017 - 10:39

lonely hat geschrieben:So wie du das dezidiert und systematisch angehst, glaub´ ich kaum, dass DIR noch jemand Tippps geben kann.
Ich neige dazu, die Leute hier NICHT zu unterschätzen :-)
Auf scheinbar ausgefeilte Methodik-Vorschläge kamen schon öfter aus Erfahrung oder aus einem Bauch heraus Einwürfe, die das ganze System umkrempelten.
lonely hat geschrieben:Convert Audio to Midi
Audio ist nicht meine Quelle, sondern der geschriebene Text. Um es großspurig zu formulieren: Ich will die strukturierte Sprache des Autors, nicht die Interpretation eines Lesers. Der Text muss bearbeitet werden, damit ihn das Programm interpretieren kann. Meine Vorgabe war, dass die Bearbeitung möglichst ohne kryptischen Syntax auskommt. Sieht so aus:
  • Bild
lonely hat geschrieben:schick doch mal via PN ein File; das interessiert mich echt
Ach, wäre ich doch schon so weit, das tun zu können ...
Aber ich merke dich als begeisterten Tester vor. Es wird eine Max Applikation mit MIDI Ausgabe (Max braucht man dafür nicht).
"Schatz, kommst du bald ins Bett?" —
"Ich kann nicht, im Internet hat jemand unrecht."
Benutzeravatar
lonely
Haudegen
Beiträge: 563
Registriert: 09 Apr 2004 - 17:18
Logic Version: 9
Wohnort: Deutschland

Re: Musik aus Text

Beitrag von lonely » 14 Jun 2017 - 11:15

Ist das ein Heinz Erhardt-Gedicht? Lustig ...

Das ist ja noch viel schlimmer, als ich vermutetete :lol:
Außerdem hab ich jetzt meine supergeniale Idee verraten, typisch ich (bang)
Ich brauch noch etwas, um dein Ansinnen zu kapieren (hallo
Bis dahin auf jeden Fall viel Glück & Erfolg :!: :!: :!:
http://www.garemu.de/ "Weltgrößtes, schönstes, lustigstes aber trotzdem teuerstes, bestriechendstes, ältestes (gegr. anno 735 AD) Studio."
Benutzeravatar
Axel
Stamm User
Beiträge: 3344
Registriert: 25 Nov 2002 - 18:11
Logic Version: 0
Wohnort: Hamburch

Re: Musik aus Text

Beitrag von Axel » 14 Jun 2017 - 12:21

Posaunen und Kesselpauken für Nietzsche nicht vergessen!
Für Schopenhauer schlage ich vor: Vuvuzelas und Kesselpauken.
Producer | Writer | war nicht bei 3 aufm Baum | axel[äd]germanwahnsinn.de
Benutzeravatar
reiztrigger
Stamm User
Beiträge: 4168
Registriert: 17 Nov 2004 - 13:59
Logic Version: 9
Wohnort: ZuReich
Kontaktdaten:

Re: Musik aus Text

Beitrag von reiztrigger » 14 Jun 2017 - 12:29

für wilhelm busch natürlich buschtrommeln, für heidegger eiershaker
und aus texten von kant sollte -logisch- eine kantate werden.
Benutzeravatar
Peter G.
Doppel-As
Beiträge: 133
Registriert: 25 Jun 2009 - 11:22

Re: Musik aus Text

Beitrag von Peter G. » 14 Jun 2017 - 19:41

Ich find so was so was von scheisse
wo bleibt´n da die krativität?
Das automatiserte Wort fliegt Kreise
nur wenn der Logaryth dran dräht?

Zu späth, zu späth, zu späth
was reizt den Trigger alter Scheiz!
1x 6.core mac mit PT12 & 2x 2.66 Dual-Core Intel Xeon/ 8 GB Ram/ PT8 HD1/Logic Pro 8
Benutzeravatar
Peter G.
Doppel-As
Beiträge: 133
Registriert: 25 Jun 2009 - 11:22

Re: Musik aus Text

Beitrag von Peter G. » 15 Jun 2017 - 9:06

oops,
denke, da hatte ich gestern einen Wein zu viel :-)
1x 6.core mac mit PT12 & 2x 2.66 Dual-Core Intel Xeon/ 8 GB Ram/ PT8 HD1/Logic Pro 8
Benutzeravatar
mondongo
Routinier
Beiträge: 307
Registriert: 09 Sep 2008 - 22:29
Logic Version: 0
Wohnort: Bern, Schweiz

Re: Musik aus Text

Beitrag von mondongo » 15 Jun 2017 - 16:29

BTT liebe Dichtergilde

Beim erstmaligen Lesen: WTF?!?!

Dann überlegte ich mir, was wohl der für mich einfachste Weg wäre. Mir kam bald "text to midi" in den Sinn...Dies habe ich dann gesuchmaschinelt und bin dann auf verschiedene bereits existierende Koverter gestossen. Einige davon freeware. Vielleicht kannst du da ja mal weitergucken und den Code analysieren.

So oder so...ein literarisch-musikalisches Höllenfahrtskommando.

PS: es gibt auch bild-midi-konverter. Ein für mich völlig neues Feld.
MP3.1 Dual Quad (3.0 GHz/20 GB Ram) - MBP C2D- (2.4 GHz/4 GB Ram) - OS 10.6.8 - Logic 9.1.4 - UAD 2 - Motu UltraLite - ApogeeMiniMe/MiniDAC - Mackie HUI - Genelec 8040 - KEF C15 - und 20m3 Zeugs

musikmachen ist nur was für frauenimponierer
Benutzeravatar
Peter Ostry
Mediator
Beiträge: 10174
Registriert: 13 Okt 2004 - 14:54
Logic Version: 0
Wohnort: Niederösterreich

Re: Musik aus Text

Beitrag von Peter Ostry » 16 Jun 2017 - 4:06

mondongo hat geschrieben:Mir kam bald "text to midi" in den Sinn...Dies habe ich dann gesuchmaschinelt und bin dann auf verschiedene bereits existierende Koverter gestossen. Einige davon freeware. Vielleicht kannst du da ja mal weitergucken und den Code analysieren.
Danke für den Tip, aber die Analyse würde mir nicht viel bringen. Bild zu Musik und Text zu Musik kann auf direktem Weg nicht funktionieren, weil in einer Ansammlung von Farben oder Buchstaben keine musikalische Struktur enthalten ist. Es kommen immer wieder Leute die es probieren und alle machen dieselben Erfahrungen.

Mein Ansatz ist durch die Formulierung zu verstehen. Ich schreibe nicht "Text-zu-Musik", sondern "Musik aus Text." Ich bin nicht der Schlächter des Textes. Ich bin der Empfänger, der die Rhythmik und Melodik von gelungenen sprachlichen Konstrukten in Musik umsetzen will.

Die sinnhafte Interpretation von Texten überlasse ich den Vorlesern. Thema, Autor und die Geschichte selbst beeinflussen nur die Anlage meiner Töne und die Wahl der Instrumente, die günstiger Weise elektronische sind.



Ich habe hier ein etwas anderes Feedback erwartet, aber ich bin ja in der Sache drin, während ihr damit überfallen werdet. Denken wir einmal an ein traditionelles Gedicht, das für Musik schon aufgrund der Versform anbietet:

Können wir die Buchstaben in Töne umsetzen? Nur bedingt und mit manuellen Eingriffen, Mappings etc. Mit einem schwedischen Text muss man anders umgehen, als mit einem italienischen. Malt man nur nach Zahlen, führt das unweigerlich ins kakophonische Chaos.

Die nächstgrößere Einheit sind die Silben, die strukturell eher sprachunabhängig sind. Hier beginnt es musikalisch interessant zu werden. Um Silben rhythmisch umzusetzen, muss man deren Buchstabenanzahl ignorieren, wie wir es beim Lesen tun. Wesentlich ist der Wechsel zwischen betonten und unbetonten Silben.

Die Wörter sind wieder sprachabhängig. Bei deutschen Texten können wir musikalisch auf Hauptwörter reagieren. Die Großschreibung hilft uns und bietet eine der wenigen Möglichkeiten, Buchstaben sinnvoll auszuwerten.

Die nächste Einheit, der Satz, ist ein sprachlicher Bogen und soll auch ein musikalischer werden. Die Länge ist relevant, da wir aus Texten keine soliden Phrasen generieren können. Ziehen wir die Hauptwörter heran oder alle Wörter? Nehmen wir nur die Betonungen? Mittteln wir Buchstaben von Wörtern oder Silben mathematisch auf zufälligen Klang oder reagieren wir, etwa bei Prosa, nur auf Wortgruppen und Satzzeichen?

Der Absatz ist wegen der systembedingten Langsamkeit solcher Musik von geringerer Bedeutung, aber er gibt uns die wichtigen Pausen und Gelegenheiten zu musikalischen Wechseln.



Von einem der ersten Versuche hab ich ein Video gemacht, in dem die wichtigen Buchstaben nach Häufikeit im Deutschen gemappt sind:

Bild
GenText_1_korr.mp4 (18,3 MB)


Im ersten Teil geht es um Sätze. Jede Zeile (die ich für diesen Fall als Satz definiert habe) dauert drei Sekunden, egal wie lang sie ist. So sind einzelne Buchstaben nicht von Bedeutung und erzeugen auch keine Töne. Gespielt werden nur die Anfangsbuchstaben der Hauptwörter. Da es sich beim Text um das "Naturgeschichtliche Alphabet" von Wilhelm Busch handelt, macht das Sinn, da sich die Buchstaben zwangsläufig wiederholen. Es gibt nur einen Synth, die Phrasen entstehen aus dem Rhythmus des Abspielens.

Im zweiten Teil wird alles gespielt. Alle 125 ms kommt ein neuer Buchstabe, nach Silben sind 250 ms Pause, nach Wörtern 500 ms, ebenso nach Sätzen (= Zeilen) und Absätzen. Die interessante Information kommt textbedingt wieder von den Anfangsbuchstaben der Hauptwörter, die von einem tiefen Synth gespielt werden. Die Kleinbuchstaben spielt ein anderer mit einem Preset, das ihnen keine Chance lässt, sich wichtig zu machen.

Der Versuch ist noch mehr Schwurbelei als mir lieb ist und die Musik passt nicht zum Inhalt des Textes, aber man sieht, dass es Potential gibt. Vielleicht fällt ja jetzt dem Einen oder Anderen noch etwas dazu ein, was ich probieren könnte.
"Schatz, kommst du bald ins Bett?" —
"Ich kann nicht, im Internet hat jemand unrecht."
Benutzeravatar
Clemens Erwe
Moderator
Beiträge: 5200
Registriert: 22 Mai 2009 - 8:25

Re: Musik aus Text

Beitrag von Clemens Erwe » 16 Jun 2017 - 8:25

Ich habe meine Frau heut beim Frühstück damit genervt.
Die gibt Sprachunterricht für Migranten.

Wir sind auf folgende Aspekte gekommen - erstmal alles nur für die deutsche Sprache:
(schon im Österreichischen ist vieles anders)

- Buchstabenebene -> Vokale machen den Klang bzw. auch die Tonhöhe
Analyse lange/kurze Vokale könnte über die Anzahl der Konsonanten hinter dem Vokal laufen
Das Programm für die Migranten beginnt mit einfachen Sprechübungen - Buchstaben isoliert von Vokalen - also "b" und nicht "bee".
Man kann eventuell den Charakter der Buchstaben integrieren - Explosivlaut hart/weich usw.

- Wortebene -> im Deutschen meistens Betonung auf der ersten Silbe
Der Großteil der Ausnahmen begründet sich mit Vorsilben, z.B. Schimmel, aber Verschimmeltes

- Satzebene -> es gibt zwar die Satzbauregel "Subjekt-Prädikat-Objekt" - ist aber wegen Adjektiven/Adverben schwer zu analysieren.
Eine Hilfestellung können (logischerweise) Satzzeichen geben.
Es gibt ja den bekannten Witz, dass Satzzeichen Leben retten können:
Komm, wir essen Opa.
Komm wir essen, Opa.


Da sieht man auch, dass es eine gewisse Wahrscheinlichkeit für die Betonung des Wortes vor dem Komma gibt.

Das alles sind nur mehr oder weniger hohe Wahrscheinlichkeiten. Das Programm muss also Fehler in Kauf nehmen oder Wörter lernen.
Gib mir die Gelassenheit, Dinge hinzunehmen, die ich nicht ändern kann,
den Mut, Dinge zu ändern, die ich ändern kann,
und die Weisheit, das eine vom anderen zu unterscheiden.
Benutzeravatar
Peter Ostry
Mediator
Beiträge: 10174
Registriert: 13 Okt 2004 - 14:54
Logic Version: 0
Wohnort: Niederösterreich

Re: Musik aus Text

Beitrag von Peter Ostry » 16 Jun 2017 - 9:47

Clemens Vill hat geschrieben:Vokale machen den Klang bzw. auch die Tonhöhe
Das hab ich übersehen. Klar, das löst einige Probleme mit sinnlosen Buchstabenlawinen. Dann kann ich die Konsonanten je nach Instrument eigens behandeln.
Clemens Vill hat geschrieben:Analyse lange/kurze Vokale könnte über die Anzahl der Konsonanten hinter dem Vokal laufen
Ich kann ich den Text beim Lesen verkehrt durchlaufen lassen, um das festzustellen. Habe aber keinen Syntax für die Kennzeichnung von Einzelbuchstaben. Hm. Muss ich mir was einfallen lassen. Interessant ist es allemal, sinnvolle Variationen beim Abspielen automatisch zu haben.
Clemens Vill hat geschrieben:Explosivlaut hart/weich usw.
Ja, das hab ich vorgesehen.
Clemens Vill hat geschrieben:im Deutschen meistens Betonung auf der ersten Silbe
... Der Großteil der Ausnahmen begründet sich mit Vorsilben ...
Ist mir wurscht, die Betonungen mache ich manuell im Text. Alles was betont wird, kommt in eine Klammer.
Clemens Vill hat geschrieben:es gibt zwar die Satzbauregel "Subjekt-Prädikat-Objekt"
Kann ich auch manuell machen, aber frage mich, wie ich es musikalisch auswerten soll. Ich habe schon die Betonungen über Velocity. Muss ich überlegen, wenn die Controller dazukommen. Vielleicht kann man mit der Lautstärke etwas machen. Subjekt oder Objekt lauter und dann runterfahren lassen. So irgendwie. Wellen einbauen.
Clemens Vill hat geschrieben:Da sieht man auch, dass es eine gewisse Wahrscheinlichkeit für die Betonung des Wortes vor dem Komma gibt.
Das wusste ich nicht, ist aber kein Problem. Kann ich beim Vorbereiten des Textes drauf achten. Ich sag mir die Texte sowieso vor und mach die Betonungen wo sie hingehören.
Clemens Vill hat geschrieben:Das alles sind nur mehr oder weniger hohe Wahrscheinlichkeiten. Das Programm muss also Fehler in Kauf nehmen oder Wörter lernen.
Ja, darum mische ich manuelle und automatische Bearbeitung. Wörter lernen eher nicht, Max ist ja keine Textverarbeitung und ich brauche pro Text nur eine einzige stimmige Basis. Der Rest ist Einstellungssache und Klangarbeit.
"Schatz, kommst du bald ins Bett?" —
"Ich kann nicht, im Internet hat jemand unrecht."
Benutzeravatar
lonely
Haudegen
Beiträge: 563
Registriert: 09 Apr 2004 - 17:18
Logic Version: 9
Wohnort: Deutschland

Re: Musik aus Text

Beitrag von lonely » 16 Jun 2017 - 11:01

Toll! Das ist innovativ und mir neu.

Vielleicht ist´s was Wert:

Man könnte eine Library o.ä. anlegen, in der "gute" und "schlechte" Wörter getrennt aufgelistet sind. Ganz primitiv würde ich mal sagen-schlechte Wörter=tiefe Töne, gute Wörter=hohe Töne.

(hallo
http://www.garemu.de/ "Weltgrößtes, schönstes, lustigstes aber trotzdem teuerstes, bestriechendstes, ältestes (gegr. anno 735 AD) Studio."
Benutzeravatar
milchstrasse7
Stamm User
Beiträge: 4737
Registriert: 24 Jun 2003 - 12:46
Logic Version: 10
Wohnort: Unterföhring
Kontaktdaten:

Re: Musik aus Text

Beitrag von milchstrasse7 » 16 Jun 2017 - 16:39

Eine Idee hätte ich schon dazu:

es geht ja nicht um das korrekte Schreiben mit Rechtschreibung, Satzzeichen und ähnlichem sondern darum das ganze interpretierbar zu machen.

Dann könnte man den Text ja z.B. so schreiben:

am anfang stand Ich inder lAube
ich stierte dem bEnz auf die hAube
der moTOr machte kurz seinen lEtzten fUrz
denn zulEtzt stirbt nunmalder glAUBe

aber da hatte peter eh schon dran gedacht oder?

ich sollte auch keinen Wein mehr trinken.....
hier herrscht permanenter Aufnahmezustand
http://www.toersiep.com
Antworten