MUSIC reading FOR MACHINES

“Dammit Jim, I’m a hacker, not a musician!”, to paraphrase McCoy Scotty from the original star trip series. Well, a few of us are likewise musicians, some, like me, are likewise hack-musicians, as well as some wouldn’t understand a whole note from a treble clef. however every now as well as then the music you want is in the type of sheet music as well as you requirement to convert that to something your hack can play. If you’re lucky, you can discover software application that will checked out the sheet music for you as well as spit out a MIDI or WAV file. Or, just like my hand-cranked music player, you may have to checked out just sufficient of the music yourself to convert musical notes to frequencies for something like a 555 timer chip. We’ll dive into both situations here.

If you can’t checked out music then you must still be able to get the gist of what we’re saying. however in situation you get confused, we’ve included a extremely quick introduction near the end of this article.

Optical music recognition (OMR)

MusicXML note example
You’ve most likely heard of OCR, Optical character recognition software, that converts words on paper to a digital form. Well there’s likewise music OCR, or a lot more exactly OMR, Optical music recognition software. You point a cam at a page of sheet music to catch an image, or provide the software application an picture data or a PDF consisting of the sheet music, as well as it converts that to music that you can hear at the press of a button, or save to a MIDI or WAV data for playback from elsewhere.

To try it out, I discovered a high high quality one called SharpEye 2.68 that had a 30-day, complimentary trial period. It’s able to save the music as a MIDI file, MusicXML, as well as in NIFF format. The snippet of MusicXML shown right here is of the musical note, A, as well as is a quarter note. As you’ll see, SharpEye does an excellent job, provided a clean, black as well as white image. It likewise supplies the needed editing tools to fix any recognition errors.

Greensleeves caught in sunlight as well as in SharpEye
For my very first test I took a picture in sunlight of the very first line from the tune Greensleeves. I then brought the picture into GIMP to ensure that I might convert it to a TIFF file, considering that SparpEye reads in only BMP as well as TIFF files. however I did no enhancing. I then opened the picture in SharpEye as well as told it to “Read image”. This is the optical music recognition step. The end result was just what you see in the snapshot here, flawless, as well as with only the appropriate music. In the snapshot I’ve clicked on one of the notes, the one that’s red, to show that this is editable music as well as not just a static image. Clicking on the play button played it flawlessly.

I saved it as a MIDI file. However, MIDI data specify exactly how to play the music, together with the notes, as well as do not consist of the audio itself. So I converted it to an audio track using Anvil Studio before saving the music to a WAV file, which you can listen to below. For any individual who wishes to do this in Anvil, at a minimum you can do data – open tune as well as data – Export Mixed Audio.

Audio Player

00:00 Uhr
00:00 Uhr
00:00 Uhr

Captured poor music as well as in SharpEye
These OMR programs requirement clean pictures or PDFs of the music in buy to recognize them well. For example, the example shown above has some shadowing on the left which made SharpEye not able to checked out that part. The image is likewise poorly focused, which triggered it to get a great deal wrong in the bottom section. The music with the yellow background is SharpEye showing exactly how it sees the music before doing the recognition.

The poor music after fixing
Like lots of OMR programs, SharpEye isn’t meant as a music notation tool. It doesn’t setting notes for you, or change their positions when you add a clef. However, it does provide you sufficient editing tools to right recognition errors, as well as that’s what I did to add back the area that was shadowed, in addition to add the notes it missed on the bottom. I likewise inserted the 3/4 time signatures, which weren’t in the original considering that it was an picture taken of the middle of a score. With those fixes, it seems just right.

Audio Player

00:00 Uhr
00:00 Uhr
00:00 Uhr

At this point you can save it as a MIDI data as well as then convert it to a WAV or MP3 as well as transfer that to your hack. Or, if you want to additionally refine the music, save it as a MusicXML data as well as tons it into your preferred music notation software, Sibelius for example, for additionally editing.

Experiments with picture Pre-Processing

I utilized a flatbed scanner to scan a full page of the song Scarborough fair — which this time around includes lyrics — to a PDF-Datei. Da Sharpeye PDF-Daten nicht überprüft habe, habe ich es sehr zuerst in GIMP gepackt und als TIFF-Datei gespeichert. Sharpeye hatte Probleme, also ging ich nach Gimp zurück, rettete es stattdessen als hochqualitativ hochwertiger JPG, verpackte das zurück in Gimp, ebenso wie eine TIFF-Datei. Aus einem unbekannten Grund könnte Sharpeye das überprüft.

Selbst dann arbeitete die Anerkennung schlecht, fehlte große Musikstücke. Ich vermutete, dass das war, seit der Musik grau auf Weiß war. Ich habe das Niveau-Tool in GIMP verwendet, um es in Schwarz auf Weiß umzuwandeln, und die Anerkennung hat diesmal weitaus besser funktioniert.

Scarborough Fair in Sharpeye
Bevor ich die Anerkennung erledigt hatte, musste ich Sharpeye sagen, dass die Texte über den Dauben entdeckt werden könnten, wenn man bedenkt, dass sie standardmäßig nachstehend nach ihnen sucht. Im Snapshot ist das Originalbild die Musik mit dem gelben Hintergrund. Wie Sie sehen, gab es einige Fehler in den Texten, jedoch ist der Text editierbar. In der Snapshot habe ich “Win ‘” gewählt “, der” Goin “sein muss”. Beachten Sie auch, dass die Zeilen der anerkannten Musik horizontal anstelle von vertikal angelegt werden, wenn Sie auf einem typischen Blatt Papier entdecken, sowie wie sie sich im Originalbild befinden. Das Ergebnis scheint jedoch gut zu sein.

Audio-PlayerHttps: //hackaday.com/wp-content/uplads/2017/05/scarborough_fair_de.wav

00:00 Uhr
00:00 Uhr
00:00 Uhr

Sie können eine Auflistung anderer optischer Musikerkennungsprogramme auf Wikipedia entdecken, in SmartScore ist derjenige, der in einem anderen in einem anderen Art von einem anderen, ab 1991 längsten ist. Es gibt ebenfalls ein SHARPEYE-SDK, das von der Liste von ein paar verwendet wird verschiedene Produkte. Es gibt sogar Apps für iPads, iPhones sowie Android-Telefone, die Sie auf YouTube-Demos entdecken können. Die Suche nach “Musikscanner” scheint ein paar großartige und arme aufzuwickeln.

Konvertieren von Noten an Frequenzen

Was ist, wenn Sie, wenn Sie die Noten vor Ihnen haben, und Ihr Hack ist einer, der die privaten Notizen annimmt, sowie in jedes direkt an einen angemessenen Sound umgewandelt? WAV sowie MP3-Daten funktionieren nicht, wenn man berücksichtigt, dass diese bereits umgebaute Musik enthalten.

Musiknotenfrequenzen sowie 555 Timer-Kreislauf
Die Methode, um es zu tun, ist wirklich einfach. Jede Musiknotiz hat eine entsprechende Frequenz. Für eine bevorzugte Note zeichnet sich Ihre Schaltungsanforderung nur einen Lautsprecher bei der Häufigkeit dieser Note an. Neben einem grundlegenden Verfahren zur Versorgung dieser Frequenz nutzt eine 555-Timer-Schaltung im Austable-Modus wie der gezeigte. In der Schaltung wird die Ausgangsfrequenz von Kondensator C und Widerstände R1 sowie R2 herausgeführt. Sie können diese Abhängigkeit deutlich sehen, indem Sie die Frequenzformel für den Ausgang von 555 Timer überprüfen.

Widerstände für musikalische Noten sowie 555 Timer-Schaltung
Ein normales Verfahren zum Manipulieren dieser Formel besteht darin, einen festen Wert für R2 sowie dann für jede gewünschte Frequenz einen unterschiedlichen Widerstand hinzuzufügen, wie in der kundenspezifischen Schaltung gezeigt. Setzen Sie uns jetzt einen variablen Widerstand RN ein. In dem Diagramm können Sie sehen, dass wir uns sehr zuerst in die Frequenzformel hinzugefügt haben, und dass wir dann die Formel mit der Fixierung für RN umgestellt haben. Stecken Sie diese Formel in eine Kalkulationstabelle sowie Sie können die benötigten Widerstandswerte für die bevorzugten Musiknotizen aufnehmen.

Hand cranked 555 Timer Music Player
Ein Beispiel für diese verwendete Stromkreis ist in diesem handgeschütteten Musikplayer. Die musikalischen Noten werden als Löcher in einer Kunstschleife codiert. Die Einstellung des Lochs entlang der Breite der Papierfiguren, die 13 mögliche Noten abgespielt werden. Die Länge des Lochs steuert die Zeitdauer, die die Note abgespielt wird.

555 Timer Music Player Circuit
Das Schaltbild für den Music Player zeigt die genaue 555-Timer-Schaltung, jedoch mit RN, die durch 13 verschiedene Widerstände ersetzt wurde, deren Werte unter Verwendung der Formel für RN berechnet wurden. Bei jeder Art von Zeit wird jedoch nur ein Widerstand verwendet. Wie ist das genau so gemacht?

Jede dieser 13 Widerstände wird an einem von 13 Kupferplatten gelötet. Auf jeder Kupferplatte sitzend ist ein Kupferdraht. Das Papier gleitet zwischen der Platte sowie dem Draht. Nur wenn ein Loch in der Zeitung zwischen dem Kabel sowie der Platte ist, machen sie einen elektrischen Kontakt. Das bringt den entsprechenden Widerstand in die Schaltung, sowie der 555 gibt die richtige Frequenz für die bevorzugte Musiknote aus. In dem Diagramm markieren wir den elektrischen Pfad, wenn ein Loch zwischen dem Kabel des D3 als auch der Kupferplatte liegt.

Eine extrem schnelle Einführung in das Lesen von Musik

Bevor wir diesen Artikel beenden, ist hier die garantierte sehr wenig Einführung in die Leseblattmusik, die gerade ausreicht, um diesen Artikel zu verstehen.

So überprüfen Sie Musik für Klavier
Eine grundlegende Methode, um zu beginnen, ist das Auschecken der Geheimnisse auf einem Klavier. Jeder Schlüssel stellt eine musikalische Note dar, die von einem Buchstaben von A bis G bezeichnet wird. Sie können immer C finden, da es das weiße ist das weiße, das links von jeder Art von zwei schwarzen Tasten ist. Es gibt nur sieben Buchstaben von A bis G, sehen jedoch sorgfältig an der Keybo anARD sowie Sie sehen, dass das Muster von Schwarz sowie weiße Geheimnisse nach jedem sieben weißen Tasten wiederholt.

Auf Papier, namens Noten, zeitgenössischer Musik-Notation, besteht aus Gruppen horizontaler Linien, namens Days (das Singular ist Personal oder Stabin). Die Anzeichen repräsentieren die Notizen sowie den kreisförmigen Teil des Schilds entweder auf eine Linie oder zwischen zwei Zeilen. Die vertikale Einstellung des Anzeichens des Personals sagt Ihnen, welche Note es ist. Welches Zeichen ist es, dass Sie genau sagen, wie lange es dabei ist, die Notiz zu halten.

Es gibt viel mehr viel mehr dazu, aber jetzt können Sie ausreichend Noten ausreichend überprüft, um zusammen mit diesem Pfosten zu verfolgen, sowie zumindest die idealen Geheimnisse eines Klaviers. Diese Empfehlung erscheint wie ein respektabler, wenn Sie tiefer graben möchten.

Endnote

Wir haben hier auf Hackaday einige Male in der Knicke einiger Male aufgetreten. [Dino] Hat die genaue Art von Musical-Note-to-Frequenzumwandlung, die wir behandelt haben, die Tone () der Arduino-Funktion verwendet, um sie an einen Lautsprecher für seinen neuen Jahresabends-Tiny-Kugel abzuspielen. [Zulko] verwendete Python sowie Fourier-Transformatoren, um Noten zu erstellen, als er spielen wollte, was er entdeckte, was er auf einer perforierten Papierrolle kodierte.

Und auf dieser Anmerkung (stöhnen), welche musikalischen Antike haben Sie versucht? Hatten Sie mit Noten in irgendeiner Art von Hacks anbieten? Bitte teilen Sie sie mit uns in den folgenden Kommentaren.