Similarity methods for computational ethnomusicology

Abstract

The field of computational ethnomusicology has drawn growing attention by researchers in the music information retrieval community. In general, subjects are considered that are related to the processing of traditional forms of music, often with the goal to support studies in the field of musicology with computational means. Tools have been proposed that make access to large digital collections of traditional music easier, for example by automatically detecting a specific kind of similarity between pieces or by automatically segmenting data into partitions that are eitherrelevant or irrelevant for further investigation. In this thesis, the focus lies on music of the Eastern Mediterranean, and specifically on traditional music of Greece and Turkey. At the beginning of the thesis related work, the task was defined which directed the aspects of the necessary researchactivities. The task was motivated by the geographical location of the author, the island of Crete in Greece, but in the course of the thesis this task proved to have strong relevance for a much wider musical context: Given a polyphonic recording of a piece of Cretan traditional dance music, find a recording that is similar to it. Theory of musicology provided us with the way to approach this task.The traditional music encountered in Greece and in wide parts of the Balkan states and Turkey as well, follows the logic of parataxis, which means that pieces are constructed by temporally aligning short musical phrases, without the existence of structures present in classical music or popular music. Thus, a system that is designed to cope with the above mentioned task has to be able to estimate the similarity of such phrases. As we deal with polyphonic audio signals of music thathas not been written to a score, at least not before the performance, we need to do some simplification. This is because the exact transcription of the main melody from a polyphonicmixture into a score is still an unsolved problem. And on the other side, the transcription of traditional music even by human experts is an extremely complex and difficult process. For that reason, a system has been designed that considers aspects of rhythm, timbre and melody for approaching the task. The central aspect that has been considered in this thesis is rhythm. For this, a point of major interest is the estimation at which time instances within an audio signal a musical instrument starts playing a note. This estimation is referred to as onset detection, and has been approached in this thesis using novel group delay and fundamental frequency based approaches, and with a fusion of these characteristics with an spectral amplitude criterion. With these findings in the field of onset detection, improved beat trackers and rhythmic similarity estimation techniques are developed. The proposed beat tracker applies the group delay based onset detection method in the context of a state-of-the-art approach for beat tracking. Results show clear improvements when applying this method for beat tracking on a dataset of traditional music. The rhythmic similarity estimation is based on scale transformation, which avoids the influence of tempo differences between pieces of music that are to be compared. On datasets containing Greek and Turkish traditional music high accuracies in a classification task are achieved, and the validity of the proposed measure as a similarity measure is supported by the results of listening tests. Apart from rhythm, also the aspect of instrumental timbre has been addressed. A novel feature set based on Non-negative Matrix Factorization (NMF) is proposed to describe the characteristic spectral bases of a piece of music. These bases are modelled using statistical methods, and it is shown that these models describe the spectral space of musical genres and instrumental classes in a compact and discriminative way. Finally, melodic aspects have been considered as well by combining state-of-the-art approaches for cover song detection in popular music and fundamental frequencydetection from polyphonic signals. This combination is shown to tackle the central task of the thesis work in a satisfying way on a small exemplary dataset. A morphological analysis framework that combines the aspects of rhythm, timbre and melody is proposed, which can be used to detect similarities in traditional music. For the development of the algorithms presented in this thesis, evaluation data had to be collected. This was a task of major difficulty and much effort has beenmade by the author to understand well the musical context that is investigated in this thesis. For many datasets, the ground truth was achieved in cooperation with local musicians in time-consuming but very informative interviews. The knowledge obtained in these interviews and the resulting datasets are another important contribution of this thesis.

Ο τομέας της Υπολογιστικής Εθνομουσικολογίας έχει προσελκύσει την προσοχή των ερευνητών που δραστηριοποιούνται στην περιοχή της Ανάκτησης Μουσικής Πληροφορίας. Στην Υπολογιστική Εθνομουσικολογία εξετάζονται δέματα που συσχετίζονται με την επεξεργασία παραδοσιακής μουσικής, συχνά με το στόχο για να υποστηρίξουν τις μελέτες στον τομέα της μουσικολογίας με υπολογιστικά μέσα. Ο στόχος της παρούσας διατριβής είναι να ορίσει την ομοιότητα μεταξύ μουσικών κομματιών. Για παράδειγμα, λαμβάνοντας υπόψη μια πολυφωνική καταγραφή ενός χορευτικού κομματιού της κρητικής παραδοσιακής μουσικής, ψάχνουμε μια καταγραφή που είναι παρόμοια με αυτήν. Η εστίαση βρίσκεται στη μουσική της ανατολικής Μεσογείου, και συγκεκριμένα στην παραδοσιακή μουσική της Ελλάδας και της Τουρκίας, θεωρούμε ότι η ομοιότητα περιγράφεται από τρεις διαστάσεις: ρυθμό. χροιά και μελωδία. Η θεωρία της μουσικολογίας παρέχει τον τρόπο να πλησιάσουμε αυτό το στόχο. Η παραδοσιακή μουσική που συναντάται στην Ελλάδα, στην ευρύτερη Βαλκανική χερσόνησο καθώς και στην Τουρκία, ακολουθεί σε πολλές περιπτώσεις τη λογική της παράταξης. Αυτό σημαίνει ότι τα κομμάτια κατασκευάζονται με σύντομες μουσικές φράσεις, χωρίς την ύπαρξη δομών όπως συμβαίνει στην κλασική μουσική ή στο Pop/Rock. Κατά συνέπεια, ένα σύστημα που σχεδιάζεται για να αντιμετωπίσει τον παραπάνω στόχο στην παραδοσιακή μουσική πρέπει να είναι σε θέση να υπολογίσει την ομοιότητα τέτοιων φράσεων. Δεδομένου ότι εξετάζουμε πολυφωνικά ακουστικά σήματα μουσικής που δεν έχουν καταγραφεί σε παρτιτούρα, τουλάχιστον όχι πριν από την ερμηνεία, πρέπει να κάνουμε κάποια απλοποίηση, λαμβάνοντας υπόψη ότι η ακριβής καταγραφή της κύριας μελωδίας από μία πολυφωνική μίξη είναι ακόμα ένα άλυτο πρόβλημα. Από την άλλη πλευρά, η καταγραφή σε παρτιτούρα της παραδοσιακής μουσικής, ακόμη και από εμπειρογνώμονες, είναι μια εξαιρετικά σύνθετη και δύσκολη διαδικασία. Λόγω των παραπάνω δυσκολιών, στην παρούσα διατριβή προτείνεται ένα σύστημα αυτόματης εκτίμησης ρυθμού, χροιάς και μελωδίας, ώστε στη συνέχεια να μπορεί να ορισθεί και να ελεγχθεί η έννοια της ομοιότητας μεταξύ των μουσικών καταγραφών. Για την εκτίμηση του ρυθμού είναι ιδιαίτερα σημαντική η εκτίμηση των στιγμών στις οποίες ξεκινάει μία νότα (onset detection). Στην εργασία αυτή προτείνεται μια πρωτότυπη τεχνική ανίχνευσης έναρξης χρησιμοποιώντας καθυστέρηση ομάδας και θεμελιώδη συχνότητα, ενώ εξετάζονται δέματα συγχώνευσης αυτών των χαρακτηριστικών με χαρακτηριστικά ενέργειας (φάσμα πλάτους). Με αυτά τα συμπεράσματα στον τομέα της ανίχνευσης έναρξης, βελτιωμένη παρακολούθηση ρυθμού και τεχνικές εκτίμησης ρυθμικής ομοιότητας αναπτύσσονται. Σχετικά με τη χροιά, προτείνεται ένα νέο σύνολο χαρακτηριστικών βασισμένο στη πα- (Non negative Matrix Factorization, NMF) για να περιγράψει τις χαρακτηριστικές φασματικές βάσεις ενός δείγματος. Αυτές οι βάσεις μοντελοποιούνται χρησιμοποιώντας στατιστικές μεθόδους, και αποδεικνύεται ότι αυτά τα πρότυπα περιγράφουν το φασματικό διάστημα των μουσικών ειδών και των κατηγοριών των μουσικών οργάνων με έναν συμπαγή και χαρακτηριστικό τρόπο. Η εκτίμηση της μελωδίας έχει εξεταστεί επίσης με το συνδυασμό προσεγγίσεων που (Cover Song Detection) την ανίχνευση συχνότητας από πολυφωνικά σήματα. Τέλος, ένα μορφολογικό πλαίσιο ανάλυσης που συνδυάζει το ρυθμό. τη χροιά και τη μελωδία, προτείνεται, το οποίο μπορεί να χρησιμοποιηθεί για να ανιχνεύσει τις ομοιότητες στην παραδοσιακή μουσική. Για το σχεδιασμό, την ανάπτυξη, και το έλεγχο των αλγορίθμων που παρουσιάζονται σε αυτή τη διατριβή, αρκετά μουσικά δεδομένα έπρεπε να συλλεχθούν και να προ-επεξεργαστούν (π.χ. ετικετοποίηση). Οι βάσεις δεδομένων που παράχθηκαν αποτελούν επίσης μια σημαντική συμβολή της εργασίας στη μελέτη της παραδοσιακής μουσικής.