- Universidade de São Paulo, Departamento de Ciência da Computação, Department Memberadd
Research Interests:
Research Interests:
Hodiernamente a música é amplamente consumida por meios digitais, como plataformas de streaming. Nesse contexto, a classificação de gêneros musicais tem papel vital, pois permite a criação de sistemas de recomendação de música e a... more
Hodiernamente a música é amplamente consumida por meios digitais, como plataformas de streaming. Nesse contexto, a classificação de gêneros musicais tem papel vital, pois permite a criação de sistemas de recomendação de música e a organização de grandes bancos de dados musicais. Entretanto, tais tarefas se mostram desafiadoras e tediosas devido ao alto grau de complexidade e repetição. Desta forma, convém o desenvolvimento de sistemas computacionais capazes de realizar a classificação de músicas de acordo com o gênero de forma automática, acurada e eficiente. Diante do exposto, o presente artigo propõe uma arquitetura para a classificação de gêneros musicais usando espectrogramas, texturas de imagens e redes complexas. Ainda, foram desenvolvidos programas para a geração de espectrogramas a partir de arquivos de áudio, bem como das características texturais das imagens obtidas, criação de redes complexas e sua respectiva mineração com medidas topológicas. Além disso, um classificador baseado em redes neurais foi implementado para avaliar a desempenho do sistema, para o qual os resultados demonstraram performance razoável no conjunto de teste.
Research Interests:
A música é uma forma rica de expressão composta por diversos elementos, onde a melodia desempenha um papel fundamental na apreciação musical e na coordenação de músicos em grupos. No entanto, a falta de dispositivos voltados para... more
A música é uma forma rica de expressão composta por diversos elementos, onde a melodia desempenha um papel fundamental na apreciação musical e na coordenação de músicos em grupos. No entanto, a falta de dispositivos voltados para indivíduos com surdez total tem sido um obstáculo para que eles apreciem e participem plenamente. Para resolver essa lacuna, surge a necessidade de desenvolver um dispositivo que traduza a melodia em sensações táteis, tornando a musica acessível. Uma abordagem promissora é adotada pela empresa Tron Robótica, que utiliza vibrações emitidas por um alto-falante. No âmbito desse projeto, a proposta é criar um aparelho eletrônico ergonômico e compreensível que capture o sinal acústico de um dispositivo móvel. Esse sinal foi processado para identificar os elementos melódicos, transmitido via Bluetooth para uma placa Raspberry Pi e filtrado para identificar notas e durações. Os dados resultantes são associados a símbolos familiares, como o código Braille musical, e transmitidos para um motor de vibração na mão do usuário. Além disso, uma interface proporciona uma visão em tempo real do processo. Essa iniciativa busca possibilitar que pessoas com surdez total explorem o mundo da música, interpretando melodias e integrando-se em grupos musicais, promovendo assim a inclusão musical.
Research Interests:
Define-se como artrite reumatóide uma doença crônica autoimune incurável, cujo grau de risco varia entre pacientes. Apesar de incurável, existem tratamentos que incluem medicação e/ou fisioterapia para mitigação das dores e seu avanço.... more
Define-se como artrite reumatóide uma doença crônica autoimune incurável, cujo grau de risco varia entre pacientes. Apesar de incurável, existem tratamentos que incluem medicação e/ou fisioterapia para mitigação das dores e seu avanço. Contudo, os tratamentos fisioterapêuticos, devido a sua natureza repetitiva, podem ser desmotivantes aos pacientes. A musicoterapia pode ser uma alternativa para aumentar a adesão aos tratamentos e se mostra promissora na redução de dores e estresse. Assim, neste trabalho foi iniciado o desenvolvimento um instrumento digital musical programável para o auxílio no tratamento de artrite. O instrumento é operado pelo paciente mediante o movimento das mãos sobre um aparelho flexor, cuja pressão aplicada é mensurada por um sensor RP-C18.3-ST e utilizada para o controle de frequência na etapa de síntese. Foi utilizado um microcontrolador para a síntese sonora subrativa, devido a sua natureza de fácil programação. A resposta temporal desse instrumento foi analisada, mostrando que a síntese ocorreu da maneira esperada. Os resultados obtidos são promissores e espera-se que futuramente o sistema aqui desenvolvido possa ser utilizado para tratar pacientes reais.
Research Interests:
Embora a música seja universal entre os humanos, o mesmo não pode ser dito com relação a ser músico, já que os instrumentos musicais geralmente requerem uma coordenação motora precisa, especialmente nas mãos, então, para aqueles que... more
Embora a música seja universal entre os humanos, o mesmo não pode ser dito com relação a ser músico, já que os instrumentos musicais geralmente requerem uma coordenação motora precisa, especialmente nas mãos, então, para aqueles que sofrem com limitações na movimentação do membro, acaba sendo quase impossível tocar um instrumento. O Theremin é um caso especial, pois embora sua interpretação não obrigue nenhum toque físico no aparelho, ainda é preciso ter movimentos extremamente precisos com os dedos para executar uma nota musical da maneira mais estável possível. O presente artigo propõe uma adaptação do Theremin Óptico Digital para que seja controlado utilizando sinais eletromiográficos (EMG). Primeiramente foi projetado um modelo para o mapeamento das notas musicais naturais, considerando uma oitava como referência, obtendo como resultado a equação que relaciona o ângulo do movimento com a frequência. Depois, foi preciso pré-processar o sinal EMG, filtrá-lo e obter um sinal médio, interpretando-o como controle de amplitude do som. Espera-se que o aparelho possa ser utilizado para tratamentos medicinais e ensino musical para pessoas com doenças neuromusculares.
Research Interests:
Music genres define the characteristics that musical pieces must have to belong to a given class. These characteristics are reflected in the audio signal and, consequently, in the image that represents its spectral content: the... more
Music genres define the characteristics that musical pieces must have to belong to a given class. These characteristics are reflected in the audio signal and, consequently, in the image that represents its spectral content: the spectrogram. In this paper, we propose a Music Genre Classification (MGC) system based on representation with complex networks of CLBP (Completed Local Binary Pattern) texture descriptor codes extracted from spectrograms: mel-spectrogram and gammatonegram. Complex networks were generated using CLBP codes in multipartite configuration: mono, bi, and tripartite networks; where the three node types are signal (CLBP-S), magnitude (CLBP-M) and central (CLBP-C) codes. The networks were mined using conventional, textural, and bi and tripartite topological measures. In order to test the proposed MGC, we used the GTZAN dataset and defined several experiments using combinations of multipartite measures: 1) monopartite, 2) mono and bipartite, and 3) mono, bi and tripartite. All experiments were performed for each spectrogram individually and jointly. In the machine learning stage, we used the ensemble classifier Bagging with Random Forest, and 10-fold cross-validation repeated 100 times. As a main result, it was found that the bipartite measures related to CLBP-C decrease the performance, but the tripartites increased it. Moreover, in most experiments using only gammatonogram the performance was better. Consequently, the experiment using tripartite measures extracted from the gammatonegram revealed a satisfactory result, indicating that the proposed MGC is promising.
Research Interests:
The texture classification of an image is related to an important musical attribute, the music genre. This relationship is depicted in the visual representation of the audio signal, called as spectrogram. In this paper, we propose a new... more
The texture classification of an image is related to an important musical attribute, the music genre. This relationship is depicted in the visual representation of the audio signal, called as spectrogram. In this paper, we propose a new Music Genre Classification (MGC) system that processes the spectrogram texture using the Gray Level and Structural Information (GLSI) descriptor, and represents the interconnection between the descriptor codes through complex networks. The GLSI descriptor is an improvement of the CLBP (Completed Local Binary Pattern) descriptor, which quantifies the texture of an image with three codes: signal (CLBP-S), magnitude (CLBP-M), and central (CLBP-C). By transforming the CLBP-C code, GLSI adds macro-structural information. The network nodes represent the descriptor codes, and the respective edges, the relationship according to the horizontal and vertical consecutive condition. We defined two representations for the nodes: 1) individual code node, obtaining the Gs, Gm and Gg networks, and 2) triple code node, obtaining the Gsmg network. For the experimental stage, we used the GTZAN dataset, three types of spectrograms: conventional, mel-spectrogram and gammatonegram; and mining with network topological measures. For each type of spectrogram, we performed three experiments according to feature vector combinations, such as measures of: 1) Gs, Gm and Gg, 2) Gsmg, and 3) all networks. In the machine learning stage, we used the ensemble classifier Bagging with Random Forest, and 10fold cross-validation repeated 100 times. The experiment using all measures and all spectrograms revealed a satisfactory result, indicating that the MGC proposed is promising. We also propose a new equation to calculate the GLSI code, which proved to be much faster and with more intuitive encoding.
Research Interests:
1. Desenvolvimento de um instrumento musical digital para auxiliar os exercícios terapêuticos no tratamento da artrite Lucas Carvalho 2. Desenvolvimento de um dispositivo para auxiliar a percepção de melodias a pessoas com deficiência... more
1. Desenvolvimento de um instrumento musical digital para auxiliar os exercícios terapêuticos no tratamento da artrite
Lucas Carvalho
2. Desenvolvimento de um dispositivo para auxiliar a percepção de melodias a pessoas com deficiência auditiva total através de sinais táteis
Vitor Thimóteo Daubermann
3. Classificação automática de gêneros musicais utilizando análise de imagens e redes complexas
Rafael Marasca Martins
Lucas Carvalho
2. Desenvolvimento de um dispositivo para auxiliar a percepção de melodias a pessoas com deficiência auditiva total através de sinais táteis
Vitor Thimóteo Daubermann
3. Classificação automática de gêneros musicais utilizando análise de imagens e redes complexas
Rafael Marasca Martins
Research Interests:
Harmony can be defined in a musical way as art that combines several musical notes reproduced simultaneously to create sounds that are coherent to human ears and serve as accompaniment and filling. However, working out harmony is not a... more
Harmony can be defined in a musical way as art that combines several musical notes reproduced simultaneously to create sounds that are coherent to human ears and serve as accompaniment and filling. However, working out harmony is not a simple task. It requires knowledge, experience, and an intense study of music theory, which takes time to reach good skills. Thus, systems capable of automatically harmonizing melodies are beneficial for experienced and novice musicians. In this paper, a comparative study between distinct architectures and ensembles of Artificial Neural Networks was proposed to solve the problem of musical harmonization, seeking consistent results with rules of music theory: Multilayer Perceptron (MLP), Radial Basis Function network (RBF), Echo State Network (ESN), Extreme Learning Machines (ELM), and Long Short-Term Memory (LSTM). For this, a processed and defined melody with symbolic musical data serves as input to the system, having been trained from a musical database that contains melody and harmony. The output is the chord sequence to be applied to the melody. The results were analyzed with quantitative measures and the ability to melody adaptation. The performances were favorable to the MLP, which could generate harmonies according to the objectives.
Research Interests:
Music genre is an important feature to identify a musical work. Thus, it is the most used label to organize musical datasets. However, this label is not always available and its identification is not a simple and direct task. Hence, in... more
Music genre is an important feature to identify a musical work. Thus, it is the most used label to organize musical datasets. However, this label is not always available and its identification is not a simple and direct task. Hence, in literature we can find many music genre classification (MGC) methods, with a variety of features and machine learning algorithms (MLA). In this paper, we propose an MGC system by using two levels of hierarchical mining, GLCM (gray level co-occurrence matrix) networks generated from the mel-spectrogram and a multi-hybrid feature strategy. Three types of complex networks were generated: GLCM network Gg, Superpixels network Gs, and GLCM network of each node of Gs (Ggsi network). The multi-hybrid features are formed by textural and topological measures of complex networks and acoustic measures. In the classification step, we used three datasets: GTZAN, Homburg, and ISMIR; two MLAs belonging to the classifier ensemble approach, and (10)-fold cross-validation repeated 100 times. Several experiments were performed using feature combinations of macro-mining (global features of Gg and Gs) and micro-mining (global features of Ggsi). For GTZAN, we performed a detailed analysis of individual class performance and calculated our new ranking logarithmic score (RLS) applied to the F1-score. For all datasets, the RLS and accuracy values were compared with several state-of-the-art methods. The accuracy obtained using micro-mining was >90%, which reveals a satisfactory result.
Research Interests:
The theremin is one of the first electronic musical instruments and one of the few played without physical contact since it only requires hand and finger movements to control the amplitude and frequency of the musical note. However, the... more
The theremin is one of the first electronic musical instruments and one of the few played without physical contact since it only requires hand and finger movements to control the amplitude and frequency of the musical note. However, the capacitive functioning of the antennas increases the sensitivity to electrical interference, its timbre is fixed, and the frequency antenna's vertical arrangement could limit the use of people with amputated fingers. Furthermore, it does not contain any help to guide the execution, which makes it a very difficult instrument to play. In this paper, we present the development of a digital optical theremin with an audio synthesis process, intuitive graphical interface, frequency antenna in the horizontal position, and linearization of the frequency-distance relationship. These features are intended to aid learning and interpretation of the instrument and extend access to people with finger limitations. In order to validate the instrument's behavior and characteristics, we conducted three experiments: 1) accuracy analysis of the linearization through the mean absolute error in units of cents and the Kruskal-Wallis statistical inference test, 2) validation of the steps of the audio synthesis module, and 3) checking of the timbral diversity, both through the Fourier spectrum. This prototype could be used as an auxiliary tool in musical initiation and the development of musical perception.
Research Interests:
The rhythmic background of a musical piece is usually composed of featured elements that define the musical genre. For each song, such elements form rhythmic patterns, the most repetitive ones defines the rhythm of a specific musical... more
The rhythmic background of a musical piece is usually composed of featured elements that define the musical genre. For each song, such elements form rhythmic patterns, the most repetitive ones defines the rhythm of a specific musical genre and the less frequent ones correspond to fortuitous patterns that comply a transition, diversification, introduction or conclusion function. In this paper, we introduce a network-based method for automatic extraction of rhythmic pattern of a single song. We also propose a method for rhythmic summarization of a set of songs from the same genre, artist, and combinations of genres and artists. The method can be used to extract any type of rhythm pattern, both monophonic and polyphonic, represented by symbolic data. A musical piece is generally formed by one or more predefined rhythmic patterns and such patterns are composed of rhythmic cells (RCs), which are groups of rhythmic figures derived from nth division of a larger rhythmic figure. At the pre-processing and encoding phases of the proposed method, the RCs of drums percussion lines are represented in duration-weighted notation (DWN). Then, the vector of DWN is encoded to be free of the dimensional dependence on the number of figures in the RC. After that, a network is constructed from the encoded DWN using the method proposed in this paper. We find that the rhythmic patterns of the musical work are related to the formation of communities in the constructed music network. In order to confirm such a finding, three network community detection algorithms are applied: Modularity Optimization algorithm and Louvain algorithm for the disjoint community detection, and Bayesian Non-negative Matrix Factorization algorithm for detecting overlapped communities. Furthermore, a new measure for quantifying the relevance of communities to differentiate types of rhythmic patterns is introduced. The proposed technique has been applied to automatic extraction of rhythmic pattern and rhythmic summarization of the songs of The Beatles, Bob Marley, and other artists, respectively. The results show that the method of extraction and summarization has good performance.
Research Interests:
Um importante elemento em toda obra musical é a melodia, a qual contém características subjetivas intrínsecas que lhe permitem transmitir emotividade e sentimentos à peça. No entanto, compor uma melodia com um valor preestabelecido para... more
Um importante elemento em toda obra musical é a melodia, a qual contém características subjetivas intrínsecas que lhe permitem transmitir emotividade e sentimentos à peça. No entanto, compor uma melodia com um valor preestabelecido para alguma dessas características é um grande desafio composicional. Uma tentativa para abordar esse problema é o algoritmo de composição proposto por Coca et al. (2013), o qual compõe melodias com valores predefinidos na característica de melodiosidade melódica através de um controlador proporcional, uma rede Long-Short-Term Memory (LSTM) e um sistema caótico. Visando aprimorar a abrangência desse algoritmo, no presente artigo é apresentado o estudo e a seleção de outros sistemas caóticos discretos e com diferentes dimensões; bem como outra medida subjetiva, a originalidade melódica. Além disso, foram testados outros controladores digitais. Os resultados obtidos foram satisfatórios. Nesse meandro, espera-se proporcionar ideias e sementes musicais de cunho teórico fomentada pelo compositor artificial.
Research Interests:
1. Composição automática de linhas de percussão usando redes complexas e células rítmicas - Eduarda R. Dalazoana e Andrés E. C. Salazar 2. Composição automática de melodias com característica melódica subjetiva predefinida baseada em... more
1. Composição automática de linhas de percussão usando redes complexas e células rítmicas - Eduarda R. Dalazoana e Andrés E. C. Salazar
2. Composição automática de melodias com característica melódica subjetiva predefinida
baseada em sistemas caóticos, redes LSTM e estratégias de controle automático
Jordano V. Lahm e Andrés E. C. Salazar
3. Geração automáticas de melodias gospel através de regras
Thais M. S. Batista1 e Andrés E. C. Salazar
2. Composição automática de melodias com característica melódica subjetiva predefinida
baseada em sistemas caóticos, redes LSTM e estratégias de controle automático
Jordano V. Lahm e Andrés E. C. Salazar
3. Geração automáticas de melodias gospel através de regras
Thais M. S. Batista1 e Andrés E. C. Salazar
Para a construção de uma obra musical, regras devem ser seguidas de acordo com diferentes métodos composicionais, sendo o dodecafonismo um destes. No dodecafonismo, o compositor seleciona uma série de notas sem repetição, chamada série... more
Para a construção de uma obra musical, regras devem ser seguidas de acordo com diferentes métodos composicionais, sendo o dodecafonismo um destes. No dodecafonismo, o compositor seleciona uma série de notas sem repetição, chamada série original P0 e, a partir desta, elabora a chamada matriz serial, que serve de regra para a composição da obra. Entretanto, a escolha de uma série adequada mostrase por muitas vezes uma tarefa bastante complicada, já que as possibilidades de seleção se estendem por 12! (fatorial) opções diferentes, gerando a busca por um meio de seleção melhor, que disponha de boas qualidades. É fácil encontrar diversos meios disponíveis que geram a matriz serial, no entanto o desenvolvimento de ferramentas para este método composicional não vai além da singela construção da matriz. Para isso, fez-se preciso a implementação de algoritmos capazes da análise das séries P0 de compositores contemporâneos, buscando suas características e tendo por objetivo a concepção de novas séries com características similares às dos compositores, sendo estas apropriadas à dodecafonia. O desenvolvimento tem início com um algoritmo para gerar a matriz serial e, a partir dela, gerar melodias. Com um banco de dados de séries famosas, a análise se dá usando descritores estatísticos, como por exemplo: variedade tonal, dissonâncias, centro tonal, intensidade do clímax, perfis melódicos, etc., e a partir dos resultados, encontrar novas séries com valores similares aos obtidos e compor melodias com estas séries, avaliando posteriormente as melodias compostas. Desta maneira, foi possível obter boas melodias com resultados razoáveis, dentro das análises em questão, além de possibilitar o desenvolvimento da área composicional do dodecafonismo, permitindo maior compreensão para a escolha de séries melódicas através de um método quantitativo. Se baseando nestes resultados, se propõe o desenvolvimento, como trabalho futuro, de um método para encontrar novas séries com características adequadas de forma automática.
In the musical composition process, even subconsciously, it is common for composers to imprint their personal signature implicitly within the work. This characteristic allows the recognition and the individualization of its origin through... more
In the musical composition process, even subconsciously, it is common for composers to imprint their personal signature implicitly within the work. This characteristic allows the recognition and the individualization of its origin through the sound assembly. With this in mind, the composer identification through the signature in his works allow us to classify a musical genre into more specific subcategories. However, the characteristics of that signature are of such great variation that make identification task difficult. This paper proposes the use of data mining within complex networks and machine learning techniques to classify a dodecaphonic musical work according to its composer. Considering the dodecaphonic matrix, two types of networks were generated: 1) intervals and 2) series. The feature vector is composed of new melodic topological measures adapted to the calculation from the adjacency matrix and conventional topological measurements. The classifiers Random Forest, AdaBoost and Random Subspace returned high values of accuracy and AUC (> 90%) in the identification of composers Schoenberg, Stravinsky and Webern. Confirming the existence of a relation among the characteristics of the original series, the selection and application of derived series and the composer. The results obtained revealed a good performance and showed that the experiment is very promising.
Research Interests:
The individualism of each composer is shaped in an inherent way to his personality, aiming for recognition of particular form through the own songs. In this way, it is possible to categorize a musical subgenre at a deeper level by... more
The individualism of each composer is shaped in an inherent way to his personality, aiming for recognition of particular form through the own songs. In this way, it is possible to categorize a musical subgenre at a deeper level by identifying the composer from his works. However, the characteristics of each composer are so varied that they are difficult to identify. In this paper it is proposed to use machine learning to classify works of twelve-tone music according to the composer, under the hypothesis that in choosing the twelve-tone series a part of his signature was reflected. Experimental results showed promising performance and confirmed the existence of a relation between composer and series. Resumo. O individualismo de cada compositorécompositor´compositoré plasmado de forma inerente a sua personalidade, visando o seu reconhecimento particular através das suas próprias músicas. Desta forma, ´ e possível categorizar um subgênero musical em um nível mais profundo mediante a identificaçidentificaç˜identificação do compositor a partir das suas obras. No entanto, as características de cada compositor são tão variadas que dificultam sua identificaçidentificaç˜identificação. Neste artigó e proposto usar aprendizado de máquina para classificar obras de música dodecafônica segundo o compositor, sob a hipótese de que na escolha da série dodecafônica ficou refletida uma parte da sua assinatura. Resultados experimentais mostraram desempenho promissor e confirmaram a evidencia da existência de uma relaçrelaç˜relação entre compositor-série. 1. IntroduçIntroduç˜Introdução O crescimento constante dos bancos de dados musicais disponíveis digitalmente tem mo-tivado o desenvolvimento de diferentes métodos de classificaçclassificaç˜classificação automática de música. Tipicamente, tais métodos têm sido direcionados maioritariamente para a classificaçclassificaç˜classificação de gêneros musicais, a qual tem sido abordada desde diferentes perspectivas [1, 14, 17]. Contudo, outros níveis de classificaçclassificaç˜classificação são possíveis, como classificaçclassificaç˜classificação em subgêneros [15] e em estilos [16]. No entanto, após ter classificado determinado banco de dados em algum dos dois anteriores níveis, tambémtambém´tambémétambémé´tambéméútil discriminar cada categoria obtida em uma subcategoria mais profunda, o compositor, deixando-o assim mais organizado e preparado para ser utilizado em outros sistemas, como sistema de recomendaçrecomendaç˜recomendação [13] ou sistemas de análise e extraçextraç˜extração de dados [18], dentre outros. O fundamento principal por trás da tarefa de identificaçidentificaç˜identificação do compositorécompositor´compositoré que um alvo procurado por quase todos os compositores musicaisémusicais´musicaisé impregnar nas suas obras a sua assinatura musical para assim poderem ser reconhecidos através delas. Em muitos casos esse processó e inconsciente, e nasce da essência intrínseca do compositor na sua
Research Interests:
In this paper a new neural network system for composition of melodies is proposed. The Long Short-Term Memory (LSTM) neural network is adopted as the neural network model. We include an independent melody as an additional input in order... more
In this paper a new neural network system for composition of melodies is proposed. The Long Short-Term Memory (LSTM) neural network is adopted as the neural network model. We include an independent melody as an additional input in order to provide an inspiration source to the network. This melody is given by a chaotic composition algorithm and works as an inspiration to the network enhancing the subjective measure of the composed melodies. As the chaotic system we use the Hénon map with two variables, which are mapped to pitch and rhythm. We adopt a measure to conduct the degree of melodiousness (Euler's gradus suavitatis) of the output melody, which is compared with a reference value. Varying a specific parameter of the chaotic system, we can control the complexity of the chaotic melody. The system runs until the degree of melodiousness falls within a predetermined range.
Research Interests:
Musical scales play an important role in melodies, since its properties are reflected to the melodic essence. The extraction and understanding of scales are essential in both analysis and composition of music. However, the scale... more
Musical scales play an important role in melodies, since its properties are reflected to the melodic essence. The extraction and understanding of scales are essential in both analysis and composition of music. However, the scale identification is a nontrivial task. Consequently, classic algorithms for identifying scales have been developed based on the most popular scales, such as major and minor scales. In this paper, we propose a comprehensive method for identifying musical scales, which allows to detect a wide range of scales beyond the traditional ones. Our method uses a deterministic walk through the nodes of a graph, where each node represents a valid interval structure. The transition between nodes is performed following a validation rule that governs the fragmentation of intervals. Moreover, if the scale is incomplete, possible structures can be determined and the scale is estimated according to the harmonic similarity percentage measure. The proposed method has been tested using a database of Finnish folk melodies and a data set of random melodies composed using rarely used scales. Experimental results show good performance of the proposed technique.
Research Interests:
In this paper, we propose a new methodology for identification of musical genres in symbolic data.
Research Interests:
Palestra no INRIA. Université de Rennes 1, França. 2012
Research Interests:
A teoria das redes complexas tem se tornado cada vez mais em uma poderosa teoria computacional capaz de representar, caracterizar e examinar sistemas com estrutura não trivial, revelando características intrínsecas locais e globais que... more
A teoria das redes complexas tem se tornado cada vez mais em uma poderosa teoria computacional capaz de representar, caracterizar e examinar sistemas com estrutura não trivial, revelando características intrínsecas locais e globais que facilitam a compreensão do comportamento e da dinâmica de tais sistemas. Nesta tese são exploradas as vantagens das redes complexas na resolução de problemas relacionados com tarefas do âmbito musical, especificamente, são estudadas três abordagens: reconhecimento de padrões, mineração e síntese de músicas. A primeira abordagem é desempenhada através do desenvolvimento de um método para a extração do padrão rítmico de uma peça musical de caráter popular. Nesse tipo de peças coexistem diferentes espécies de padrões rítmicos, os quais configuram uma hierarquia que é determinada por aspectos funcionais dentro da base rítmica. Os padrões rítmicos principais são caracterizados por sua maior incidência dentro do discurso musical, propriedade que é refletida na formação de comunidades dentro da rede. Técnicas de detecção de comunidades são aplicadas na extração dos padrões rítmicos, e uma medida para diferenciar os padrões principais dos secundários é proposta. Os resultados mostram que a qualidade da extração é sensível ao algoritmo de detecção,
ao modo de representação do ritmo e ao tratamento dado às linhas de percussão na hora de gerar a rede. Uma fase de mineração foi desempenhada usando medidas topológicas sobre a rede obtida após a remoção dos padrões secundários. Técnicas de aprendizado supervisionado e não-supervisionado foram aplicadas para discriminar o gênero musical segundo os atributos calculados na fase de mineração. Os resultados revelam a eficiência da metodologia proposta, a qual foi constatada através de um teste de significância estatística. A última abordagem foi tratada mediante o desenvolvimento de modelos para a composição de melodias através de duas perspectivas, na primeira perspectiva é usada uma caminhada controlada por critérios sobre redes complexas predefinidas e na segunda redes neurais recorrentes e sistemas dinâmicos caóticos. Nesta última perspectiva, o modelo é treinado para compor uma melodia com um valor preestabelecido de alguma característica tonal subjetiva através de uma estratégia de controle proporcional que modifica a complexidade de uma melodia caótica, melodia que atua como entrada de inspiração da rede.
ao modo de representação do ritmo e ao tratamento dado às linhas de percussão na hora de gerar a rede. Uma fase de mineração foi desempenhada usando medidas topológicas sobre a rede obtida após a remoção dos padrões secundários. Técnicas de aprendizado supervisionado e não-supervisionado foram aplicadas para discriminar o gênero musical segundo os atributos calculados na fase de mineração. Os resultados revelam a eficiência da metodologia proposta, a qual foi constatada através de um teste de significância estatística. A última abordagem foi tratada mediante o desenvolvimento de modelos para a composição de melodias através de duas perspectivas, na primeira perspectiva é usada uma caminhada controlada por critérios sobre redes complexas predefinidas e na segunda redes neurais recorrentes e sistemas dinâmicos caóticos. Nesta última perspectiva, o modelo é treinado para compor uma melodia com um valor preestabelecido de alguma característica tonal subjetiva através de uma estratégia de controle proporcional que modifica a complexidade de uma melodia caótica, melodia que atua como entrada de inspiração da rede.
Research Interests: Music, Rhythm, Pattern Recognition, Clustering and Classification Methods, Music Information Retrieval, and 13 moreThe Beatles, Complex Networks, Folk Music, Dynamical systems and Chaos, Beatles, Recurrent Neural Network, Topological Measures, Musical Scales, Música Colombiana, The Influence of the Beatles, Automatic Music Composition, Musica Andina, and The Beatles Music
In this paper, we study musical knowledge extraction and discrimination. Specifically, we propose a method for automatic extraction of drums rhythmic patterns of music and the rhythmic summarization of a set of songs from the same artist.... more
In this paper, we study musical knowledge extraction and discrimination. Specifically, we propose a method for automatic extraction of drums rhythmic patterns of music and the rhythmic summarization of a set of songs from the same artist. A musical piece is generally formed of one or more predefined rhythmic patterns and such patterns are composed of Rhythmic Cells (RC), which are groups of rhythmic figures derived from n-th division of a larger rhythmic figure. At the pre-processing and encoding phase, the RCs of drums percussion lines are represented in Duration-Weighted Notation (DWN). Then, the vector of DWM is encoded to be free of the dimensional dependence on the number of figures in the RC. After that, a network is constructed from the encoded DWM using the method proposed in this paper. We find that the rhythmic patterns of the musical work are related to the formation of communities in the network. In this work, two community detection algorithms are used: Louvain algorithm for the disjoint community detection and Bayesian Nonnegative Matrix Factorization (BNMF) algorithm for detecting overlapping communities. Moreover, a new measure for quantifying the relevance of communities to differentiate types of rhythmic patterns is introduced. The proposed technique has been applied to automatic extraction of drums rhythmic pattern of the song "Drive my car'' by The Beatles. Experimental results show good performance of the proposed method.
Research Interests:
In this paper, we initially present an algorithm for automatic composition of melodies using chaotic dynamical systems. Afterward, we characterize chaotic music in a comprehensive way as comprising three perspectives: musical... more
In this paper, we initially present an algorithm for automatic composition of melodies using chaotic dynamical systems. Afterward, we characterize chaotic music in a comprehensive way as comprising three perspectives: musical discrimination, dynamical influence on musical features, and musical perception. With respect to the first perspective, the coherence between generated chaotic melodies (continuous as well as discrete chaotic melodies) and a set of classical reference melodies is characterized by statistical descriptors and melodic measures. The significant differences among the three types of melodies are determined by discriminant analysis. Regarding the second perspective, the influence of dynamical features of chaotic attractors, e.g., Lyapunov exponent, Hurst coefficient, and correlation dimension, on melodic features is determined by canonical correlation analysis. The last perspective is related to perception of originality, complexity, and degree of melodiousness (Euler’s gradus suavitatis) of chaotic and classical melodies by nonparametric statistical tests.
© 2010 American Institute of Physics
© 2010 American Institute of Physics
Research Interests:
In this work, an Elman recurrent neural network is used for automatic musical structure composition based on the style of a music previously learned during the training phase. Furthermore, a small fragment of a chaotic melody is added to... more
In this work, an Elman recurrent neural network
is used for automatic musical structure composition based on
the style of a music previously learned during the training
phase. Furthermore, a small fragment of a chaotic melody is
added to the input layer of the neural network as an inspiration
source to attain a greater variability of melodies. The neural
network is trained by using the BPTT (back propagation through
time) algorithm. Some melody measures are also presented for
characterizing the melodies provided by the neural network and
for analyzing the effect obtained by the insertion of chaotic
inspiration in relation to the original melody characteristics.
Specifically, a similarity melodic measure is considered for
contrasting the variability obtained between the learned melody
and each one of the composite melodies by using different
quantities of inspiration musical notes.
is used for automatic musical structure composition based on
the style of a music previously learned during the training
phase. Furthermore, a small fragment of a chaotic melody is
added to the input layer of the neural network as an inspiration
source to attain a greater variability of melodies. The neural
network is trained by using the BPTT (back propagation through
time) algorithm. Some melody measures are also presented for
characterizing the melodies provided by the neural network and
for analyzing the effect obtained by the insertion of chaotic
inspiration in relation to the original melody characteristics.
Specifically, a similarity melodic measure is considered for
contrasting the variability obtained between the learned melody
and each one of the composite melodies by using different
quantities of inspiration musical notes.
Research Interests:
Research Interests:
Research Interests: Singing, Estimation, Signal, Pitch, Melody, and 9 moreVoix, Sica Estocástica, Composição Algoritmica, Melodies, Melodías, Voz Cantada, Sung, Signaux, and Sinais
This paper presents an algorithm for automatic composition of melodies by using nonlinear dynamical systems. The variables of the systems are used for extraction of components that constitute the musical melody (pitch, rhythm and... more
This paper presents an algorithm for automatic composition of
melodies by using nonlinear dynamical systems. The variables
of the systems are used for extraction of components that
constitute the musical melody (pitch, rhythm and dynamics)
which can be adjusted according to specific musical input. It
should be highlighted that the proposed algorithm not only can
generate melodies with microtonal scales, but also is capable
of having the whole set of possible scales and modes in the
temperated system. Techniques for control of chaos are used to
transform the chaotic attractor to a periodic or a fixed point
attractor, generating melody of a repeated musical phrase, a
series of consecutive notes (arpeggio) or a sustained musical
note.
melodies by using nonlinear dynamical systems. The variables
of the systems are used for extraction of components that
constitute the musical melody (pitch, rhythm and dynamics)
which can be adjusted according to specific musical input. It
should be highlighted that the proposed algorithm not only can
generate melodies with microtonal scales, but also is capable
of having the whole set of possible scales and modes in the
temperated system. Techniques for control of chaos are used to
transform the chaotic attractor to a periodic or a fixed point
attractor, generating melody of a repeated musical phrase, a
series of consecutive notes (arpeggio) or a sustained musical
note.
Research Interests:
Symphonic work inspired by Israeli–Palestinian conflict
Research Interests: War Studies, History of Violence, Instrumentation, Orchestration and Arranging, Arab-Israeli conflict, and 8 morePalestinian-Israeli conflict, Orchestration, Gaza Strip, Symphonic Music, Land In the Middle East and the Arab-Israeli-Palestinian Conflict, Conflicto árabe Israelí, Symphonic Orchestra, and traditional music instruments Arab World
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
Research Interests:
In the musical composition process, even subconsciously, it is common for composers to imprint their personal signature implicitly within the work. This characteristic allows the recognition and the individualization of its origin through... more
In the musical composition process, even subconsciously, it is common for composers to imprint their personal signature implicitly within the work. This characteristic allows the recognition and the individualization of its origin through the sound assembly. With this in mind, the composer identification through the signature in his works allow us to classify a musical genre into more specific subcategories. However, the characteristics of that signature are of such great variation that make identification task difficult. This paper proposes the use of data mining within complex networks and machine learning techniques to classify a dodecaphonic musical work according to its composer. Considering the dodecaphonic matrix, two types of networks were generated: 1) intervals and 2) series. The feature vector is composed of new melodic topological measures adapted to the calculation from the adjacency matrix and conventional topological measurements. The classifiers Random Forest, AdaBoost and Random Subspace returned high values of accuracy and AUC (> 90%) in the identification of composers Schoenberg, Stravinsky and Webern. Confirming the existence of a relation among the characteristics of the original series, the selection and application of derived series and the composer. The results obtained revealed a good performance and showed that the experiment is very promising.