Possui graduação em Engenharia de Computação pela Faculdade Integrada Metropolitana de Campinas (2012) e graduação em Música (Composição Erudita) pela Universidade Estadual de Campinas (2015). Atualmente está cursando o mestrado em Música na Universidade Estadual de Campinas. Premiado pelo CNPq com o trabalho na área de música e tecnologia denominado "Interface Gestual de Percussão". Atualmente, dedica-se ao estudo de filtros digitais, interfaces homem-máquina, conversão de sinais AD/DA e circuitos integrados. Na área de Artes, é Compositor Residente da Orquestra Filarmônica de Valinhos - Soft a qual é dirigida pelo maestro Isaac Kerr. Também é participante como cantor da camerata de música renascentista Anima Antiqua e do Coro Popular da Unicamp.
Revista Brasileira de Iniciação Científica, Feb 5, 2015
Enquanto instrumentos reais de percussao sao grandes, caros e pouco flexiveis a exploracao de nov... more Enquanto instrumentos reais de percussao sao grandes, caros e pouco flexiveis a exploracao de novas sonoridades, como aquelas proporcionadas por tecnicas estendidas, instrumentos virtuais de percussao sao portaveis, baratos e totalmente flexiveis a exploracao de novas sonoridades. O objetivo desse projeto foi criar uma interface de baixo custo financeiro, para a criacao de um instrumento virtual de percussao que seja acessivel a todos os estudantes e profissionais de musica. Para tanto, este projeto tambem criou novos modelos computacionais de interpretacao de gestos musical, a fim de que o musico usuario possa utilizar esta interface gestual como um instrumento virtual de percussao, da mesma forma que utiliza um instrumento de percussao real, sem grande necessidade de adaptacao de sua tecnica ou de seu gesto musical.
Orientador: José Eduardo Fornari Novo JuniorDissertação (mestrado) - Universidade Estadual de Cam... more Orientador: José Eduardo Fornari Novo JuniorDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ArtesResumo: Este trabalho propõe o desenvolvimento de um novo método de mixagem de áudio digital que visa automatizar dois principais processos comuns à tarefa de mistura de sons de instrumentos musicais. O propósito prático desta automatização computacional é facilitar o trabalho do engenheiro de som no equilíbrio dos instrumentos musicais individuais, melhorando a sonoridade da música gravada e o equilíbrio geral da gravação. Primeiramente, discutimos os aspectos perceptuais do áudio, os equipamentos de manipulação sonora usualmente encontrados em estúdios de gravação, e também alguns aspectos estético-musicais. Como uma contribuição original á área, descrevemos este novo método de mixagem automática que visa à otimização da dinâmica musical e distribuição espectral do áudio digital. Nosso modelo é baseado na aproximação do espectro da mixagem a um espectro de refe...
Atualmente, ao que sabemos, não existem muitas ferramentas musicais que possam
ajudar estudantes... more Atualmente, ao que sabemos, não existem muitas ferramentas musicais que possam
ajudar estudantes de música, principalmente da área de regência, a transmitir a sua visão artística e técnica da obra à execução computadorizada. Por isso, há a necessidade de criar ferramentas computacionais onde a sensibilidade e conhecimentos do usuário sobre a obra possam ser implementados, simultaneamente, à execução da música, gerando um resultado
sonoro desejado em tempo real.
BALDÉ (2008) desenvolveu um software utilizando tecnologia Bluetooth para a
manipulação de informações e valores de diversos sensores com a finalidade de exploração de novos sons e música experimental. No entanto, este software não é específico para promover a interpretação musical e sua aquisição não é acessível à grande maioria dos estudantes que buscam o aperfeiçoamento da técnica de instrumentos de percussão.
Recentemente surgiram algumas interfaces gestuais comerciais tais como o controle remoto do videogame Wii (o Wiimote), lançado em 2006, o qual barateou o custo e o acesso para a utilização artística de tais sensores. Com o uso de tais sensores, é possível capturar os gestos de interpretes; não apenas músicos, mas também de outras áreas artísticas, como: dança, teatro, artes plásticas, e utilizá-los afim de proporcionar a interatividade de discursos artísticos multimodais.
MALLOCH, J. e WANDERLEY M. M. desenvolveram recentemente uma família de
instrumentos virtuais chamados “T-Stick”, os quais são compostos por um hardware dedicado o qual envia sinais para um computador, que por sua vez possui um software (Max/MSP) para gerar múltiplos timbres.
Paralelamente, XENIA, P., ERIKA, D. e STEWART, A., criaram um projeto de
“orquestra digital”, a qual integra diversos instrumentos virtuais e executa um repertório próprio, encomendando suas obras a compositors contemporâneos.
KIEFER, C., COLLINS, N. e FITZPATRICK, G. publicaram um trabalho chamado
“HCI Methodology For Evaluating Musical Controllers”, no qual é discutido alguns exemplos de “interfaces homem-máquina” no âmbito da música, visando controlar e modificar sons computadorizados através de gestos do usuário.
No projeto encaminhado inicialmente, foi proposto criar uma interface computadorizada que pudesse coletar os gestos do usuário e que, a partir deles, controlasse a geração do som de um instrumento musical de percussão escolhido previamente pelo usuário.
Para isso, foi pensando inicialmente em usar um conjunto de ferramentas
computacionais como protocolo MIDI, protocolo Bluetooth, controle Wiimote e um campo de infravermelho ao redor do usuário.
Esse trabalho tem como diferencial criar uma interface de baixo custo para que seja
acessível a todos os estudantes e profissionais de música. Além disso, essa nova interface se propõe a criar novos algoritmos de interpretação de gestos, a fim de que o usuário possa utilizá-la da mesma forma que utiliza um instrumento de percussão real, sem grande necessidade de adaptação de técnica ou de gesto. O funcionamento da interface é detalhado nas seções que se seguem.
Motion capture, or mocap, is a term used to describe the motion recording process and movement of... more Motion capture, or mocap, is a term used to describe the motion recording process and movement of transposition into a digital model. This type of system have been increasingly used in several areas including: sports medicine, physical therapy and entertainment industry (video games, movies and animation). The main objective of this work is to create a computer interface that can capture the movement of the user's arms in real time and store them in a database using inertial sensors (IMU's). Using this interface, it will be possible, make several studies of movement, effort and gesture of the arms from the data recorded. The sensors to be used are: accelerometers, gyroscopes and magnetometers. In this paper we will use inertial sensors to capture the movement of the hand, arm and forearm user.
Um modelo computacional de mixagem automática para música comercial : A computational model for automatic mixing for pop music, 2018
In this work we propose the development of a new method of digital audio mixing that
aims to auto... more In this work we propose the development of a new method of digital audio mixing that aims to automate two main usual processes for the task of mixing musical instrument sounds. The practical purpose of this computational automation is to facilitate the sound engineer's work for the balance of individual musical instruments, improving the sound of the recorded music approaching the phonographic industry standards. Firstly, we discuss the perceptual aspects of audio, the sound manipulation equipment usually found in recording studios, as well as some aesthetic-musical aspects. As an original contribution to the field, we describe a new method of automatic mixing that aims the optimization of the musical dynamics and spectral distribution of digital audio. Our model is based on the approximation of the mixing spectrum to a reference spectrum via sound volume matrices and individual equalization for each instrument. Some proposed types of reference spectra are based on Fletcher & Munson's equal-loudness contours. The model, with all its modules was computationally implemented in MATLAB and eventually can be exported as a stand-alone program for use by musicians, technicians and sound engineers. This software achieves our propose of sound balance through the automation of three processes: a) optimization of the instrumental dynamics in the time domain, b) tonal / spectral correction of each recorded instrument, c) improvement of tonal / spectral balance of the final sum resulting from the mixing.
Revista Brasileira de Iniciação Científica, Feb 5, 2015
Enquanto instrumentos reais de percussao sao grandes, caros e pouco flexiveis a exploracao de nov... more Enquanto instrumentos reais de percussao sao grandes, caros e pouco flexiveis a exploracao de novas sonoridades, como aquelas proporcionadas por tecnicas estendidas, instrumentos virtuais de percussao sao portaveis, baratos e totalmente flexiveis a exploracao de novas sonoridades. O objetivo desse projeto foi criar uma interface de baixo custo financeiro, para a criacao de um instrumento virtual de percussao que seja acessivel a todos os estudantes e profissionais de musica. Para tanto, este projeto tambem criou novos modelos computacionais de interpretacao de gestos musical, a fim de que o musico usuario possa utilizar esta interface gestual como um instrumento virtual de percussao, da mesma forma que utiliza um instrumento de percussao real, sem grande necessidade de adaptacao de sua tecnica ou de seu gesto musical.
Orientador: José Eduardo Fornari Novo JuniorDissertação (mestrado) - Universidade Estadual de Cam... more Orientador: José Eduardo Fornari Novo JuniorDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ArtesResumo: Este trabalho propõe o desenvolvimento de um novo método de mixagem de áudio digital que visa automatizar dois principais processos comuns à tarefa de mistura de sons de instrumentos musicais. O propósito prático desta automatização computacional é facilitar o trabalho do engenheiro de som no equilíbrio dos instrumentos musicais individuais, melhorando a sonoridade da música gravada e o equilíbrio geral da gravação. Primeiramente, discutimos os aspectos perceptuais do áudio, os equipamentos de manipulação sonora usualmente encontrados em estúdios de gravação, e também alguns aspectos estético-musicais. Como uma contribuição original á área, descrevemos este novo método de mixagem automática que visa à otimização da dinâmica musical e distribuição espectral do áudio digital. Nosso modelo é baseado na aproximação do espectro da mixagem a um espectro de refe...
Atualmente, ao que sabemos, não existem muitas ferramentas musicais que possam
ajudar estudantes... more Atualmente, ao que sabemos, não existem muitas ferramentas musicais que possam
ajudar estudantes de música, principalmente da área de regência, a transmitir a sua visão artística e técnica da obra à execução computadorizada. Por isso, há a necessidade de criar ferramentas computacionais onde a sensibilidade e conhecimentos do usuário sobre a obra possam ser implementados, simultaneamente, à execução da música, gerando um resultado
sonoro desejado em tempo real.
BALDÉ (2008) desenvolveu um software utilizando tecnologia Bluetooth para a
manipulação de informações e valores de diversos sensores com a finalidade de exploração de novos sons e música experimental. No entanto, este software não é específico para promover a interpretação musical e sua aquisição não é acessível à grande maioria dos estudantes que buscam o aperfeiçoamento da técnica de instrumentos de percussão.
Recentemente surgiram algumas interfaces gestuais comerciais tais como o controle remoto do videogame Wii (o Wiimote), lançado em 2006, o qual barateou o custo e o acesso para a utilização artística de tais sensores. Com o uso de tais sensores, é possível capturar os gestos de interpretes; não apenas músicos, mas também de outras áreas artísticas, como: dança, teatro, artes plásticas, e utilizá-los afim de proporcionar a interatividade de discursos artísticos multimodais.
MALLOCH, J. e WANDERLEY M. M. desenvolveram recentemente uma família de
instrumentos virtuais chamados “T-Stick”, os quais são compostos por um hardware dedicado o qual envia sinais para um computador, que por sua vez possui um software (Max/MSP) para gerar múltiplos timbres.
Paralelamente, XENIA, P., ERIKA, D. e STEWART, A., criaram um projeto de
“orquestra digital”, a qual integra diversos instrumentos virtuais e executa um repertório próprio, encomendando suas obras a compositors contemporâneos.
KIEFER, C., COLLINS, N. e FITZPATRICK, G. publicaram um trabalho chamado
“HCI Methodology For Evaluating Musical Controllers”, no qual é discutido alguns exemplos de “interfaces homem-máquina” no âmbito da música, visando controlar e modificar sons computadorizados através de gestos do usuário.
No projeto encaminhado inicialmente, foi proposto criar uma interface computadorizada que pudesse coletar os gestos do usuário e que, a partir deles, controlasse a geração do som de um instrumento musical de percussão escolhido previamente pelo usuário.
Para isso, foi pensando inicialmente em usar um conjunto de ferramentas
computacionais como protocolo MIDI, protocolo Bluetooth, controle Wiimote e um campo de infravermelho ao redor do usuário.
Esse trabalho tem como diferencial criar uma interface de baixo custo para que seja
acessível a todos os estudantes e profissionais de música. Além disso, essa nova interface se propõe a criar novos algoritmos de interpretação de gestos, a fim de que o usuário possa utilizá-la da mesma forma que utiliza um instrumento de percussão real, sem grande necessidade de adaptação de técnica ou de gesto. O funcionamento da interface é detalhado nas seções que se seguem.
Motion capture, or mocap, is a term used to describe the motion recording process and movement of... more Motion capture, or mocap, is a term used to describe the motion recording process and movement of transposition into a digital model. This type of system have been increasingly used in several areas including: sports medicine, physical therapy and entertainment industry (video games, movies and animation). The main objective of this work is to create a computer interface that can capture the movement of the user's arms in real time and store them in a database using inertial sensors (IMU's). Using this interface, it will be possible, make several studies of movement, effort and gesture of the arms from the data recorded. The sensors to be used are: accelerometers, gyroscopes and magnetometers. In this paper we will use inertial sensors to capture the movement of the hand, arm and forearm user.
Um modelo computacional de mixagem automática para música comercial : A computational model for automatic mixing for pop music, 2018
In this work we propose the development of a new method of digital audio mixing that
aims to auto... more In this work we propose the development of a new method of digital audio mixing that aims to automate two main usual processes for the task of mixing musical instrument sounds. The practical purpose of this computational automation is to facilitate the sound engineer's work for the balance of individual musical instruments, improving the sound of the recorded music approaching the phonographic industry standards. Firstly, we discuss the perceptual aspects of audio, the sound manipulation equipment usually found in recording studios, as well as some aesthetic-musical aspects. As an original contribution to the field, we describe a new method of automatic mixing that aims the optimization of the musical dynamics and spectral distribution of digital audio. Our model is based on the approximation of the mixing spectrum to a reference spectrum via sound volume matrices and individual equalization for each instrument. Some proposed types of reference spectra are based on Fletcher & Munson's equal-loudness contours. The model, with all its modules was computationally implemented in MATLAB and eventually can be exported as a stand-alone program for use by musicians, technicians and sound engineers. This software achieves our propose of sound balance through the automation of three processes: a) optimization of the instrumental dynamics in the time domain, b) tonal / spectral correction of each recorded instrument, c) improvement of tonal / spectral balance of the final sum resulting from the mixing.
Uploads
Papers by Nycholas Maia
ajudar estudantes de música, principalmente da área de regência, a transmitir a sua visão artística e técnica da obra à execução computadorizada. Por isso, há a necessidade de criar ferramentas computacionais onde a sensibilidade e conhecimentos do usuário sobre a obra possam ser implementados, simultaneamente, à execução da música, gerando um resultado
sonoro desejado em tempo real.
BALDÉ (2008) desenvolveu um software utilizando tecnologia Bluetooth para a
manipulação de informações e valores de diversos sensores com a finalidade de exploração de novos sons e música experimental. No entanto, este software não é específico para promover a interpretação musical e sua aquisição não é acessível à grande maioria dos estudantes que buscam o aperfeiçoamento da técnica de instrumentos de percussão.
Recentemente surgiram algumas interfaces gestuais comerciais tais como o controle remoto do videogame Wii (o Wiimote), lançado em 2006, o qual barateou o custo e o acesso para a utilização artística de tais sensores. Com o uso de tais sensores, é possível capturar os gestos de interpretes; não apenas músicos, mas também de outras áreas artísticas, como: dança, teatro, artes plásticas, e utilizá-los afim de proporcionar a interatividade de discursos artísticos multimodais.
MALLOCH, J. e WANDERLEY M. M. desenvolveram recentemente uma família de
instrumentos virtuais chamados “T-Stick”, os quais são compostos por um hardware dedicado o qual envia sinais para um computador, que por sua vez possui um software (Max/MSP) para gerar múltiplos timbres.
Paralelamente, XENIA, P., ERIKA, D. e STEWART, A., criaram um projeto de
“orquestra digital”, a qual integra diversos instrumentos virtuais e executa um repertório próprio, encomendando suas obras a compositors contemporâneos.
KIEFER, C., COLLINS, N. e FITZPATRICK, G. publicaram um trabalho chamado
“HCI Methodology For Evaluating Musical Controllers”, no qual é discutido alguns exemplos de “interfaces homem-máquina” no âmbito da música, visando controlar e modificar sons computadorizados através de gestos do usuário.
No projeto encaminhado inicialmente, foi proposto criar uma interface computadorizada que pudesse coletar os gestos do usuário e que, a partir deles, controlasse a geração do som de um instrumento musical de percussão escolhido previamente pelo usuário.
Para isso, foi pensando inicialmente em usar um conjunto de ferramentas
computacionais como protocolo MIDI, protocolo Bluetooth, controle Wiimote e um campo de infravermelho ao redor do usuário.
Esse trabalho tem como diferencial criar uma interface de baixo custo para que seja
acessível a todos os estudantes e profissionais de música. Além disso, essa nova interface se propõe a criar novos algoritmos de interpretação de gestos, a fim de que o usuário possa utilizá-la da mesma forma que utiliza um instrumento de percussão real, sem grande necessidade de adaptação de técnica ou de gesto. O funcionamento da interface é detalhado nas seções que se seguem.
aims to automate two main usual processes for the task of mixing musical instrument sounds.
The practical purpose of this computational automation is to facilitate the sound engineer's work for the balance of individual musical instruments, improving the sound of the recorded music approaching the phonographic industry standards.
Firstly, we discuss the perceptual aspects of audio, the sound manipulation equipment
usually found in recording studios, as well as some aesthetic-musical aspects. As an original contribution to the field, we describe a new method of automatic mixing that aims the optimization of the musical dynamics and spectral distribution of digital audio.
Our model is based on the approximation of the mixing spectrum to a reference
spectrum via sound volume matrices and individual equalization for each instrument. Some proposed types of reference spectra are based on Fletcher & Munson's equal-loudness contours.
The model, with all its modules was computationally implemented in MATLAB and
eventually can be exported as a stand-alone program for use by musicians, technicians and sound engineers. This software achieves our propose of sound balance through the automation of three processes: a) optimization of the instrumental dynamics in the time domain, b) tonal / spectral correction of each recorded instrument, c) improvement of tonal / spectral balance of
the final sum resulting from the mixing.
ajudar estudantes de música, principalmente da área de regência, a transmitir a sua visão artística e técnica da obra à execução computadorizada. Por isso, há a necessidade de criar ferramentas computacionais onde a sensibilidade e conhecimentos do usuário sobre a obra possam ser implementados, simultaneamente, à execução da música, gerando um resultado
sonoro desejado em tempo real.
BALDÉ (2008) desenvolveu um software utilizando tecnologia Bluetooth para a
manipulação de informações e valores de diversos sensores com a finalidade de exploração de novos sons e música experimental. No entanto, este software não é específico para promover a interpretação musical e sua aquisição não é acessível à grande maioria dos estudantes que buscam o aperfeiçoamento da técnica de instrumentos de percussão.
Recentemente surgiram algumas interfaces gestuais comerciais tais como o controle remoto do videogame Wii (o Wiimote), lançado em 2006, o qual barateou o custo e o acesso para a utilização artística de tais sensores. Com o uso de tais sensores, é possível capturar os gestos de interpretes; não apenas músicos, mas também de outras áreas artísticas, como: dança, teatro, artes plásticas, e utilizá-los afim de proporcionar a interatividade de discursos artísticos multimodais.
MALLOCH, J. e WANDERLEY M. M. desenvolveram recentemente uma família de
instrumentos virtuais chamados “T-Stick”, os quais são compostos por um hardware dedicado o qual envia sinais para um computador, que por sua vez possui um software (Max/MSP) para gerar múltiplos timbres.
Paralelamente, XENIA, P., ERIKA, D. e STEWART, A., criaram um projeto de
“orquestra digital”, a qual integra diversos instrumentos virtuais e executa um repertório próprio, encomendando suas obras a compositors contemporâneos.
KIEFER, C., COLLINS, N. e FITZPATRICK, G. publicaram um trabalho chamado
“HCI Methodology For Evaluating Musical Controllers”, no qual é discutido alguns exemplos de “interfaces homem-máquina” no âmbito da música, visando controlar e modificar sons computadorizados através de gestos do usuário.
No projeto encaminhado inicialmente, foi proposto criar uma interface computadorizada que pudesse coletar os gestos do usuário e que, a partir deles, controlasse a geração do som de um instrumento musical de percussão escolhido previamente pelo usuário.
Para isso, foi pensando inicialmente em usar um conjunto de ferramentas
computacionais como protocolo MIDI, protocolo Bluetooth, controle Wiimote e um campo de infravermelho ao redor do usuário.
Esse trabalho tem como diferencial criar uma interface de baixo custo para que seja
acessível a todos os estudantes e profissionais de música. Além disso, essa nova interface se propõe a criar novos algoritmos de interpretação de gestos, a fim de que o usuário possa utilizá-la da mesma forma que utiliza um instrumento de percussão real, sem grande necessidade de adaptação de técnica ou de gesto. O funcionamento da interface é detalhado nas seções que se seguem.
aims to automate two main usual processes for the task of mixing musical instrument sounds.
The practical purpose of this computational automation is to facilitate the sound engineer's work for the balance of individual musical instruments, improving the sound of the recorded music approaching the phonographic industry standards.
Firstly, we discuss the perceptual aspects of audio, the sound manipulation equipment
usually found in recording studios, as well as some aesthetic-musical aspects. As an original contribution to the field, we describe a new method of automatic mixing that aims the optimization of the musical dynamics and spectral distribution of digital audio.
Our model is based on the approximation of the mixing spectrum to a reference
spectrum via sound volume matrices and individual equalization for each instrument. Some proposed types of reference spectra are based on Fletcher & Munson's equal-loudness contours.
The model, with all its modules was computationally implemented in MATLAB and
eventually can be exported as a stand-alone program for use by musicians, technicians and sound engineers. This software achieves our propose of sound balance through the automation of three processes: a) optimization of the instrumental dynamics in the time domain, b) tonal / spectral correction of each recorded instrument, c) improvement of tonal / spectral balance of
the final sum resulting from the mixing.