Timbre Saliency, the attention-capturing quality of timbre

• Main Author: Chon, Song Hui
• Other Authors: Stephen McAdams (Supervisor)
• Format: Others
• Language: en
• Published: McGill University 2013
• Subjects: Communications And The Arts - Music
• Online Access: http://digitool.Library.McGill.CA:80/R/?func=dbin-jump-full&object_id=119572

This dissertation proposes a new concept of timbre saliency as the attention-capturing quality of timbre and investigates its effects on the blending of concurrent notes and on the perceptual segregation of voices in counterpoint music. As this is the first effort to consider attentional factors in timbre perception research, a number of listening experiments were needed to define the concept and to establish the field. The first chapter introduces timbre saliency and connects it to other related research fields. A survey of visual saliency research was particularly helpful in developing experi- mental methodologies, because research in auditory saliency is still in its infancy.The second chapter describes two experiments to measure timbre saliency among the set of chosen timbres and discusses the importance of choosing the right experimental paradigm and how it can affect the outcome. This is especially relevant because saliency is a function of context, which is determined by the experimental setup. The measured saliency seems to be related to the fine structure in harmonic spectrum. These saliency relations became the basis for the following experiments. The next two chapters examine the effect of timbre saliency in a more realistic set- ting. First, the perception of blending is analyzed in concurrent unison dyads in terms of timbre saliency. The average blend ratings showed a negative correlation with timbre saliency, confirming the hypothesis that a highly salient timbre would not blend well with others, although the effect was not as strong as some other factors. Then the scope ex- pands to non-unison intervals in multiple voices in the fourth chapter, where the effect of timbre saliency on the voice recognition in short counterpoint excerpts is studied. The hypothesized systematic effect of timbre saliency was found in neither two- nor three-voice excerpts, although having a distinctive timbre on each voice helped the recognition of the middle voice in three-voice excerpts, which is the most difficult to listen to. The findings from the experiments, as well as a discussion on the general context effects, are summarized in the last chapter. This research extends traditional timbre research by considering the role of attention in sound and music perception. It provides a bridge between the perception of multi-voice music and auditory scene analysis, and hence has the potential to contribute to research in auditory perception as well as in music perception and cognition. === Cette thèse propose un nouveau concept de saillance de timbre, conçu comme la qualité du timbre qui attire l'attention. Elle étudie les effets de saillance sur le mélange de notes simultanées et sur la séparation perceptive des voix dans la musique contrapuntique. Puisque c'est la première fois que les facteurs attentionnels sont pris en considération dans la recherche sur la perception du timbre, des expériences d'écoute ont été nécessaires pour définir le concept et établir le domaine de recherche autour de lui. Le premier chapitre introduit la saillance du timbre et la lie à d'autres domaines de recherche connexes. Une revue de la recherche sur la saillance visuelle aide particulièrement à développer les méthodes expérimentales car la recherche sur la saillance auditive est toujours dans son enfance. Le deuxième chapitre décrit deux expériences qui mesurent la saillance du timbre sur un ensemble de timbres sélectionnés et discute de l'importance de choisir le bon paradigme expérimental et de comment celui-ci pourra affecter le résultat. Cette approche est particulièrement pertinente puisque la saillance est fonction du contexte, qui est déterminé à son tour par la manipulation expérimentale. La saillance mesurée semble liée à la structure fine du spectre harmonique. Les relations de saillance établies deviennent la base pour les expériences ultérieures. Le deux chapitres suivants examinent l'effet de la saillance du timbre dans un contexte plus naturel. D'abord, la perception du mélange est analysée sur des dyades jouées à l'unisson en termes de la saillance des timbres. Les évaluations de mélange montrent une corrélation négative avec la saillance, confirmant l'hypothèse selon laquelle un timbre hautement saillant ne se mélangerait pas bien avec d'autres timbres, bien que cet effet n'était pas si important que d'autres facteurs. Ensuite, dans le quatrième chapitre les intervalles non unisson dans des voix multiples sont étudiés pour évaluer l'effet de la saillance du timbre sur la reconnaissance de voix dans de courts extraits de contrepoint. L'effet hypothétique de la saillance n'est retrouvé ni dans les extraits à deux voix ni dans ceux à trois voix. Ceci étant dit, la présence d'un timbre distinctif sur chaque voix aide la reconnaissance de la voix du milieu dans des extraits à trois voix, cette voix étant la plus difficile à entendre. Le dernier chapitre résume les résultats des expériences et présente une discussion des effets généraux de contexte. Cette recherche étend la recherche traditionnelle sur le timbre en prenant en considération le rôle de l'attention dans la perception du son et de la musique. Elle fournit un pont entre la perception de la musique à plusieurs voix et l'analyse de scènes auditives et contribuera potentiellement à la recherche sur la perception auditive, ainsi que sur la perception et la cognition musicales.