双耳效应是人们依靠双耳间的音量差、时间差和音色差判别声音方位的效应。
双耳效应的基本原理是：如果声音来自听音者的正前方，此时由于声源到左、右耳的距离相等，从而声波到达左、右耳的时间差（相位差）、音色差为零，此时感受出声音来自听音者的正前方，而不是偏向某 一侧。声音强弱不同时，可感受出声源与听音者之间的距离。
“双耳效应” 的原理十分复杂，但简单的说，就是人的双耳的位置在头部的两侧，如果声源不在听音人的正前方，而是偏向一边，那么声源到达两耳的距离就不相等，声音到达两耳的时间与相位就有差异，人头如果侧向声源，对其中的一只耳朵还有遮蔽作用，因而到达两耳的声压级也有不同。人们把这种细微的差异与原来存储于大脑的听觉经验进行比较，并迅速作出反应从而辨别出声音的方位。
1、声音到达两耳的时间差
由于左右两耳之间有一定的距离，因此，除了来自前方和正后方的声音之外，由其他方向传来的声音到达两耳的时间就有先后，从而造成时间差。如果声源偏右，则声音必先到右耳后到达左耳。声源越是偏向一侧，则时间差也越大。实验证明，当声源在两耳连线上时，时间差约为0.62ms。
2、声音到达两耳的声级差
两耳之间的距离虽然很近，但由于头颅对声音的阻隔作用，声音到达两耳的声级就可能不同。如果声源偏左，则左耳感觉声级大一些，而右耳声级小一些。当声源在两耳连线上时，声级差可达到25db左右。
3、声音到达两耳相位差
声音是以波的形式传播，而声波在空间不同位置上的相位是不同的（除非刚好相距一个波长）。由于两耳在空间上的距离，所以声波到达两耳的相位就可能有差别。耳朵内的鼓膜是随声波而振动的，这个振动的相位差也就成为我们判别声源方位的一个因素。当然频率越低，相位差定位感觉越明显。
4、声音到达两耳的音色差
声波如果从右侧的某个方向上传来，则要绕过头部的某些部分才能到达左耳。已知波的绕射能力同波长与障碍物尺度之间的比例有关。人头的直径约为20cm，相当与1700Hz声波的波长，所以频率为1000Hz以上的声波绕过头颅的能力较差，衰减越大。也就是说，同一个声音中的各个力量绕过头部的能力各不相同，频率越高的分量衰减越大。于是左耳听到的音色同右耳听到音色就有差异。只要声音不是从正前方（或正后方）来，两耳听到音色就会不同，这也是人们判别声源方位的一种依据。
目前，剧场观众厅扩声系统中的场声器倾向于配置在台口上方，也是考虑到人耳左右水平方向的分辨能力远大于上下垂直方向而确定的，从而克服了过去把扬声器组配置在台口两侧所造成部分听众感到声音来自侧向的缺陷，避免使听众明显地感到场声器发出的声音与讲演者的直达声来自不同的方向。
自然界发出的声音是立体声，但我们如果把这些立体声经记录、放大等处理后而重放时，所有的声音都从一个扬声器放出来，这种重放声（与原声源相比）就不是立体的了。这时由于各种声音都从同一个扬声器发出，原来的空间感（特别是声群的空间分布感）也消失了。这种重放声称为单声。
如果从记录到重放整个系统能够在一定程度上恢复原发生的空间感（不可能完全恢复），那么，这种具有一定程度的方位层次等空间分布特性的重放声，称为音响技术中的立体声。
