一般に光源からの光はいろいろな波長の光が混ざっています。それを客観的に(=感覚器の事情から離れて)表現するには、各波長と強度のグラフ(すなわちスペクトル)を示すしかありません。
一方、「色」と呼ばれているものが3原色の混合で作ることができるのは、物理学上の問題ではなく、感覚器(眼)の構造上の問題です。すなわち、網膜の色を感じる細胞には3種類あって、それぞれ400~500nm辺り(赤)、500~600nm辺り(緑)、600~700nm辺り(青)の波長に最も高い感度を持っています。この3種類の刺激の割合が「色」というものを作り出しているのです。
ここで、赤(R)、緑(G)、青(B)の刺激の量をX,Y,Zとすると、X+Y+Z=1という条件で(割合の問題ですから)、x-y平面ですべての色を表すことができます(Zは1-X-Yとなる)。
このようにして作ったのが「色度図」(参考URL)であり、点(0,0)が「純粋な青」、点(1,0)が「純粋な赤」、点(0,1)が「純粋な緑」の位置です。この3点から成る直角三角形内部が、すべての色を表します。
しかし実際は、この直角三角形内部すべての色が実在するわけではなく、人間の眼に見えるすべての単色光をプロットすると、馬蹄形を描き(色度図の色のついたところの輪郭の曲線のところ)、いろいろな光を混合して作られるすべての色はこの馬蹄形の内部の点で表されます。(馬蹄形より外の色は実在しない理由は、3種類の細胞の感度分布がオーバーラップしていることによります。例えば「青の細胞のみ刺激する光」が存在しないため、さきほどの「純粋な青」は現実には知覚できません。)
さて、ひとたび網膜でR,G,Bの刺激に変換されれば、脳の中ではこの3つの刺激の割合で一つの「環」が作られます。可能性としてはさきほどの直角三角形の縁であり、現実には馬蹄形の輪郭です。この時、それぞれの刺激が元々どのような波長の光で作られたか、はもはや問題ではなくなります。
補足1:
「色の3原色」は、あくまで人間の眼に合わせたものに過ぎません。人間とは感度分布の異なる眼を持つ動物が人間のテレビや写真を見たら、妙な色あいに見えるでしょう。あるいは、もし人間の網膜が4種類の細胞から成っていたとしたら、テレビも写真も4原色要ることになります。
補足2:
ご質問に、「赤と青をまぜたら波長はどうなるか」とありますが、あくまで2つの波長の光が混在するだけです。新たに別の波長の光が発生するわけではありません。また、色度図の馬蹄形の内部は、単色光の混合で作り出しますが、その組み合わせは自由で、同じ「色」に見えても、さまざまな可能性があります。(#3さんの指摘内容。)
補足3:
「光の色と絵の具の色は別」というご意見がありますが、そのような区別は特にありません。「光の3原色」「絵の具の3原色」は、どのようにして色を作り出すか、という方法の違いです。どちらも知覚する際には光として眼に入ってくるのですから。
補足4:
#3さんの言われるように、「視覚はフーリエ変換していない。(聴覚はしているのに。)」という意見もありますが、私は、視覚もフーリエ変換していると考えてよいと思っています。聴覚がたかだか1000段階くらいの音程に分解しているのに対し、眼ではそれがたった3段階だというだけのことです。むしろ、聴覚では、複数の波長が混在していてもあくまで「混合物」として認識するのに対し、視覚では、混合物をその割合に応じてひとつの感覚(=色)として認識するという点に大きな違いがあると思います。