Mac OS 10.9 を使用している場合は、Octaveのインストールは簡単です。（おそらく・・・未確認です）
こちらの「Binary installer for OSX 10.9.1」を参照してください。
以下では、MacPortsを使ってOctaveをインストールする方法について説明します。
なおこの作業は、私の環境で約６時間かかりました。（ただし、放置しておけるのでMacの前で座って待っている必要はありません）時間に余裕を持って行ってください。
まず、MacPortsのインストールが終わっているかを確認してください。
subversionのインストール（MacPorts）を参照のこと。
以下の作業は、こちらの「Manual Installation from Source」→「MacPorts」を参考にしています。
アプリケーション → ユーティリティ → ターミナルを開きます。
sudo port install octave +atlasを実行します。（ヘルプでは、+docsもつけるように書かれていますが、それだとうまくインストールができませんでした。PTBを動かすだけなら +docs は不要です）
しばらくすると、次のようなエラーが出て、Octaveのインストールが中断されました。
If you really don’t need the fortran interface to be built, please use the +nofortran option, else install a fortran compiler (e.g. gcc4X) before building Atlas.gcc4X をインストールするように、とのことなので次を実行。
sudo port install gcc49（Octaveをインストールする前にgcc49を入れておいてもよいはずです。また49である必要はないはず）
問題なくgcc49がインストールされたのを確認して改めてOctaveのインストールを行います。
sudo port install octave +atlasしばらくすると
---> Building atlasこの状態で数時間止まります・・・。一見なんの変化もありませんが、放置しておいてください。たぶん、問題なくOctaveがインストールされるはずです。
インストールが終了したら、Octaveの動作確認をしてみましょう。
ターミナルにoctaveと入力してエンターキーを押します。するとOctaveのバージョン情報などが表示されて、Octaveが起動している状態になります。
例えば
1+2と入力して、
ans = 3と返ってくるか、確認をしてみてください。
以上でOctaveのインストールは終了ですが、このままでは肝心のPTBが動作しない場合があります。
そのときは、ターミナルでOctaveを起動する前に次のコマンドを実行してください。
export DYLD_LIBRARY_PATH=/opt/local/lib/octave/3.8.2/（ただしバージョン情報は、適切なものに変更してください。詳しくはこちら。）