それぞれのインスタンスでSSHのポートを分けて接続してください。

2台目の例:
トンネル起動用のポートを 20122 から 20123 に変更しています。

ssh -L 20123:<インスタンスIPアドレス>:22 略

SSHアクセス

ssh user@localhost -p 20123 -i 秘密鍵ファイル