sshの再接続のたびに当然のことながら、SSH_AUTH_SOCKは作り直されるのだが、tmuxは以前のSSH_AUTH_SOCKを保持し続けるため腐る
と言うわけで対策

sshの接続時に走る「~/.ssh/rc」または「/rtc/ssh/sshrc」でSSH_AUTH_SOCKをシンボリックリンクにする

# fix ssh agent
if test "$SSH_AUTH_SOCK" ; then
  ln -sf $SSH_AUTH_SOCK ~/.ssh/ssh_auth_sock
fi

$SSH_AUTH_SOCKの書き換えは、.ssh/configにIdentityAgentを設定すれば不要¹⁾

IdentityAgent  ~/.ssh/ssh_auth_sock

• How to auto-update SSH agent environment variables when attaching to existing tmux sessions?
• screen で reattach しても ssh-agent が効き続けるようにする
• ssh-agent を screen の中から使う方法