タイトルの通りとなります。

もしくはそもそもパスワード認証は有効にできず管理画面から公開鍵の登録・管理ができる、というような仕様ですと嬉しいです。