Para trocar a porta ssh do seu servidor é preciso está logado como root e seguir os seguintes passos:

1.Em primeiro lugar adicione a nova porta no firewall (caso esteja ativo), estaremos utilizando de exemplo a porta 6976 então adicione essa porta em seu firewall.

2.Após isso edite o seguinte arquivo
nano /etc/ssh/sshd_config

3-Localize a porta atual que estará na variável Port provavelmente ela vai estar comentada, se estiver setada a porta padrão(22):
#Port 22

4-Remova o caracterer de comentário # e mude a porta(no caso a 22 se estiver a padrão) para a desejada:
Port 6976

Atenção: Certifique-se que esta porta não esta sendo usada por outro serviço… pois se estiver você ficara sem acesso SSH.

5-Salve e feche o arquivo de configurações

6-Reinicie o SSH daemon e tente se conectar com a nova porta:
/etc/init.d/sshd restart