Posso restringir votos?

Sim, você pode, de maneiras diferentes.

Você pode proibir votos no frontend ou em um grupo de usuários específico do Joomla . Para proibir a votação de front-end, defina-o como Off nos critérios.
Para limitar a votação em um grupo de usuários específico, use as opções gerais.