Можно ли ограничить доступ к файлу для одного пользователя?

Да, требует настройки. Ограничение доступа можно настроить с помощью ролей пользователей WordPress (администратор, автор...).

• Для каждой категории файлов вы можете установить, с какой ролью пользователь сможет отображать и скачивать файлы
• Для каждого управления файлами вы можете настроить действие для ролей пользователей, например, авторы могут управлять только своими файлами.