¿Es posible limitar el acceso a los archivos a un solo usuario?

Sí, requiere configuración. Se puede configurar la limitación de acceso mediante los roles de usuario de WordPress (administrador, autor, etc.)

• Para cada categoría de archivos puedes configurar qué rol de usuario podrá mostrar y descargar archivos
• Para cada gestión de archivos, puede configurar acciones en los roles de usuario; por ejemplo, los autores solo pueden administrar sus propios archivos