Совсем не обязательно.
Если в папке есть JPG, PNG или прочие изображения, то они также по умолчанию отображаются на этой папке, если пользователем не выбрана какая-то одна обложка, или если один из файлов изображений не называется Folder.
Баг заключается в том, что Винда не обновляет эти обложки без описанных в предыдущем посте действий, то бишь не работают как надо эти настройки папок: