Autumnsky

WordPress4.6ならば、ダッシュボードから設定可能。
png/jpeg どちらでもいけると思います。

ダッシュボード ＞ カスタマイズ ＞ サイト基本情報

「サイトアイコン」の項目、一番下の「画像の変更」
メディアライブラリが表示されるので、画像を選ぶ。
ここに現在設定中のアイコンのプレビューが表示されている。


以上。
ウェブアイコンの設定もこれで、WordPress側でやってくれる模様。