フリーウェアのアンインストール

　いつもフリーウェアをダウンロードして楽しんでいるのですが、疑問があります。 　アンインストールの仕方についてです。ものによって「アンインストール」のアイコン又は項目があるものとないものがあります。ないものはフォルダごと削除してもよい、と判断してよいものかどうか… 　「アプリケーションの追加と削除」を使うのはどういう場合で、フォルダごと削除してよいのはどういう場合か、ご存じの方教えてください。