タンニンが水に溶けている(渋い)か、溶けていない(甘い)かの違いです。

柿の渋みの原因は、どの柿にも含まれる「タンニン」です。甘柿は成熟によってタンニンが水に溶けなくなっているため渋みを感じませんが、渋柿は成熟してもタンニンが水に溶けているため渋みが残ります。
渋柿は、アルコール、二酸化炭素、温湯などによって渋抜き処理を行うと、タンニンが変化して渋みを感じなくなります。