Вода - вообще довольно необычное вещество. Если её вскипятить и начать охлаждать плотность начнёт расти. Т.е. чем выше температура, тем ниже плотность. Но так происходит только до температуры примерно 4 градуса по Цельсию (при нормальном давлении). При этой температуре (4 градуса) вода проходит критическую точку и дальнейшее охлаждение приводит не к увеличению, а к уменьшению плотности. И увеличению объёма соответственно. После прохождения точки 0 градусов она превращается в лёд, плотность которого намного ниже плотности воды.
Кстати зимой вода в пресных водоёмах подо льдом имеет как раз температуру примерно в 4 градуса. А самая холодная вода - весной во время ледохода. Попавший в воду лёд охлаждает её до 0 градусов по Цельсию.
P.S. все цифры приблизительные и зависят от атмосферного давления и количества растворённых в воде веществ.