1903年12月12日，小津安二郎出生于东京深川区的一户名门，是当时的富豪。他的祖父是一个浪荡子，曾声称只要一辈子不愁酒钱就行，后来被赶出家门而居住在松坂；而中学时代的小津安二郎就是在松坂度过的。直到1923年小津安二郎全家定居东京，而期间他的父母双亲彼此往来于东京与松坂之间，且小津安二郎跟母亲的关系比较的亲密，这也是他人生的最大的一个特点，不但影响了他的电影作品，还影响了他的身体状况等。
中学毕业后小津安二郎陆续报考神户高等商业学校、师范学校等，但都没有考上。后来他在母亲的托人引荐下(他的父亲反对他进入电影公司)终于进了当时鼎鼎有名的松竹映画公司的蒲田摄影厂担任摄影助手工作(这也为后来小津安二郎的作品的摄影打下了很好的基础)，与清水宏、五所平之助等同事，而1927年因为偶然的机会他有拍出了电影处女作《忏悔之刀》，是其唯一的古装片。之后，他很快便爱上了“现代剧”的题材；1929年开始在“庶民剧”方面显露了他的才华，专门拍摄以日本中下阶层的日常生活为主题的影片。早期作品颇受外国电影的影响，尤其是一连串的学生喜剧，以及好几部警匪电影和通俗剧。1936年开始大量拍摄有声片。
小津曾一度入伍参加二战，甚至在新加坡沦为战俘半年才被遣送回国，并于1949年跟编剧老搭档野田高梧再度的合作推出了《晚春》，而这部作品也成为小津安二郎的一系列的优秀作品的开端。他后来的所有影片都出自野田的手笔。1958年拍摄《彼岸花》，第一次尝试采用彩色胶卷。五十年代末期重拍了他三、四十年代的心爱作品，像《早安》、《浮草》、《秋日和》分别是《我出生了，但》（《生来第一次看到》）、《浮草物语》和《晚春》的翻版。他一生得到不少奖赏，例如1958年以《彼岸花》获艺术祭文部大臣赏及紫绶褒奖，1959年获艺术院赏，1961年以《秋日和》获亚洲影展最佳导演奖，1963年被选为艺术学院会员，是电影导演首次获此荣誉。
1962年2月，小津安二郎的母亲不幸病逝(他的父亲在他三十岁时过世)，这是对小津安二郎的人生的一次最大的打击。而第二年的12月12日，小津安二郎也病逝于医院当中。这一天，也刚好是他的六十岁诞辰。
他的墓碑上，按照他的遗愿，只是留下了一个字，“无”！