其祖父為本鄉大地主，富甲一方，貲雄鄉里。父早喪，弟兄三人，同父異母長兄倪昭奎字文光，是當時道教的上層人物，曾“宣受常州路道錄”、“提點杭州路開元宮事”、“賜號元素神應崇道法師，為主持提點”、又“特賜真人號，為玄中文潔真白真人。”二哥（同胞）倪子瑛。在元代，道教的上層人物地位很高，有種種特權，既無勞役租稅之苦，又無官場傾軋之累，反而有額外的生財之道。

　　倪瓚從小得長兄撫養，生活極為舒適，無憂無慮，倪昭奎又為他請來同鄉“真人”王仁輔為家庭教師。倪瓚受到這樣的家庭影響和教育，養成了他不同尋常的生活態度，清高孤傲，潔身自好，不問政治，不愿管理生產，自稱“懶（嬾）瓚”，亦號“倪迂”，常年浸習于詩文詩畫之中，和儒家的入世理想迥異其趣，故而一生末仕。 性好潔，服巾日洗數次，屋前后樹木也常洗拭。家中藏書數千卷，親手勘定。

　　青少年時期的倪瓚雖然家境富裕，生活優裕，但未染上紈绔子弟習氣，對自身的學習修養，抓得挺緊。家中有一座三層的藏書樓“清閟閣”，內藏經、史、子、集、佛經、道籍千余卷。倪瓚每日在樓上讀書作詩，除精心研讀典籍外，對佛道書籍也多有涉獵。“清閟閣”內還藏有歷朝書法名畫，時間較遠的有三國鍾繇的《薦季直表》，較近的有宋代米芾的《海岳庵圖》等。倪瓚對這些名作朝夕把玩，心摹手追，尤其對董源的《瀟湘圖》、李成的《茂林遠岫圖》、荊浩的《秋山圖》，潛心臨摹，揣摹其神韻氣質。同時，他常外出游覽，見到有價值的景和物隨手描繪，他精細地觀察自然界種種現象，認真地寫生，歸后往往畫卷盈笥。倪瓚一方面注意繼承傳統技法，博采各家所長，勤奮的學習，為他后來在繪畫上的創新打下了堅實的基礎。

　　元泰定五年（1328），長兄倪昭奎突然病故。繼之，母邵氏和老師王仁輔相繼去世，使倪瓚悲傷不己。他原來依靠其長兄享受的特權，隨之淪喪殆盡，倪瓚變成了一般的儒戶，家庭經濟日漸窘困，他懷著憂傷的情緒， 自作述懷詩，詳述當時自己痛苦的環境。

　　元天歷三年（1330）到至正十一年（1351）的20年內，是倪瓚繪畫創作的成熟期。這時期，倪瓚廣泛交際，友人多為和尚、道士或詩人、畫家。他作的詩作多半也是和這類人酬唱之作。他的至交張伯雨是有名的道士，倪瓚曾為其精心繪制了《梧竹秀石圖》。另一位他所推崇的名畫家黃公望亦是當時新道教全真教中名人，道學深邃，比他年長32歲。黃公望曾花10年時間，替倪瓚畫《江山勝攬圖》卷，長二丈五尺余，是黃氏淺絳山水中的杰作之一，畫卷題款為至正戊子（1348）；那時倪瓚48歲。此時，他開始信仰道教(全真教)，養成了孤僻猖介的性格，超脫塵世逃避現實的思想，這種思想也反映到他的畫上，作品呈現出蒼涼古樸、靜穆蕭疏的意向。

　　從元至正十三年（1353）到他去世的20年里，倪瓚漫游太湖四周。他行蹤飄泊無定，足跡遍及江陰、宜興、常州、吳江、湖州、嘉興、松江一帶，以詩畫自娛。這時期，也是倪瓚繪畫的鼎盛期。他對太湖清幽秀麗的山光水色，細心觀察，領會其特點，加以集中、提煉、概括，創造了新的構圖形式，新的筆墨技法，因而逐步形成新的藝術風格。作品個性鮮明，筆墨奇峭簡拔，近景一脈土坡，傍植樹木三五株，茅屋草亭一兩座，中間上方空白以示淼淼的湖波、明朗的天宇，遠處淡淡的山脈，畫面靜謐恬淡，境界曠遠， 此種格調，前所未有。這一階段，倪瓚創作了《松林亭子圖》（1354）、《漁莊秋霽圖》（1355）、《怪石叢篁圖》（1360）、《汀樹遙岑圖》（1363）、《江上秋色圖》（1368）、《虞山林壑圖》（1371）等許多力作給后來的明清繪畫以巨大的影響，成為元四大畫家之一。

　　元至正二十三年（1363）九月十八日（10月25日），其妻蔣氏病死，倪瓚受到很大的打擊。長子早喪，次子不孝，生活越覺孤苦無依，內心煩惱苦悶，無所適從。明初，朱元璋曾召倪瓚進京供職，他堅辭不赴。明洪武五年（1372）五月二十七日（6月28日）作《題彥真屋》詩云： “只傍清水不染塵”，表示不愿做官。他在畫上題詩書款只寫甲子紀年，不用洪武組年。

　　明洪武七年（1374），倪瓚在江陰長涇借寓姻戚鄒氏家，中秋之夜，他身染脾疾，便到契友名醫夏顴家就醫，夏筑停云軒以居之。倪瓚一病不起，于陰歷十一月十一日（12月14日）死于夏府，享年74歲。他的遺體埋葬在江陰習里，后改葬在無錫芙蓉山麓的祖墳，周南老撰墓志銘。