當我們尚未解答這個問題之先，應該明白一下苦行兩字的定義。
一般所說的苦行，大抵是指以自苦為手段以解脫為目的而言。從原則上說，這個觀念並沒有錯，若從出發點上說，卻大有區別：有的是盲目的自苦，有的是有理想的自苦，盲目的自苦，往往都是指的盲修瞎練，砂中榨油，既沒有理論的根據，也沒有一定的目的。有理想的自苦也有分別：一是迷信的，一是理性的；迷信的自苦是指以為持了牛戒吃草、持了狗戒吃屎、持了魚戒浸水，便可在死後生天。理性的自苦也分兩種，一是以合理的修持方法，尋求自我解脫，一是利用可資自我解脫的身心，協助他人（眾生）解脫。
除了理性的自苦，其餘均是外道的苦行。
近人有些認為佛教不主張苦行，認為佛教是主張苦樂中和的中道行者。當然，佛陀成佛，也是在他放棄了六年的苦行，把羸弱的身體調養復原之後（增含增上品之八）。不過我們必須明白：佛陀放棄的是盲目的苦行或是迷信的苦行，卻又強調理性的苦行。尋求自我解脫是小乘的苦行，協助他人（眾生）解脫是大乘的苦行。
因此，在長阿含經卷八中，有著這樣的敘述：
佛對尼俱陀梵志說：「汝所行者，皆為卑陋：離服裸形，以手障蔽；或食牛糞，或食鹿糞，或食樹根枝葉果實……或有常舉手者，或不坐床，或常蹲者；或有臥荊棘者；或有裸形臥牛糞上者，或一日三浴，或有一夜三浴，以無數眾苦，苦役此身！」像這樣的苦行，佛陀是極端反對的，因為那是除了自討苦吃就毫無意義，既不能修身養生，又不能修心入定，更談不上修行而利益他人。
佛陀接著把佛教的苦行告訴了尼俱陀梵志：「彼苦行者，不自計念：我行如是；當得供養，恭敬禮事；得供養已，心不貪著，曉了遠離，知出要法。聞他正義，歡喜印可；不自稱譽，不毀他人；不殺、盜、淫、兩舌、惡口、妄言、綺語、貪取、嫉妒、邪見；精勤不忘，好習禪定，多修智慧；不為貢高我慢自大；常懷信義，修反復行，能持淨戒，勤受訓誨，常與善人而為伴黨，積善不已；不懷憎恨，不為巧偽，不恃己見，不求人短，不懷邪見（不信因果為邪見），亦無邊見（不是中道，便是邊見：相信靈魂永恒不變，或者不信死後另有境界），是為苦行離垢法也。」
我們讀了這一節佛教的苦行法門，該會感到無限的親切，它的內容，無非是持戒、禪定、智慧等的解脫法，但也正是人間世的處世法。但這尚是屬於理性的求解脫的法門。到了大乘經中，更加鼓勵我們去大施大舍、難忍能忍、難行能行了，為了救濟眾生可以犧牲自己的一切，並且要發願生生世世救濟眾生而犧牲自己，乃至做到「三千大千世界，無一微塵，不是菩薩捨身命處。」像這樣的菩薩行，能說不是大苦行嗎？
因此，凡是正信的佛教徒，他必須檢束身心，刻苦自勵，待人要厚，自供要薄；唯有降低了物欲的生活，才能提高精神的領域，精勤於道業的修持，努力於事業的發展，貢獻於大眾的公益──發大願心，為全體人類義務勞役，作一切眾生不請之友，乃至犧牲自己而救濟他人，這便是佛教的苦行。如果有人以不吃煙火食，不過人的生活，而以顯異出奇作標榜，那便不是佛教的苦行而是外道的苦行。