吳先生住在台北市文山區木柵路上，3月份他的信箱收到1張「高級住宅的房屋稅」說明單，打開後赫然發現自己被課到「豪宅稅」了。他很狐疑，明明自己住在房價遠低於台北市中心的木柵，怎麼會跟「豪宅稅」扯上關係？
豪宅稅的正式名稱是「高級住宅加價課徵房屋稅」，目前只有針對坐落在台北市內的豪宅才會課到這個稅，其實這也是一種房屋稅，只是豪宅住戶要繳的稅額更高。
根據台北市稅捐稽徵處原先的認定，台北市共有400棟「豪宅」、約1萬400餘戶被列為「豪宅」，連大同區的新成屋「千代田」與「克里翁」、萬華區的「萬囍」都被列入豪宅稅的課徵對象。
消息一發布後，不少住戶發出抗議，郝龍斌的市長信箱也接到不少陳情信。開徵辦法公布後不到1個月，4月18日傍晚，台北市政府財政局臨時政策轉彎，就在台北市稅捐稽徵處開始寄發「房屋稅」稅單前夕，在原先的豪宅認定標準外，新增1個條件：「每戶總價8,000萬元以上、每坪單價100萬元以上」，或「每戶總價8,000萬元以上、權狀坪數超過80坪以上」，才視為豪宅。
這樣一來，台北市豪宅棟數降低為139棟、約2,900戶，比先前認定少了2/3（約7,500戶）。依照原本辦法，台北市12個行政區均有豪宅，但是根據新辦法初步重審後，豪宅最多的前3個行政區依然是信義區、大安區與中山區，然內湖、南港、文山、萬華、大同區已被除外。
豪宅稅開徵在即，為何台北市政府態度大轉變？市場人士表示，士林文林苑強拆事件引起社會觀感不佳，萬一豪宅稅再強行上路，有可能引起更多不滿，才會讓郝龍斌要求相關單位重新審議豪宅標準。
豪宅稅上路之初，最常被業界批評的就是：認定辦法由官方自行定義，事前卻沒有找來產業界與學術界的專家參與討論，很難信服人心。那新增的豪宅認定辦法有找業者一起研議嗎？答案依然是沒有。記者去電詢問常被媒體與官方徵詢房市看法的政治大學地政系教授張金鶚、代表估價業的台北市不動產估價師公會總幹事張能政、代表房仲業的不動產仲介經紀商業同業公會全國聯合會理事長李同榮，3人一致表示：「沒有被（台北市財政局或稅捐稽徵處）找去開會！」
永慶不動產估價師聯合事務所所長郭大誠不以為然地表示：「擁有比較多『房產價值』的人被課較多的稅，很公平。但房價怎麼認定？官方單位並不具有鑑價、估價的專業能力，豪宅價格怎麼算，並不是自己關起門來說了算的。」
之所以會有豪宅稅，當初就是政府為了落實居住正義的政策之一，但是這並不是一個好解方。伯特利都更開發機構總經理何建智舉了一個例子，買賓士車的人追求的是品味與地位表徵，車主不會去介意牌照燃料稅有多少或是被課奢侈稅，豪宅屋主也一樣，並不會去介意每年新增的豪宅稅。