他们不仅调查名刹古寺，同时还有意识去发掘那些不见经传的民间遗迹。为此，梁思成、林徽因曾专程到晋汾一带调查，还两次到北京四郊访古寻迹。1932年，他们夫妇二人在京郊八大处到香山的途中，发现在马路旁边的山坡上有3座小小的石佛龛，佛龛由几块青石板合成，貌不惊人，但都已经历了七百多年的风霜，龛上的石雕呈现出南宋的遗风。
梁思成赞赏这3座石龛：“分峙两崖，虽然很小，却顶着一种超然的庄严，镶在碧澄澄的天空里，给辛苦的行人一种神异的快感和美感”（《平郊建筑杂录》）。
巍峨的长城，嶙峋的古城楼，晨曦中的塔影，这些记录着中华民族不朽历史的胜迹都会给予人们以无尽的诗情画意，但是在建筑师眼里，除了诗情画意之外，还会有一种特殊的感触，梁思成把这称之为：“建筑意”。他们在调查中，就经常因为领悟到这种“建筑意”而兴奋。梁思成深深感到正是通过这些实地的调查和研究，培养了他对自己民族文化的由衷深情和对劳动人民创造的无比尊敬。
经过对古建筑的长期调查研究，梁思成获得了丰硕的成果。1934年，他编著了《清式营造则例》一书。这部著作第一次将繁杂的中国古建筑形制作了科学整理和分析，对清代建筑各部分作法、制度作了较详细的介绍和论述；在大量调查的基础上，梁思成和营造学社其他研究员刘敦桢教授、鲍鼎教授等共同发表了一系列论文：《汉代的建筑式样与装饰》、《云岗石窟中所表现的北魏建筑》、《我们所知道的唐代佛寺与宫殿》、《大同古建筑调查报告》……此外，梁思成还负责编辑了《古建筑调查报告专刊》佛塔和元代建筑专辑，分别集中了这一时期调查过的数十座佛塔和元代建筑的珍贵资料。
1942年梁思成开始撰写《中国建筑史》。在多病的妻子林徽因和莫宗江、卢绳等人的协助下，一部由中国人自己编写的中国古代建筑史终于在抗日时期西南后方的小山庄里完成了。在这部著作中，梁思成根据大量的调查和文献资料，第一次按中国历史的发展，将各时期的建筑，从文献到实物，从城市规划、宫殿、陵墓到寺庙、园林、民居都作了叙述，并对各时期的建筑特征作了分析和比较。在这部著作中，梁思成提出了对中国古代建筑特征的详细分析，他按中国建筑结构方法及其发展列举了中国古建筑的7大特征，并且从中国古代政治制度，思想道德观念，建筑的传统体制等几方面论述了这些特征的形成原因。这些论述和分析都远远超过了过去外国人对中国建筑的研究水平，达到了前人所没有达到的高度。接着梁思成为了向外国人介绍中国建筑文化又用英文写了一部《图象中国建筑史》。
美国学者费正清对梁思成的这一时期工作作了如下的评价：“二次大战中，我们又在中国的西部重逢，他们都已成了半残的病人，却仍在不顾一切地，在极端艰苦的条件下致力于学术，在我们的心目中，他们是不畏困难，献身科学的崇高典范。”
1944年，为了取得对日本作战的最后胜利，美军开始对日本本土进行空前规模的大轰炸，到1945年，日本已有199座城市遭到轰炸，城市建筑被毁平均在40%以上，最高达90%。但是惟有日本古都奈良是个例外，好几次，飞机飞到奈良上空，没扔炸弹就飞走了。
日本名古屋
30多年后，奈良因其完好地保持有众多的古代建筑以及占有全日本十分之一的“国宝”级文物，而被宣布为世界历史文化名城。日本老百姓于是说，这是天皇陛下的神明。
但是，这个使京都奈良免遭轰炸的，是位对东方古建筑有特殊感情的人，他就是梁思成。
当年，是梁思成劝阻了美军对奈良的轰炸。他面对美军布朗森上校的不解，是这样恳切地说：“上校先生，要是从我个人的感情出发，想到四万万中国人蒙受的深重灾难，我是恨不得马上炸沉日本四岛的。然而，一种职业与历史的责任感，让我马上冷静了下来。上校先生，您大概知道，“建筑”这一词在英语里叫“Architecture”，原是“巨大工艺”的意思。所谓“巨大”并非指它面积与体积，而是指它是人类社会科学、工程技术和艺术发展的综合体。因而，建筑又是“社会的缩影”，“民族的象征”。但它绝不仅仅是某一个民族的，而是全人类文明结晶具体象形的保留。我图上所标上的地方，保留着东方最古老的建筑。像奈良的唐招提寺，法隆寺，那是全世界最早的木结构建筑，一旦炸毁，那是永远无法补救的。就像希腊的巴特侬神庙，现在只剩下一些短柱了，它辉煌壮伟的原样，现代人谁也无法见到了。外行人往往误以为完全可以重修再建。然而，在巴特农神庙的残址上，再竖起几根石柱，补上精美雕塑，那就像给维纳斯补上断臂，那还能是巴特侬？还能是维纳斯吗？
正在遭受日本侵略祖国的一个中国学者，以东方古代建筑著名专家呼吁保留建立在日本的人类文明的古代建筑，令人感动。布朗森上校是个懂得艺术的人，他被说动了。不过他告诉梁思成，计划还要最后上级将军批准，“他是位西点出身的“三星将军”。
听了这话，梁思成抽出一只红笔，在两处打了三个星的地方，又各加了一颗星，说：在两处，京都和奈良，可是东方古代建筑艺术上的“四星将军”啊！
也正是梁思成当年根据考证确认，唐代鉴真大师去日本后主导设计的唐招提寺，完全是根据中国五台山佛光寺一模一样建造的。
当梁思成的报告和地图送到将军处时，将军长时间沉默了。他说，有人也向他提过类似的建议，但统统都没有梁思成的报告那样使他震撼，令人叹服。
正是因为梁思成的努力，才使得奈良地区宏伟的建筑得以保留。
梁思成的努力，代表的是中国人民对日本文化的尊重，日本人应该知道与理解一个中国学者对日本文化的关爱。
1945年8月抗日战争取得胜利。1946年10月，美国耶鲁大学聘请梁思成去讲学，他带着《中国建筑史》和同时完成的《中国雕塑史》的书稿、图片，以一个中国人的自豪心情将中华民族的文化珍宝展示在国际学术界面前，以丰富的内容和精湛的分析博得了国外学术界的极大钦佩和赞扬。美国普林斯顿大学为此赠授梁思成以名誉文学博士的学位。英国科学史家李约瑟教授称梁思成是“研究中国古建筑的宗师”。
中华人民共和国成立后，梁思成是中国科学院技术科学部委员，除了仍在清华大学任教授和建筑系主任外，一直以高度热情参加了各项建设工作，先后担任：北京市都市计划委员会副主任、中国建筑学会副理事长、中国美术家协会常务理事、中国文联中国委员会委员、中华中国自然科学专门学会联合会委员、中国科学技术协会委员、建筑科学研究院建筑理论与历史研究室主任、北京市城市建设委员会副主任等职。
当新中国首都北京的大规模建设活动开始时，梁思成全身心地投入到首都建设工作之中。他根据北京作为全国政治中心的性质，参照世界其他国家城市建设的经验，预见到古都北京与新首都之间的矛盾，于1950年初，与都市规划专家陈占祥一起向政府提出了新北京城的规划方案，提交了《关于中央人民政府行政中心区位置的建议》，主张将新的政府行政中心区放在旧北京城的西郊。
他认为北京旧城是一座规划严整，保留有众多文化古迹而且至今仍保存得十分完整的古城。他主张尽可能把这座世界上少有的历史名城保留下来，在改建中保持它的传统风格。
梁思成还专门写了《北京——都市计划的无比杰作》一文，建议把北京城的城墙、城楼、护城河都尽可能地保存下来，一方面她们代表着古老北京的传统特征，构成了北京特有的体形环境与城市空间轮廓；另方面又可以加以改造，古为今用，为新社会服务。护城河加以疏浚可以调剂城市气候；城楼可以改为文化馆、展览厅供群众活动；城墙上加以绿化布置可以成为群众休息娱乐的大环城公园，梁思成还为此专门画了设想图。