北京胡同的名字成因复杂，有人物、官署、寺庙、河渠、桥梁、府邸、仓储、作坊、树木、动物、地貌、方位、房舍、苑囿、家居、生活等数十种，不乏因地标建筑得名的胡同。地标建筑又种类繁多，其中有一些包含了特殊的物件，像门楼、石磨、水井、碾子、石碑等。什刹海银锭桥北侧的大、小石碑胡同就属于这一类。
在北京城以“石碑”得名的胡同很多，像位于平安里的石碑胡同（即育德胡同前身）、位于西长安街南侧的石碑胡同、位于西直门内大街北侧的石碑大院等。另外《京师坊巷志稿》和《燕都丛考》中还记有“贤孝碑”的胡同名。虽然这些胡同以“石碑”得名，但由于史料上对这些胡同的成因，尤其是对“石碑”着墨不多，让后来研究北京胡同的学者产生了一些困惑。大、小石碑胡同就是这种情况，1990年的《北京市西城区地名志》仅记载为“清代称石碑胡同，为正黄旗地界。1911年后析出大、小石碑两条胡同。”
现在的大石碑胡同呈东西弯曲走向，全长261米，均宽3.5米，东端与烟袋斜街相连，北端通向鼓楼西大街。小石碑胡同为南北斜形走向，全长80米，均宽2.5米，南端为银锭桥北，北端为大石碑胡同，中部与烟袋斜街和鸦儿胡同相互衔接。
从逻辑上分析，大、小石碑名字的起因和附近的石碑有着密不可分的关系。而石碑一般都立在寺庙里，哪座寺庙里的石碑和这两条胡同有关呢？
从民国时期的老地图上看，大、小石碑胡同附近寺庙很多，像广福观、广化寺、三元伏魔宫、三财龙王庙、白衣庵、火神庙、海潮庵、清虚观、汤氏家庙、槐宝庵、华北协和修道院……在这些寺庙中，广化寺、广福观等几个规模较大的寺庙里都立有石碑。有的人认为这座石碑来自始建于元代的广化寺，里面有块明万历年间立的《重修广化寺碑》，碑文上记有“都城西北隅有巨浸曰什刹海，以环海有丛林十故名。广化寺者十刹之一”，该文字被专家们认定为“十刹之说”的文字见证。
也有人认为是指建于明天顺年间的广福观内的石碑。因为这个道观曾是道录司办公之所，是国家级管理道教事务的部门所在地。观里有明成化年间立的《诰命道士孙道玉御制文碑》和《广福观改建神路碑》。民间还有这样一个说法，大、小石碑之名可能来源于鼓楼西大街瑞应寺里康熙五十二年（1713年）立的康熙皇帝御制诗碑。
但真正与大、小石碑有关的是原协和修道院里明崇祯皇帝的《赐曹化淳御笔草书碑》。据《燕都丛考》引《骨董琐记》记载，“德胜门大街大石碑胡同协和修道院，故广化寺也，有明毅宗赐曹化淳御笔草书碑，高丈余，字径五六寸，笔势挺秀，文曰‘明理纪实，心领神会，五韵精严，八法清贵。周旋于规矩之中，超越乎万象之外。有以似其人乎？然也，若止于笔，文焉则未，司礼掌印化淳，有作辄佳，特赐。崇祯戊寅八月谷旦’。”碑额上镌有“敬天法祖亲贤爱民之宝”。据考证，此碑高2.71米、宽1.06米，碑额高0.24米、宽0.2米。左右还有两碑，“皆镌所属赐御札”。据专家考证，这两座石碑分别为《奖敕曹化淳碑》和《奖谕曹化淳碑》。
