卫辉人没有人不知道望京楼的。明清卫辉府所辖各县黎民，到过卫辉的，肯定要来看探望京楼；没到过卫辉的，或多或少也都听到过一些望京楼的故事。凡是途经、旅居卫辉的外地人等，公干也好，私访也罢，总是怀揣好奇以一睹望京楼为快事。于是，一传十，十传百，知道望京楼的人越来越多。因此，望京楼的名气在豫北乃至更广大地区不行谓不高，作为卫辉的文化符号亦属当之无愧。

望京楼到底是汝王所建照旧潞王所建，众口纷纭，反正翻阅历史典籍，元向没有望京楼，清向已有望京楼，无论汝王照旧潞王，可以确定的是明向所建，非汝即潞毫无疑问。

但有一点可以一定，建望京楼好事都与潞王涓滴不沾边，坏事一件也脱不了潞王相干。总之，这么宏伟的建筑，无论是谁所建，当时可能是好大喜功不讨好，留于后人的却是一份紧张的名贵文化遗产，诚如万里长城、京杭大运河等。

卫辉人关于望京楼的传说许多：讲建望京楼原由，说潞王声色犬马，到郊外狩猎，跑得腹中饥饿，宛如彷佛害病，随从从附近小摊为他拿了一个年糕，潞王吃完病好，决定把这好吃食品用船运送给母亲，待由卫河至天津转运北京，悉数馊臭，潞王母亲见闻大放悲声，念儿子竟吃这些东西充饥，便打开国库，装满十船金银玉帛运往卫辉。

潞王见此更加思母心切，于是要建一座很高很高的楼，以便在卫辉就能望到北京看见皇宫里的母亲。讲望京楼很高，说是午时北面距望京楼十多里的黎民可以借其阴凉歇晌儿（午休）；麻雀从望京楼顶上下个蛋落不到地面就破壳儿飞走了。

讲卫辉人以望京楼为豪，说卫辉、滑县、浚县有三个乞丐夜宿一家小店，为争得一张硬席片，商议讲景比试，滑县乞丐先说：“滑县有座塔，离天一丈八。”浚县的接着说：“浚县有座山，离天三尺三。”

轮到卫辉的乞丐了，他不慌不忙说道：“卫辉有座望京楼，一向修到天里头。”成果是卫辉乞丐胜出。讲潞王建望京楼时没有尺度，啥时站在上面能看到北京皇宫里面的皇后母亲，啥时歇工，眼见死了很多民工，惊动了南海观音，化身潞王母亲坐在点化于黄土岗的宫殿里，潞王感激涕泣方才罢建……。

故事还有很多，像口称“钉大家伙的”神人钉锅匠，钉怎么都嫌小，有人戏谑说“望京楼大，你钉吧。”夜深人静时“叮叮当当”在望京楼四角钉了四个大把钜；光绪年间发大水县令以辞官祈祷感动天神退去洪水，发现洪水升天而去，望京楼牌坊顶上竟然挂满杂草等等。

这些都是离奇传说，如“站在楼上望北京”一说，想潞王昏头也不致于到如此田地，他站在太行山上尚且连卫辉县城都看不清楚，相距北京一千多里看得清看不清都不知道？

望京楼现实只是老黎民的俗称，崇本书楼才是本名。作为书楼，它的作用在于：登高望远，驰目骋怀，忘怀孤独，御风纳凉，览读弄琴，表现王威，仅此而已。那些所谓的故事，不外是市井黎民赋闲无聊编织的花边消息，久而久之，成为传说，也成为卫辉人自夸的谈资和之后的人文故事。