在三年自然灾害时期，这两种市场不受控制的扩大化，很多“计划外物资”大量出现，还有各种渠道弄来的紧缺商品，价格远超官方渠道。
有关部门开始重点打击，尤其是鬼市，规模最大的一次是1961年10月9日的那场“扫黑风暴”，一天时间就抓了将近七万多名黑市交易者，大多被强制遣送原籍或由所在单位领回去自行处理。
这两种市场，不管哪一种都是老百姓自发形成，没人组织和管理，也不需要买卖双方交任何费用。
后世网络小说中所提到的“黑市”，应该是指1963年开展“新五返”，明文定性“投机倒把”是犯罪后，开始有人把这种市场转向更隐蔽的场所，同时组织形式更为严密，比如买卖双方进场需要交所谓的“门票钱”、交易时有人把风放哨等等。