我国50年代中期，由于社会改造过急，从1955年就已出现险情，到1956年以后，“反右”斗争开始至“文化大革命”结束的20余年间中国速记处于低潮时期。在“两条道路斗争”中，速记却被视为“异端”和“密码”，而被禁止。在反右斗争中，有些速记人员被打成“右派”，有的劳改，有的坐牢。甚至国家公立的北京速记学校也被迫停办。学校解散了，教职员工被下放劳动，一些宝贵的速记记录稿和速记教材被销毁。
    关于1955年北京亚伟速记学校被迫停办函授部的问题，北京市西城区成人教育局老局长、北京市速记协会顾问李德宙，在“庆祝唐亚伟先生从事速记创研和教学活动五十周年茶话会上讲话”中说:关于停办亚伟速记学校函授部“这件事我参与了，并负有一定责任，虽然主要责任不在于我，但几十年来，使我感到内疚;深感当时的处理是不公平的，是粗暴的。当时的领导同志认为函授的质量必须保证百分之百。但科学是老实的，是实事求是的，实践充分证明，函授教学不可能达到百分之百的标准。我参与了这件事的处理，所以在内心深处感到有愧于唐先生。今天我在这个场合，表明我的心迹，当时停办亚校是不尊重科学，是不对的，是过分的，也是粗暴的。”
    其实速记停滞的原因，一是受着当时一个运动接着一个运动的政治气候所制约，因为当时推行“一化三改”运动。由于全社会进人“社会主义改造”时期，手工业个体业者走合作化道路，个体工商经济改变为合作经济，私营工商业者改变为公私合营，一切要走“社会主义集团化”的道路，民办速记教育当然更不例外。二是有关教育行政部门的领导认识有偏差、认为“函授的质量必须保证百分之百”，达不到“百分之百”的质量“保证”，这就是“欺骗行为”，就必须“制止”“停办”。其实，不仅是速记函授，任何学科的函授教学也都不能达到“百分之百”的质量!国内如此，外国也不例外。首都的北京亚伟速记学校、新中国速记学校停办后，全国所有的民办教育机构(不包括后来新办的速记传习所、补习班)也相继停办了。
    这期间，公立的北京速记学校成立，继续推行湖南速记。但至2968年文化大革命中，也被迫停办。但1971年，我国外交部，在周总理和陈毅副总理的支持下，开办速记班，由原北京速记学校教师范立荣、杜坤仓、冀茂林等任教，教学亚伟速记。