哈尔滨市档案馆成立于1969年，为副省级国家综合档案馆，与1978年10月成立的市档案局实行局馆合一体制。2002年晋升为国家一级档案馆。

2019年1月，市档案局馆分设，重新组建哈尔滨市档案馆，为中共哈尔滨市委直属正局级事业单位，内设6个处室。主要职责是：依法集中统一管理全市的档案、资料，保守党和国家机密，维护档案资料的完整，确保档案资料的安全；接收本馆保管范围内的具有保存价值的各种门类、各种载体的档案资料和政府部门已公开信息文件；征集散存在社会上的与哈尔滨有关的各种载体的档案资料；整理、保管收集进馆的档案资料；对馆藏档案进行清查、统计、鉴定和保护；开发档案信息资源，编辑出版档案史料，向社会提供利用；推进档案馆档案信息化建设，实现档案管理现代化；开展档案科学技术研究，推进档案文化建设；完成市委交办的其他任务。

哈尔滨市档案馆馆舍1999年底落成并投入使用，总建筑面积12960平方米，占地面积13000平方米。市档案馆永久保管着哈尔滨自清末以来各个历史时期的重要历史档案资料、革命历史档案（1946-1949）及新中国成立以来市直各机关、团体、企事业单位形成的档案资料。截至2023年底，实有348个全宗，馆藏档案60.08万卷、82.23万件，纸质资料5.09万册、电子资料5734.4G。2011年以来，市档案馆先后被授予省级文明单位标兵、市级爱国主义教育基地、黑龙江大学档案专业学生校外实习基地、市委党校干部培训现场教学基地、全市中小学生德育实践基地。