连云港地区古称海州，港口所倚的云台山，原是万顷碧波中的一海岛，又称郁州。郁州当时虽位于海中，却与大陆上的海州城声势相连，为历代军事要地。古志书上称“实为海防重地，南北咽喉”。由于海州地区的古游水、古沭河均在云台山西入海，山环水绕，故其成为通达四海的交通门户，传说为徐福东渡的起点。
因诸多河流由此入海，造就了许多濒临河口的自然港，象岚山头、荻水口、枯汪口、青口、朐山口、岗嘴、大伊山等均是可供停泊的天然海口。秦朝时便把海州看成是天然的避风良港，称为古朐港。随着海岸线的沧桑巨变，海港港址随之迁徙。两汉时期海港迁至灌云县的茏苴。南北朝时，茏苴成为海道要津，一度作为海州州治，领6郡19县。在其东北，曾挖出人工修筑的古海港的挡浪堤坝。坝的内外。均有古海船沉没的遗迹。唐宋时期，海州南面的岗嘴夹山口变成重要军事要塞，至今留有镇守海防的古炮台，岳飞部将李宝水师就镇守于此，岗嘴便是其屯兵港。明朝，新坝港逐步崛起，朝廷在此派有巡检司，以征收船税。
由于黄河夺淮入海带来的大量泥沙，使海州地区的海岸变迁巨大，清康熙五十年（1712年），浮于海中云台山“忽与陆地相连”，新坝、茏苴等港渐被淤死，海港逐步东移。清末年间，青口港开始兴起，而地处临洪口的大浦自行开放，并得到朝廷的首肯。
民国初，大浦港日渐繁荣，终于在1926年成为陇海铁路东端的第一个出海港口。30年代初，大浦港淤塞日甚。为了维持和扩大陇海铁路的海陆联运，陇海路局不得不实施酝酿已久的海港兴筑计划。1933年，连云港开工兴筑，陇海路也随之展筑至老窑。码头几经横向飘移和塌方的磨难，1936年终于落成并营业。此时，港口设备先进，其中卸煤装船系统系世界上仅有的第二套。港口初具雏型。
抗日战争爆发后，刚形成靠泊能力的连云港被沉船封港，数年艰辛筑成的港口毁于一片爆炸声中。日军侵占后，曾应急修复了港口，但其目的是为了掠夺中国资源，故港口设施简陋，规模不大。其年吞吐量虽达140万吨，但全凭战时“强化”经营和对中国劳工的残酷压榨而完成。
抗战胜利后，由于兵连祸结，港口状况每况愈下。到1948年港口获得新生时，已码头坍塌，船只凋零，满目疮痍。
中华人民共和国成立后，连云港很快恢复并超过旧中国末期的规模。1952年底，港口恢复到抗战前的营运水平。
1973年前，连云港发展缓慢，这其中有国民经济发展的制约，也有人们对连云港错误认识的影响。
周总理的“三年改变港口面貌”的指示，给连云港的港口发展带来的生机。鉴于港口科研理论上的突破和国家现实的要求，连云港开始了大规模地改造和扩建。至1977年底，先后完成了老港区的一码头、二码头、煤码头的改建和扩建工程，使港口由1957年7个泊位扩展到9个。其中万吨级以上的泊位从无增加到5个。
1982年始，连云港港口建设发生了战略性的飞跃，跳出了老港区，开辟了庙岭新港区，相继完成了国家“六五”、“七五”的重点工程。至1990年底，新增生产性码头4座，增加万吨级以上生产性泊位9个，设计年吞吐能力已达1645万吨，使生产性码头岸线扩展至3178米，并自1988年始跨入国家千万吨吞吐量的大港行列。
随着中国北疆铁路与原苏联土西铁路的接轨，连云港的知名度迅速提高，被世人称作“新亚欧大陆桥的东桥头堡”。
