IPM bermula pada tahun 1952 apabila Sekolah Perikanan Laut di Gelugor, Pulau Pinang ditubuhkan untuk memberi latihan kepada para nelayan di negara ini. Pada tahun 1963, Sekolah Perikanan Laut di Seberang Takir, Terengganu ditubuhkan khusus bagi menampung latihan para nelayan daripada negeri-negeri di Pantai Timur Semenanjung Malaysia. Pada tahun 1969, Fisheries Training Institute telah ditubuhk
an
di Batu Maung, Pulau Pinang di bawah dana bantuan Pertubuhan Bangsa-Bangsa Bersatu (PBB) melalui Badan Pertubuhan Makanan dan Pertanian (FAO) menggantikan Sekolah Perikanan Laut di Gelugor. Pada tahun 1970, nama Fisheries Training Institute di Batu Maung, Pulau Pinang dan Sekolah Perikanan Laut di Seberang Takir, Terengganu telah ditukar kepada Institut Latihan Perikanan Malaysia (ILPM). Pada tahun 1992, ILPM telah berpindah ke kompleks baru di Chendering, Kuala Terengganu dengan kelengkapan dan kemudahan latihan lebih moden di bawah bantuan Kerajaan Jepun melalui Program Japan International Cooperation Agency (JICA). Pada tahu 1999, ILPM telah ditukar nama kepada Institut Perikanan Malaysia (IPM).
