Sau khi thi đỗ, Phan Phu Tiên được vào làm việc ở Quốc sử viện và Quốc Tử Giám, hai cơ quan nghiên cứu học thuật và đào tạo nhân tài quan trọng bậc nhất đương thời. Sau suốt một thời gian dài tới trên 1/4 thế kỷ, kể từ cuối những năm 90 thế kỷ 14 cho tới năm 1429, ông mới lại dự thi khoa Minh Kinh dưới thời Lê Thái Tổ; sau đấy không thấy sách vở, tài liệu nào ghi chép gì thêm về người danh sĩ họ Phan này.
Tình hình đất Việt lúc đó đang trải qua những cơn biến động dữ dội. Trong thời gian giữ chức Đồng tu sử ở Quốc sử viện, ông bắt tay vào biên soạn bộ Việt âm thi tập - công trình mở đầu việc nghiên cứu, giới thiệu thơ ca các đời ở Việt Nam. Niềm tự hào về truyền thống văn hóa lâu đời của dân tộc, lòng trân trọng đối với di sản tinh thần của tiền nhân và những nhận thức sâu sắc về vai trò của văn chương nghệ thuật đã thúc đẩy ông vượt qua mọi khó khăn, ra sức hoàn thành công trình có ý nghĩa lớn lao này.
Mùa thu năm Quý Sửu, niên hiệu Thuận Thiên thứ 6 đời Lê Thái Tổ (1433), bộ hợp tuyển Việt âm thi tập về căn bản đã hoàn thành. Phan Phu Tiên viết lời tựa với những lời tâm huyết như sau: "Trong lòng có chí hướng ắt sẽ thể hiện thành lời. Vì vậy, thơ là để nói lên cái chí của mình... Các bậc đế vương, công khanh, sĩ đại phu mấy đời gần đây, chẳng ai không quan tâm đến học thuật, vẫn thường sớm tối ngâm vịnh, diễn tả nỗi lòng sâu kín, đều có thi tập lưu hành ở đời nhưng do binh lửa nên đã thất truyền, tiếc thay!... Các bậc quân tử sau này có lòng sưu tầm rộng khắp, rồi xếp đặt thành quyển, thành tập, mới mong khỏi phải thở than vì bỏ sót mất hạt châu trong biển cả".
Sách chưa kịp khắc in thì Phan Phu Tiên được cử giữ chức An Phủ sứ ở tỉnh ngoài (Thiên Trường, Hoan Châu). Việt âm thi tập được Thị ngự sử Chu Xa vâng lệnh triều đình biên soạn tiếp. Sau hơn 10 năm sưu tầm, chỉnh lý, sắp xếp, bản thảo Tân tuyển Việt âm thi tập do Chu Xa biên tập đã hoàn thành vào năm 1459, được Hàn Lâm học sĩ Lý Tử Tấn hiệu chỉnh, rồi cho khắc in. Theo bài tựa của Lý Tử Tấn thì Tân tuyển Việt âm thi tập thu thập được hơn 700 bài thơ (sắp xếp thành 7 quyển). Bản in lần đầu đã thất tán từ lâu. Hiện nay chỉ còn được thấy ba quyển đầu của lần tái bản năm 1729.
Sau một thời gian làm quan ở tỉnh ngoài, năm 1448, Phan Phu Tiên lại được triệu về kinh, sung chức Quốc Tử Giám bác sĩ tri Quốc sử viện, vừa giảng dạy ở Quốc Tử Giám lại vừa trông coi công viện của Viện quốc sử. Năm ất Hợi, niên hiệu Diên Minh thứ hai đời Lê Nhân Tông (1455), vâng lệnh nhà vua, ông bắt tay vào biên soạn bộ Đại Việt sử ký tục biên (nối tiếp theo Đại Việt sử ký của Lê Văn Hưu), chép việc từ đời Trần Thái Tông cho đến khi quân Minh rút về nước (từ năm 1226 cho tới năm 1427), gồm 10 quyển. Đại Việt sử ký tục biên nay đã thất truyền, nhưng Ngô Sĩ Liên đã dựa vào bộ sử này để biên soạn những phần có liên quan trong Đại Việt sử ký toàn thư.
Ngoài Việt âm thi tập, Đại Việt sử ký tục biên, tương truyền ông còn viết Quốc triều luật lệnh, Bản thảo thực vật toản yếu, cũng đều thất truyền. Toàn Việt thi lục do Lê Quý Đôn biên soạn có chép ba bài thơ của ông: Vi nhân cầu giáo (Làm người cần phải học tập), Hạ gián nghị đại phu Nguyễn Ức Trai và Đương đạo Lương Phán quan nhậm mãn (Tặng ông phán quan họ Lương hết hạn nhậm chức), lời thơ bình dị nhưng chứa đựng nhiều ý tưởng khá sâu sắc, nêu cao truyền thống hiếu học, trọng nghĩa tình, chăm lo việc dân, việc nước của nho sĩ Việt Nam.
Hiện nay ở làng Đông Ngạc (huyện Từ Liêm, ngoại thành Hà Nội) có nhà thờ Phan Phu Tiên với bức hoành phi mang ba chữ Khai Tất Tiêu, nhắc nhở tới vinh dự của người đỗ đại khoa đầu tiên ở làng này.
