Năm 1832 Vua Minh Mệnh cải cách hành chính sâu rộng. Ông củng cố lại Đô sát viện là cơ quan giám sát và phản biện các hoạt động của tất cả các quan lại và cả nhà Vua. Đến năm1844 Vua Thiệu Trị lại đặt thêm chức quan Chưởng Ấn Ngự Sử giám sát quan lại khu vực kinh đô Huế kiêm giám sát hoạt động của Tôn Nhân Phủ.
Tôn Nhân Phủ triều Nguyễn đóng ở công viên Nguyễn Văn Trỗi thành phố Huế bây giờ. Tôn Nhân Phủ do nhà Vua trực tiếp chỉ đạo và do các vị Vương thân họ hàng của Vua điều hành. Tôn Nhân Phủ quản lý mọi vấn đề liên quan đến các hoàng thân quốc thích và con cháu nhà Vua, viết gia phả Hoàng tộc, chuẩn bị người kế vị Vua…
Ngoài ra quan quan Chưởng Ấn Ngự Sử còn tham gia giám sát các kỳ thi trong toàn quốc. Quan Chưởng Ấn Ngự Sử cùng với các quan trong Đô Sát Viện thay nhau tham gia tất cả các buổi chầu và họp của triều đình để kiểm tra lễ phục, lời nói hành động của các quan trong triều, ghi biên bản và các lời chỉ dụ của Vua. Thay nhau đi cùng với Vua để ghi chép lại mọi sự kiện và lời nói của Vua hàng ngày, đưa về cho quốc sử quán chép vào quốc sử. Quan Chưởng Ấn Ngự Sử có quyền giám sát, phản biện các quan lại trong triều và có quyền can gián Vua. Các tờ tấu can gián của Chưởng Ấn Ngự Sử được trình trực tiếp lên nhà Vua mà không cần qua các vị quan cấp cao hơn của Đô Sát Viện phê duyệt.
Mối năm quan Chưởng Ấn Ngự Sử nhận 60 quan tiền lương, 50 phương gạo ( Mỗi phương gạo khoảng 30 kg ), mỗi năm được phát 10 quan tiền may lễ phục. Lương bổng thấp, quyền hạn có vẻ to nhưng công việc vô cùng nguy hiểm như thanh gươm lơ lửng trên đầu. Không tìm ra lỗi để phê bình các quan đại thần và can gián Vua thì bị gán tội nghiệp vụ kém mà phê bình can gián thì vô cùng nguy hiểm đến chức vụ và tính mạng. Đã có nhiều vị quan Ngự Sử bị cách tuột chức thành dân đen hoặc bị xử tù vì dám phê bình Vua. Trong lịch sử phong kiến chỉ có Hà Tĩnh là nhiều vị dám làm quan Ngự Sử nhất.
Cụ Chưởng Ấn Ngự Sử Nguyễn Trọng Tương ở làng Vân Chàng Hồng Lĩnh sau khi đỗ đạt được bổ làm Giáo Thụ Can Lộc phụ trách việc giảng dạy trong trường công và quản lý giáo dục, sau đó thăng tri huyện Lệ Thủy Quảng Bình, được bổ về Hàn Lâm Viện, thăng tri phủ Tư Nghĩa ( Vùng thị xã Quảng Ngãi bây giờ ) và sau đó thăng Chưởng Ấn Ngự Sử. Cụ làm Chưởng Ấn Ngự Sử trong thời gian dài, qua hai đời Vua Thành Thái và Duy Tân. Sau khi Vua Duy Tân bị Pháp lưu đày Cụ Nguyễn Trọng Tương xin nghỉ hưu vì chán thời cuộc. Công việc giám sát trường thi, đi theo Vua để chép sử, phê bình các quan triều đình và can gián Vua đã nguy hiểm nhưng Cụ Chưởng Ấn Ngự Sử Nguyễn Trọng Tương lại được giao kiêm giám sát Tôn Nhân Phủ, một công việc như quả bom nổ chậm. Thời nào thì con cháu Vua cũng quá nhiều vấn đề rắc rối và phức tạp. Không phê bình thì bị Vua xử mà phê bình thì dễ mất chức và mất mạng.
Tuy vậy với phong cách làm việc thượng tôn pháp luật nhưng uyển chuyển trong hành động và lời nói Cụ Chưởng Ấn Ngự Sử Nguyễn Trọng Tương đã hoàn thành tốt công việc qua hai đời Vua. Cụ còn được tin tưởng giao thêm chức vụ kiêm nhiệm Quang Lộc tự thiếu khanh, phụ trách toàn bộ công tác hậu cần cho triều đình khi có đại lễ. Tiếp nối truyền thống, hậu duệ của Cụ Nguyễn Trọng Tương nhiều người làm trong ngành giáo dục và quản lý nhà nước cấp cao, quản lý doanh nghiệp. Tất cả đều theo tinh thần của Cụ truyền lại là thượng tôn pháp luật nhưng uyển chuyển trong hành động và lời nói.
