Достоевский много лет спустя вспоминал о нем. В черновых рукописях «Преступления и наказания», в записных книжках, в «Дневнике писателя» неоднократно встречается имя Гааза, обозначая живой пример деятельного добра, В романе «Идиот» ему посвящены такие строки:
«В Москве жил один старик, был „генерал», то есть действительный статский советник с немецким именем; он всю свою жизнь таскался по острогам и по преступникам, каждая пересыльная партия в Сибирь знала заранее, что на Воробьевых горах ее посетит „старичок генерал». Он делал свое дело в высшей степени серьезно и набожно; он являлся, проходил по рядам ссыльных, которые окружали его, останавливался перед каждым, каждого расспрашивал о его нуждах, наставлений не читал почти никогда никому, звал их всех „голубчиками». Он давал деньги, присылал необходимые вещи — портянки, подвертки, холста, приносил иногда душеспасительные книжки и оделял ими каждого грамотного, с полным убеждением, что они будут их дорогой читать и что грамотный прочтет неграмотному. Про преступление он редко расспрашивал, разве выслушивал, если преступник сам начинал говорить. Все преступники у него были на равной ноге, различия не было. Он говорил с ними как с братьями, но они сами стали считать его под конец за отца. Если замечал какую-нибудь ссыльную женщину с ребенком на руках, он подходил, ласкал ребенка, пощелкивал ему пальцами, чтобы тот засмеялся. Так поступал он множество лет, до самой смерти; дошло до того, что его знали по всей России и по всей Сибири, то есть все преступники. Мне рассказывал один бывший в Сибири, что он сам был свидетелем, как самые закоренелые преступники вспоминали про генерала, а между тем, посещая партии, генерал редко мог раздать более двадцати копеек на брата».
Некоторые исследователи творчества Достоевского полагают, что Федор Петрович Гааз был одним из прообразов главного героя романа — князя Мышкина.