مدائن که پایتخت ساسانیان بود، به دست مسلمانان فتح شد و حذیفه بن یمان که از صحابه پیامبر(ص) بود، فرمانروای آن شد. خلیفه دوم با مشورت امیرالمؤمنین علی ابن ابیطالب(ع) سلمان را به عنوان حاکم مدائن منصوب کرد. شاید این انتصاب بدین خاطر بود که سلمان، فارس بود و برای مردم مدائن که فارس زبان بودند، حاکم مناسبی خواهد بود. نام سلمان نیز برای مردم مدائن آشنا بود.سلمان در منزل کوچکی کنار مسجد ساکن شد و زندگی خود را با بافتن حصیر و زنبیل اداره می کرد و حقوق خود را از حکومت به فقرا می داد و بسیار زاهدانه زندگی می کرد که این نحو زندگی ،خلیفه دوم را به خشم آورد. به همین دلیل طی نامه ای، ناخرسندی خود را از اعمال سلمان به وی اعلام کرد. سلمان پاسخ محکم و متقنی به وی نوشت که بخشی از پاسخ او را به لحاظ اهمیتش بیان می کنیم:
(از سلمان آزاد کرده رسول خدا(ص) به عمر بن خطاب. ای عمر، از جانب تو نامه ای به دستم رسید که به سرزنش و توبیخ من پرداخته ای و خاطرنشان کردی که مرا به عنوان حاکم مدائن برگزیدی. دستور دادی که کار حذیفه را بررسی و روش کار او را تحقیق کنم. سپس زشتی های او را به تو بنمایانم. ای عمر، بدان که خداوند مرا از این کار نهی کرده است. من برای اطاعت از تو در پی گیری کار حذیفه از فرمان الهی سرپیچی نخواهم کرد. بیان داشتی که من به بافتن برگ خرما و خوردن جو روی آوردم، این کارها از چیزهایی نیست که مؤمن به آن سرزنش و توبیخ شود. به خدا قسم ای عمر، خوردن نان جو، بافتن برگ خرما و بی نیازی جستن از خوردنی و آشامیدنی های آن چنانی، خودداری از غصب حق مؤمن و ادعا کردن ناحق به حق نزد خداوند عزوجل بهتر و محبوب تر و نزدیک تر به تقوا است، زیرا خود دیدم رسول خدا(ص) هنگامی که جو را یافت، آن را خورد و خوشحال شد و آن را چیز بدی ندانست. اما آن چه را که از بخششم یادآور شدی، بدان که من آن را برای روز نیاز و احتیاجم تقدیم داشتم. به خدای عزیز سوگند ای عمر، برایم اهمیتی ندارد هنگامی که غذا از گلویم فرو می رود، دانه گندم یا مغز بُز یا پوست جو باشد.)