فتأذوا به، وكان معبدٌ وغيره من المغنين يتغنون في شعره، فشكاه قومه فبلغ ذلك سليمان بن عبد الملك فكتب إلى عامله على المدينة أن يضربه مائة سوط ويقيمه على البلس، ثم/ يسيره إلى دهلك. ففعل ذلك به فثوى بها سلطان سليمان وعمر بن عبد العزيز. فأتى رجالٌ من الأنصار عمر بن عبد العزيز فسألوه أن يرده إلى حرم رسول الله صلى الله عليه وسلم وقالوا: قد عرفت نسبه وموضعه من قومه، وقد أخرج إلى أرض الشرك، فنطلب إليك أن ترده إلى حرم رسول الله صلى الله عليه وسلم . فقال عمر: من الذي يقول:
