ويروى أن أعرابياً وقف على حلقة أبي زيد، فظن أبو زيد أنه قد جاء يسأل عن مسألة في النحو، فقال أبو زيد: سل يا أعرابي، فقال على البديهة: د
لست للنحو جئتكم ... لا ولا فيه أرغب
أنا ما لي ولامرئ ... أبد الدهر يضرب
خل زيد لشأنه ... أينما شاء يذهب
واستمع قول عاشق ... قد شجاه التطرب
همه الدهر طفلة ... فهو فيها يشبب
وقال أبو عثمان المازني: سمعت أبا زيد رحمه الله تعالى يقول: لقيت أبا حنيفة رحمه الله تعالى، فحدث بحديث فيه: "يدخل الجنة قوم حفاة عراة منتنين قد أحشتهم النار"، قال: "منتنون قد محشتهم النار"، فقال: ممن أنت؟ قلت: من أهل البصرة، فقال: كل أصحابك مثلك؟ فقلت: أنا أخسهم حظاً في العلم؟ فقال: طوبى لقوم تكون أخسهم.
وقال محمد بن يونس: توفي أبو زيد الأنصاري سنة أربع عشرة ومائتين.
وقال الرياشي وأبو حاتم: توفي أبو زيد سنة خمس عشرة ومائتين.
قال المصنف: وكان ذلك في خلافة المأمون.
وحكى أبو بكر الخطيب أن وفاته كانت بالبصرة.