วัดป่ายางเดิมมีหลวงพ่อน้อยซึ่งเป็นพระอุปัชฌาย์องค์แรกของลับแล ได้สร้างขึ้นครั้งแรกที่บริเวณบ้านป่ายาง เรีกวัดป่ายางใน (ปัจจุบันคือ บริเวณที่ตั้งศูนย์บริการสาธารณสุขเทศบาลตำบลศรีพนมมาศฯ) แต่เนื่องด้วยที่ตั้งของวัดไม่เหมาะสมถูกกั้นด้วยคูคลองและแวดล้อมด้วยหมู่บ้าน จึงได้ย้ายไปสร้างวัดขึ้นใหม่ เรียกว่า วัดป่ายางนอก ซึ่งก็คือวัดป่ายางในปัจจุบัน
หลวงพ่อน้อย เป็นพระเถระโบราณและผู้คงแก่การเรียน เป็นที่เลื่อมใสศรัทธาของชาวบ้านเป็นอย่างยิ่ง โดยมีเรื่องราวเล่าถึงอภินิหารของหลวงพ่อน้อยขณะมีชีวิตอยู่ในเรื่องของน้ำมนต์ศักดิ์สิทธิ์ การมีวาจาศักดิ์สิทธิ์ รู้ภาษาสัตว์ มีทิพย์จักขุณาญ การย่นระยะทาง แม้กระทั่งท่านมรณะภาพไปแล้ว นอกจากนี้ยังมีวัตถุมงคล คือ ตะกรุดเทวดาขี่เสือกุมพระขรรค์ ที่มีชื่อเสียงในเรื่องของการแคล้วคลาดจากภัยอันตรายต่างๆ พระศรีพนมมาศนายอำเภอคนแรกของลับแลก็เป็นบุตรบุญธรรมและศิษย์ของหลวงพ่อน้อยวัดป่ายาง