Babylonian Talmud, Tractate Yoma

תנו רבנן מעשה בכהן גדול אחד שהאריך בתפלתו ונמנו אחיו הכהנים ליכנס אחריו התחילו הם נכנסין והוא יוצא אמרו לו מפני מה הארכת בתפלתך אמר להם קשה בעיניכם שהתפללתי עליכם ועל בית המקדש שלא יחרב אמרו לו אל תהי רגיל לעשות כן שהרי שנינו לא היה מאריך בתפלתו כדי שלא להבעית את ישראל