שולחן ערוך

המניח עובד כוכבים בביתו ובו דברים שאם הוחלפו יש בהם אפילו איסור תורה אם הוא יוצא ונכנס או אפילו שהה זמן רב ולא הודיעו שדעתו לשהות מותר ולא חיישינן שמא החליף אפילו אם הוא נהנה בחליפין והוא שלא סגר הבית עליו (טור והמחבר ריש סימן קכ"ט) לפי שהוא מתיירא בכל שעה לאמר עתה יבוא ויראני אבל אם הודיעו שדעתו לשהות אסור ואם אינו נהנה בחליפין מותר בכל ענין דלא חיישינן שמא החליף להכשילו כיון שאין לו הנאה בדבר: