בנייה חדשה במגרש עם דו משפחתי, ללא הסכמה

שלום, אני הבעלים וגר בבית האחורי (הרחוק מהרחוב) מבין שלושה בתים פרטיים במגרש ארוך אחד. אני והצמוד אליי הם דו-משפחתי גדול. שני השכנים האחרים מעוניינים לבנות במגרש בית משותף, אני לא. הם טוענים שלא נדרשת הסכמתי להגשת תוכניות, האם הם יכולים לבצע בנייה בפועל בלי הסכמתי? גם משיקולים כגון ניצול אחוזים במגרש לפי תב"ע חדש, דרך גישה לרכב עבורי, וכו'. תודה!