建物を建築できるかどうかは、主に都市計画法が関与してきます。
市街化調整区域に建物を建築する場合は、建築許可か開発許可が必要になるのが原則です。
例外として、例えば農家が自宅や倉庫を建てる場合などは、許可が不要です。
土地の地目によっての制限ですが、概ね建築物については緩やかです。
宅地以外の山林にも、建築物を建築できます。
ただし、森林法によって木々の伐採に届出や許可が必要になったり、その他、土地の状況によって各種法令をクリアする必要があります。
つまり、土地に建物を建築するためには、当該土地の状況によって各種法令をクリアする必要があるため、一概には言えないものです。
また、農地法の制限があれば、転用や農振除外などが必要になり、いくつもの許認可申請が必要になるのも珍しくありません。