Объект исследования: гравитирующая модель массива горных пород. Разработана 2-мерная численная модель процесса развития термоконвективной неустойчивости в сильновязкой слоистой среде. В криволинейных ортогональных системах координат получено в общем виде решение задачи о развитии неустойчивости Релея-Тейлора в кусочно-однородных сильновязких средах с учетом нелинейной стадии. Создана математическая модель тектонического разлома в породном массиве в условиях локализации пластической деформации в окрестности разломной зоны. Модель предельно-равновесного состояния Дагдейла обобщена на случай поперечно-сдвигового тектонического разлома. Результаты могут быть использованы в прогнозной оценке обрушения горных пород при выемке мощных рудных залежей.