Сейчас взял из книжки Базыкина систему уравнений попытался смоделировать поведение системы при разных коэффициентах и разных начальных значениях х и у. Появилась определённая ясность.
Четверть круга – это граница, которую невозможно пересечь, если начальная точка находится внутри. В зависимости от того, как выбрать начальную точку, фазовая траектория может проходить ближе или дальше от этой границы, может практически совпасть с ней изнутри, но пересечь её не может.
Сама четверть круга – это невозможная фазовая траектория. Т.е. система не может двигаться по ней без постороннего вмешательства. Возьмём, например, точку x=0, y=0. Из этой точки система никуда не уйдёт, потому что некому размножаться. Если добавить пару антилоп (неких условных абстрактных антилоп), то количество антилоп будет увеличиваться по мере их размножения (т.е. фазовая траектория совпадёт с осью х), пока не дойдёт до точки равновесия (правый нижний угол четверти круга). В этой точке без постороннего вмешательства система снова остановится. Если добавим пару кроликов (опять же, условных), то они начнут размножаться, но при этом начнут конкурировать за хавчик с антилопами, поэтому по мере увеличения числа кроликов число антилоп будет постепенно уменьшаться и фазовая траектория пойдёт по криволинейной части четверти круга.
Если же начальную точку взять внутри четверти круга, то фазовая траектория будет похожа на треугольник со скруглёнными углами, как я рисовал на правом рисунке.
В теории диф. уравнений эта линия называется нуль-изоклиной, фазовая траектория её никогда не пересекает (точнее, формально угол пересечения равен 0, то есть если фазовая траектория проходит достаточно близко от нуль-изоклины, то она проходит практически параллельно ей). Можно сказать, что нуль-изоклина это нечто типа водораздела, вся водичка остаётся внутри.