Каждый вид является интегрированной генетической системой, подвергшейся естественному отбору на протяжении бесчисленного ряда поколений.
В результате виды занимают определенную экологическую нишу в своей среде. Поскольку гибридизация между видами разрушает эту систему, в эволюционной истории видов должны были возникнуть изолирующие механизмы, препятствующие гибридизации и поддерживающие разрывы между видами. Термин «изолирующие механизмы» относится к тем свойствам видовых популяций, которые обеспечивают репродуктивную изоляцию.
Изолирующие механизмы — это биологические свойства особей, которые предотвращают скрещивание симпатрических популяций. При этом внешняя (географическая) изоляция исключается, так как ни расстояние, ни физические преграды не являются изолирующими механизмами. Популяции одного вида могут быть временно разобщены, но это не исключает возможность скрещивания и оставления плодовитого потомства. В любом случае в действии изолирующих механизмов принимают участие генетические и физиологические факторы, но по своему характеру они разделяются на две категории: прекопуляционные механизмы и постпопуляционные механизмы. Основное различие между этими категориями изолирующих механизмов заключается в том, что в случае прекопуляционных механизмов дело не доходит до межвидовых скрещиваний, так как они предотвращаются еще до копуляции. На эти механизмы очень эффективно действует естественный отбор. В случае посткопуляционных механизмов скрещивание хотя и возможно, но результат его негативный: гаметы или зиготы гибнут, гибриды обладают пониженной жизнеспособностью, или стерильностью. Эти механизмы также подвержены действию естественного отбора, но оно не прямое, а косвенное.
Прекопуляционные изолирующие механизмы включают биотопическую, сезонную и механическую изоляции, но самым мощным фактором, ограничивающим случайные спаривания, являются этологические, или поведенческие, преграды.
Биотопическая изоляция возникает в тех случаях, когда симпатрические популяции занимают разные местообитания и поэтому не встречаются. При этом разделение местообитаний может быть незначительным, но тем не менее эффективным. Поскольку четкие границы между биотопами могут и отсутствовать, для подвижных животных этот тип изоляции не очень аффективен.
Контакту особей разных видов может препятствовать также разница в сезонах размножения. Возможно, по этой причине не происходит гибридизация у двух очень близких и симпатрических видов листоедов — пьявиц Oulema melanopus и О. duftschmidi.
Механическая изоляция симпатрических видов одного рода нередко объясняется невозможностью успешного спаривания из-за несовместимости копулятивных аппаратов. Среди морфологических признаков вида, как уже отмечалось, особую роль играет строение гениталий. Для таких животных, как насекомые или легочные моллюски, несовместимость копулятивного аппарата создает серьезные механические преграды. То же относится и к структурам наружного скелета жуков-листоедов, помогающим фиксировать положение самца на теле самки во время копуляции и являющихся видовыми признаками. В то же время доказана относительность этого типа изоляции для ряда других животных. Считается, что структура копулятивного аппарата очень сложна и является побочным продуктом плейотропного действия многих генов данного вида.
Самой важной группой изолирующих механизмов у животных являются этологические факторы. Это преграды, обусловленные несоответствием в поведении двух видов. Этологическая изоляция основана на создании и восприятии различного рода раздражителей брачными партнерами. Этологические сигналы, которыми обмениваются готовые к спариванию самцы и самки, очень разнообразны: звуковые сигналы (пение самцов птиц, стрекотание кузнечиков, кобылок и цикад), позы партнеров при ухаживании, световые сигналы жуков-светляков на суше и головоногих моллюсков в море и т. п. Этологические изолирующие механизмы классифицируют по тому, какие органы чувств используются в каждом конкретном случае. Это зрительные, звуковые и химические раздражители, действующие нередко в комплексе.
К зрительным раздражителям относятся особенности окраски, рисунка и формы, воспринимаемые органами зрения и являющиеся хорошими видовыми отличиями. Характерные позы и тому подобное демонстративное поведение самцов птиц при ухаживании воспринимаются только самками этого же вида и не вызывают реакции у самок других видов. Самки тоже отвечают своими раздражителями, что видно по реакции самцов.
Звуковые сигналы, производимые многими животными, отличаются точностью и специфичностью, поэтому они более эффективны, чем зрительные раздражители. Это в первую очередь относится к птицам, но, как было установлено сравнительно недавно, также к лягушкам, жабам, певчим цикадам и прямокрылым насекомым. Специалисты нередко с легкостью отличают близкие виды птиц по пению, даже если характер окраски оперения их очень сходен. У прямокрылых насекомых каждый вид имеет только ему свойственную «песню», что позволяет различать даже виды-двойники. Сейчас существует возможность записывать различные звуки в виде спектров, точно их описывать и давать им количественную оценку.
Химические раздражители нередко служат изолирующими механизмами. Они делятся на контактные и дистантные, которые действуют на расстоянии и воспринимаются органами обоняния. К ним относятся в первую очередь феромоны — половые аттрактанты, специфические вещества, выделяемые самками и привлекающие самцов. Видоспецифические половые аттрактанты имеются у многих морских беспозвоночных с внешним оплодотворением. Наиболее полно половые феромоны изучены у насекомых, действующие как дистантные раздражители и воспринимающиеся обонятельными рецепторами, расположенными на усиках. Раздражение этих рецепторов обусловливает специфические рефлекторные действия, обеспечивающие сближение полов и спаривание. Иногда феромоны выделяются и самцами (например, у скорпионовых мух), но, как правило, феромоны выделяются самками и привлекают самцов. Химическая природа феромонов может быть различной. Например, половой феромон тутового шелкопряда — бомбикол — относится к ненасыщенным спиртам, другие феромоны относятся к эфирам или альдегидам. В любом случае эти вещества действуют на особей только своего вида. Все перечисленные прекопуляционные механизмы направлены на распознавание вида и препятствуют межвидовой гибридизации.
Посткопуляционные изолирующие механизмы являются преградами иного рода. О них говорят в том случае, когда брачные партнеры спариваются, но не производят потомства, либо это потомство отличается пониженной жизнеспособностью. К таким изолирующим механизмам относятся гибель гамет или зигот, если оплодотворение все же произошло, а также нежизнеспособность или стерильность гибридов. Гибель сперматозоидов может наступить в случае, когда они не в состоянии проникнуть через яйцевые оболочки чужого вида. Другой вариант — иммунологическая реакция в половых путях самки, из-за чего сперматозоиды будут убиты еще до достижения яйцеклеток. В случае оплодотворения гибридного яйца развитие идет аномально и заканчивается его гибелью. Если в естественных условиях межвидовая гибридизация все же происходит, то гибриды не оставляют потомства. Объясняется это тем, что они оказываются менее приспособленными к доступным экологическим нишам, чем особи родительских видов, иначе говоря, их неполноценность уменьшает шансы гибридов на оставление потомства.
В заключение необходимо подчеркнуть, что в целом изоляция между двумя симпатрическими видами зависит от совокупности изолирующих факторов, действующих как последовательный ряд барьеров. Преодолевая один барьер (например, биотопический), особи двух видов могут быть отделены барьером этологическим, а в случае преодоления и этого барьера партнеры могут оказаться не в состоянии произвести нормальное потомство.