У этого выражения очень древнее происхождение. И родом оно из Византии. Во времена правления императора Комнина Андроника существовало одно интересное правило.

Некоторые мужчины пользовались особой императорской привилегией. Им разрешалось охотиться в личном зверинце императора Комнина. Привилегия, следует отметить, пользовалась большой популярностью. Но просто так не давалась: это привилегированное право доставалось только тем мужчинам, чьи жены имели любовную связь с императором. Принадлежность к такому своеобразному «клубу» не скрывалась, а наоборот, подчеркивалась: дома, где жили такие семьи, украшались оленьими рогами. Иметь такой знак было очень почётно. Удивительные нравы, не правда ли? На всё можно смотреть по-разному, так, впрочем, во все времена и делали.

источник:http://www.prikol.ru/