За прошедшие сутки эта мелочь начала меня окончательно злить и я решил разобраться в проблеме.
Как оказалось, проблема появляется из-за установки обновления, для разный версий windows это:
В Windows 8.1 - KB2975719Объяснение
В Windows 8 - KB2975331
В Windows 7 - KB2970228
Проблема связана с обновлением http://support.microsoft.com/kb/2970228, привносящим в систему символ российского рубля. В частности, появились новые сочетания клавиш для его ввода (перечислены в статье), например, правая клавиша Alt + 8 (в русской раскладке). Как следствие, это препятствует переключению раскладки с помощью правой Alt.Для решения проблемы, нужно удалить это обновление и вздохнуть с облегчением.
Моя тяга к обновлениям сыграла со мной злую шутку.
Нашел решение здесь: http://forum.oszone.net/post-2389108.html