Тьфу ты блин, понял тебя наконец то. Ну я во-первых выключил в настройках геймпад (он по дефолту включен), во-вторых повысил чувствительность мыши - стало гораздо лучше.