Sua placa mãe suporta 8gb sim. Lembre-se que ela só tem 04 bancos de memoria, então para completar 8gb vc precisará quatro de modulos de 2gb ou dois de 4gb.
Quanto à placa de video, de acordo com a experiencia de alguns usuários aqui do forum, uma placa gamer tipo a sua que custa 300 reais teve performance parecida com outra placa gamer que custa 1800 reais. Então, imagino que a maioria irá lhe indicar uma quadro que também custa ozói da cara. Eu pessoalmente recomendo que vc só dê uma turbinada nas memorias e depois se preocupe com video. Ou aguarde a opinião de alguém mais experiente nessa área, eu nunca tive uma quadro então não vou falar bem ou mal de algo que não tive acesso.
Aqui estão os dados da sua placa mae http://www.intel.com/portugues/products/motherbd/dq35jo/index.htm