Bom, pro primeiro problema eu pensaria da seguinte forma...(não tenho muito tempo para escrever, eu posso te dar uma solução mais bem elaborada amanhã...)
Todo vetor pode ser escrito como uma combinação linear de outros dois vetores... (Por exemplo: o vetor X pode ser escrito como a combinação linear de outros dois vetores Y e Z; aY+bZ=X) acho que a restrição de a+b<1 é só porque se b=1 e a infinitamente pequeno seria o suficiente pro ponto X estar fora do triangulo...a>0 e b>0 porque há de ser um ponto interior, e se ambos (ou somente um deles) fosse igual a zero, daí o ponto seria do contorno. Amanhã eu te redijo isso melhor (e até a demonstração desse lance de combinação linear...acho que é melhor , já que eu simplesmente enunciei isso do nada, né?)
Agora vou ver alguma coisa pro dois... um vetor é responsável pelo transporte de pontos sobre uma reta suporte...eu calcularia o vetor AX em função desses outros pedidos e somaria-o às coordenadas do ponto A...acho que a resposta é exatamente isso...bem, novamente eu digo, eu escrevo melhor isso amanhã(se bem que acho que até amanhã elas já terão sido respondidas por outra pessoa, né)
de qualquer forma, aqui vão essas idéias...espero que ajudem
Ricardo