Ola Vitor , bem que eu queria enviar um desenho anexo ao e-mail ...... 
mas tudo bem, vamos lá: 
                                                OBS:faça um desenho para acompanhar! 
                      Primeiro eu tracei uma reta ligando o centro do circulo maior ao ponto de tangencia dos dois circulos.(Observe que esta reta é o raio do circulo maior e que ela contem o centro do circulo menor.) 
                      Depois traçei uma reta ligando o centro do circulo menor , ao ponto de tangencia de um dos dois segmentos do quadrante com o circulo pequeno. 
                    Dessa forma, construimos um triangulo retangulo isosceles de catetos r (raio do circulo pequeno).Entao sua hipotenusa  vale (r.sqrt 2) = r + h , onde h é a menor distancia que liga o circulo pequeno ao centro do circulo grande.Entao h = r.(sqrt 2  -  1). 
                  O raio do circulo grande R é [2.r + r.(sqrt 2   -   1)],ou seja, é igual ao diametro do circulo pequeno + h.
                 Como o enunciado fornece R= 4.(sqrt 2)  ,  r sera igual a 4.(2   -   sqrt 2).
 
                          Abraço
     
                                                    FUI........
                       
                                                                                 Felipe Mendonça    Vítória-ES.