Limits and Quotas on API Requests from CSPs

[seokho-son]

GCP

https://cloud.google.com/compute/docs/api-rate-limits?hl=ko

API 비율 제한(API 할당량)은 Compute Engine API에 수행할 수 있는 요청 수를 정의합니다. 이러한 비율 제한은 프로젝트별로 적용됩니다. 각 비율 제한은 하나 이상의 Compute Engine API 메서드 그룹에 대한 모든 요청에 해당합니다. gcloud compute 또는 Google Cloud Console을 사용할 때는 API에 대한 요청도 실행하게 되는데 이러한 요청도 API 비율 제한에 반영됩니다. 서비스 계정을 사용하여 API에 액세스할 때도 비율 제한에 반영됩니다.

비율 제한이 적용되고 60초(1분) 간격으로 자동으로 다시 채워집니다. 예를 들어 비율 제한이 초당 25개 요청인 그룹은 60초 내 최대
1,500개 요청으로 제한됩니다. 즉, 프로젝트가 60초 내에 언제든지 비율 제한의 최댓값에 도달하면 해당 그룹에서 요청을 더 수행하기 전 할당량이 다시 채워질 때까지 기다려야 합니다. 프로젝트가 비율 제한을 초과하면 rateLimitExceeded 이유와 함께 403 오류가 수신됩니다. 이 오류를 해결하려면 1분을 기다리고 다시 요청을 시도해야 합니다. 다음 간격이 시작될 때 할당량이 다시 채워집니다.

현재까지 요청은 다음 그룹을 사용해서 제한됩니다. 각 그룹은 개별적으로 계산되므로 각 그룹에서 동시에 최대 제한에 도달할 수 있습니다.

다음 비율 제한 그룹은 특별히 지정되지 않은 한 모든 리소스에 적용됩니다.

쿼리 - 일부 공개 메서드에 대한 기본 제한:
프로젝트당 비율(defaultPerMinutePerProject): 초당 25개 요청(분당 최대 1500개 요청)
읽기 요청 - *.get 메서드에 대한 제한
프로젝트당 비율(ReadRequestsPerMinutePerProject): 초당 25개 요청(분당 최대 1500개 요청)
나열 요청 - *.list 메서드에 대한 제한
프로젝트당 비율(ListRequestsPerMinutePerProject): 초당 25개 요청(분당 최대 1500개 요청)
리소스 사용량이 많은 읽기 요청 - *.aggregatedList 메서드에 대한 제한
프로젝트당 비율(HeavyWeightReadRequestsPerMinutePerProject): 초당 12.5개 요청(분당 최대 750개 요청)

[seokho-son]

@powerkimhub 안녕하세요. Spider 관련 문의가 있습니다. :)

Spider에 /regvpc 요청 시, CSP 쪽으로 대략 몇 개 정도의 API 요청(Read requests)이 발생하는지 궁금합니다.
TB에서 짧은 시간에 /regvpc를 대량으로 요청하는 경우가 있는데, GCP에서 다음과 같은 오류가 발생하였습니다.

{"message":"googleapi: Error 403: Quota exceeded for quota metric 'Read requests' and limit 'Read requests per minute' of service 'compute.googleapis.com'

GCP를 예시로 대략 알려주셔도 무관할 것 같습니다.
대략적으로 파악이 되면,
Spider에 요청하는 주기를 임의로 조정할 예정입니다.

(cc @jihoon-seo )

[powerkimhub]

@seokho-son @jihoon-seo

• GCP 경우만 고려하면 될 것 같습니다.
• 다른 대부분의 CSP의 경우 GCP보다 호출 횟수가 훨씬 적을 것이며, 있어도 유사한 수준일 것입니다.
  (이하, GCP 현황)

[GetVPC Flow 개요 및 CSP 호출 횟수]

<Server>
    func RegisterVPC(connectionName string, userIID cres.IID) (*cres.VPCInfo, error) {
        ...
        getInfo, err := handler.GetVPC( cres.IID{userIID.SystemId, userIID.SystemId} )
        ...
    }

<Driver>
    func (vVPCHandler *GCPVPCHandler) GetVPC(vpcIID irs.IID) (irs.VPCInfo, error) {
        ...
        infoVPC, err := vVPCHandler.Client.Networks.Get(projectID, systemId).Do()         --------------- (1회 호출) Get VPC 정보(subnet 이름 목록만 포함)
        ...
        Loop(infoVPC.Subnetworks)
  	      infoSubnet, err := vVPCHandler.Client.Subnetworks.Get(projectID, region, subnet).Do() ---------(n회 호출) n=subnet 갯수
            ...
    }

[GCP VPC의 2가지 Type]

1. User 생성 VPC(ex: VPC-01)

• subnet 갯수: 사용자가 생성한 수

3. Default VPC(ex: default, project 생성시 자동 생성)

• subnet 갯수: 약 31 개

[Default VPC & Tumblebug]

• 기존에는 Spider:GetVPC(default) 호출이 없었을 것임
• 자동 Register 경우 Spider:GetVPC(default) 1회 호출시
  • GCP:GetVPC() 1회, GCP:GetSubnet() 31회 호출되는 상황
  • project별로 독자적인 default VPC 소유
  • Spider Connection 설정 별로 개별 project 소유

[seokho-son]

@powerkimhub 현황 공유 감사합니다.
혹시 해당 GCP:GetSubnet() 31회. 에 대해 병렬 처리를 적용하면 좋을까요? (CSP로의 Call에 대해서만 병렬 처리, 데이터 저장은 한번에 하여 동시 write 이슈는 없도록)

그리고, 참고로, 최근 테스트에서는 GCP를 제외하고도
다른 커넥션에 있는 VPC 등록도 병렬로 처리하면, 상호 소요 시간이 더 증가하는 현상을 보였습니다.

예를 들어, AWS의 VPC들을 AWS의 모든 커넥션별로 순차 등록하면,
각 등록에 걸리는 소요시간이 대략 1분 내외였는데
AWS의 모든 커넥션에 대해 병렬로 수행하면,
소요시간이 각각 5 ~ 15분 정도로 늘어나는 현상이 발생하였습니다. (결과적으로 병렬로 처리해도 시간이 많이 소요)
커넥션이 다르면 상호 간섭(락 등에 의한)이 없을 것으로 생각했는데, 어느 부분에서든 상호 간섭이 발생하는 것 같습니다. (드라이버별로 API Call을 줄 새우기~?)

지연이 어디서 발생하는지 정확하게 파악한 것은 아닙니다. 혹시 추측되는 부분이 있으면 알려주세요 ^^

[seokho-son]

+참고

병렬 처리하지 않고, 순차 처리할까 고민하고 있습니다. 들어가는 공수대비 얻을 수 있는 효과가 적을 수 있다는 판단.
(사용자가 빈번하게 사용하는 기능은 아닐 것으로 생각)

[powerkimhub]

@seokho-son

혹시 해당 GCP:GetSubnet() 31회. 에 대해 병렬 처리를 적용하면 좋을까요?

=> 좋은 거 같습니다. GCP driver 팀에 요청해보겠습니다.

그리고, 참고로, 최근 테스트에서는 GCP를 제외하고도
다른 커넥션에 있는 VPC 등록도 병렬로 처리하면, 상호 소요 시간이 더 증가하는 현상을 보였습니다.

=> 하..., 이건 현재 lock이 그렇게 되어 있네요. 
     현재, Connection Config 종류와 무관하게 자원의 종류 별로 Lock이 걸려 있네요. 
     이건 개선할 필요가 있어 보입니다^^

[현재 자원별 Locking 상태]

• Lock 제어: Image, VPC/Subnet, SG, Key
• Lock 임시 해제: VM
• IID2 이후 자원 이름에 거의 Unique한 UID를 포함하고 있는 상태이므로,
• Lock 필요성도 다시 점검해보도록 하지요.

[seokho-son]

@powerkimhub 그럼 일단 TB에서 CSP자원 등록 기능의 속도 개선 진행은 잠시 멈춰두도록 하겠습니다. :)

=> 하..., 이건 현재 lock이 그렇게 되어 있네요.
현재, Connection Config 종류와 무관하게 자원의 종류 별로 Lock이 걸려 있네요.
이건 개선할 필요가 있어 보입니다^^

관련해서 SP가 개선되거나 처리 방안을 마련하시면 공유 부탁 드립니다. 감사합니다. :)

[seokho-son]

FYI
GCP API 트래픽 (CSP 자원 전체 등록 기능 테스트 시점)