[AWS] lambda function 으로 ec2 instance reboot하기

airflow을 운영하는 ec2 instance가 아주 무겁게 돌아가고 있는 상황이다..

그래서 그런지 일주일에 한번씩 airflow가 실행되고 있지 않는 경우들이 있다.

 

원인 파악을 제대로 하고 개성해야하지만 우선 지금 당장 나온 조치로는 주기적으로 ec2 instance를 reboot 하자는 의견!

 

가장 간단한 방법으로는 reboot하는 lambda function을 생성한 후

CloudWatch Events (EventBridge) 로 규칙을 생성해서, 고정 간격으로 트리거 실행하는 방법!

 

근데 CloudWatch Events (EventBridge) 사용하면 추가 요금 발생하기에 .. crontab 으로 관리하는 걸로 결정했다.

 

✅ 진행

1. AWS lambda function 생성

2. 생성한 lambda function에 ec2 instance reboot 권한 부여

    2-1. ec2 instance에 접근하는 Full Access 권한 부여

    2-2. 해당하는 instance만 reboot할 수 있는 최소 권한 부여

3. lambda function 실행 확인

4. crontab 추가하기

 

1️⃣ AWS lambda function 생성하기

reboot-airflow 라는 이름의 lambda function을 생성했다.

해당하는 region 과 instance id를 넣어준다.

import boto3

def lambda_handler(event, context):
    ec2 = boto3.client('ec2', region_name='ap-northeast-2') # region
    
    instance_ids = ['i-000000000aaaaaaaa'] # instance id
    
    response = ec2.reboot_instances(InstanceIds=instance_ids)
    
    return response

 

이 lambda function을 실행하면 아래와 같은 message를 받을 수 있다.

"errorMessage": "An error occurred (UnauthorizedOperation) when calling the RebootInstances operation: You are not authorized to perform this operation. User: arn:aws:sts::425405151003:assumed-role/reboot-airflow-role-4ofplg3v/reboot-airflow is not authorized to perform: ec2:RebootInstances on resource: arn:aws:ec2:ap-northeast-2:425405151003:instance/i-00000000aaaaaaaa because no identity-based policy allows the ec2:RebootInstances action. Encoded authorization failure message: ...",
  "errorType": "ClientError",
  "requestId": "89210677-e54f-44a7-a472-d538ab1c4e22",
  "stackTrace": [
    "  File \"/var/task/lambda_function.py\", line 8, in lambda_handler\n    response = ec2.reboot_instances(InstanceIds=instance_ids)\n",
    "  File \"/var/lang/lib/python3.12/site-packages/botocore/client.py\", line 565, in _api_call\n    return self._make_api_call(operation_name, kwargs)\n",
    "  File \"/var/lang/lib/python3.12/site-packages/botocore/client.py\", line 1021, in _make_api_call\n    raise error_class(parsed_response, operation_name)\n"
  ]

 

> 해석하면 ec2 instance를 reboot할 수 있는 권한이 없다는 의미이다.

 

2️⃣ lambda function 에 권한 부여

2️⃣-1️⃣ ec2 instance에 접근하는 Full Access 권한 부여

 

IAM > Roles > reboot-airflow-role-4ofplg3v 선택

 

Permissions > Add permissions > Attach policies 선택

 

AmazonEC2FullAccess 추가

 

EC2에 Access할 수 있는 권한 추가됨

 

근데 이 권한은 EC2에 관련된 Full Access에 관한 권한이라 위험할 수 있기에

airflow 서버만 reboot할 수 있는 최소 권한만 부여하려 함

 

 

2️⃣-2️⃣ 해당하는 instance만 reboot할 수 있는 최소 권한 부여

 

IAM > Policies > Create policy : 권한 추가하기

 

JSON으로 선택하여 입력한다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "ec2:RebootInstances",
      "Resource": "arn:aws:ec2:ap-northeast-2:111111111111:instance/i-00000000aaaaaaaa" # 수정
    }
  ]
}

 

추가하는 policy의 이름과 설명을 입력한다.

 

reboot-airflow-role-4ofplg3v 에 생성한 권한을 추가해준다.

 

3️⃣ lambda function 실행 테스트

성공했다는 response를 받을 수 있다. → 정상적으로 reboot

{
  "ResponseMetadata": {
    "RequestId": "29c08d4e-9d77-4d77-a318-329efbaca204",
    "HTTPStatusCode": 200,
    "HTTPHeaders": {
      "x-amzn-requestid": "29c08d4e-9d77-4d77-a318-329efbaca204",
      "cache-control": "no-cache, no-store",
      "strict-transport-security": "max-age=31536000; includeSubDomains",
      "content-type": "text/xml;charset=UTF-8",
      "content-length": "219",
      "date": "Tue, 29 Oct 2024 00:35:42 GMT",
      "server": "AmazonEC2"
    },
    "RetryAttempts": 0
  }
}

 

4️⃣ crontab 에 추가

reboot.py

import boto3

def trigger_lambda(function_name):
    lambda_client = boto3.client('lambda',
				region_name='ap-northeast-2',
				aws_access_key_id='aws_access_key_id',
				aws_secret_access_key='aws_secret_access_key'
                                )
    
    response = lambda_client.invoke(
        FunctionName=function_name,
        InvocationType='RequestResponse'
    )
    
    print(response['Payload'].read().decode('utf-8'))

function_name = 'reboot-airflow'

trigger_lambda(function_name)

 

reboot.sh

#!/bin/bash

cd /home/ubuntu
python reboot.py

 

crontab

# reboot server
35 1 * * 6 /home/ubuntu/reboot.sh

나는 매주 토요일 1시 35분에 실행시킬 계회이기 때문에 위와 같이 설정했다

 

• crontab 설정 : 앞에서 부터 순서대로
  • 분 (0 - 59)
  • 시 (0 - 23)
  • 날짜 (1 - 31)
  • 월 (1 - 12)
  • 요일 (0 - 7, 0과 7은 일요일)