Posted: | Categories: AWS | Tags: s3
特定の画像ファイルをs3のバケット間でコピーしたい。下記のような画像ファイルのリストは得られているものとする。
20190224015128auhP0mxtSX.png
20190224190754KuNToorMQc.png
20190224190809ryOuqd6bTC.png
20190226065547aZVU6WQLQw.png
20190226065559jnla1SwUik.png
この際、 GNU parallel と aws-cli を使って手軽にコピーした。
sudo yum -y install parallel
cat 画像ファイル名 | parallel --jobs 60 aws s3 cp s3://test-bucket/chat/image/{} s3://test-depot/chat/{} 2>&1 | tee "$(date +%Y%m%d%H%M).log"
Posted: | Categories: AWS | Tags: MediaLive
ひょっとするとServerlessFrameworkでも検索条件が作れるかもしれないが手動で作成した
MediaLiveでRTMPで接続ができた際にトリガーとする方法
{
"source": [
"aws.medialive"
],
"detail": {
"alarm_state": [
"cleared"
],
"message": [
"Waiting for RTMP input"
]
}
}
ターゲットはStepFunctionを指定した。 ServerlessFrameworkで、直接、CloudWatch ルールからStepfunctionを指定することはできなかった。 通常のlambdaであれば、ServerlessFrameworkで指定可能だろう、若干面倒そうではあるかな。手動で設定しよう。
Read more...Posted: | Categories: AWS | Tags: Cloudfront, LiveShell, MediaLive, MediaStore
映像データは下記のように流れる。
カメラ、マイク -> ローランドの映像ミキサー -> LiveShell X -> MediaLive -> MediaStore -> CloudFront -> 各プラットフォームのプレーヤー
この手順では、MediaLive、MediaStore、CloudFrontの設定について行う。
このうち、MediaLiveには
またMediaStoreはストレージで、MediaLiveでエンコードされたデータを保存する領域になっている( MediaLive だけでは映像を保存できない、かならず別の保存する領域に転送する必要がある )
CloudFrontは大規模配信で使われるCDNで、 複数ユーザにキャッシュを見せる事で、MediaStoreの負荷を下げるために用いている。つまりCloudFront無しでも配信は可能だが、CloudFront無しだとライブ授業のユーザー数には耐えられないため、導入しておいた方がよい。
MediaStoreは「MediaLiveでエンコードされた映像のチャンクを置く場所」として必要( MediaLiveにはストレージが無いので、別途つくる必要がある ) MediaLiveを作る際にMediaStoreのアドレスを指定する必要があるので、事前に作成する。
MediaLiveで映像データをエンコードするチャンネルを作成する
管理画面 からログイン
入力名: dev 入力タイプ: RTMP (プッシュ) Network mode: Public 入力セキュリティグループ: 既存の使用、0.0.0.0/0 入力の送信先: SINGLE_PIPELINE
[チャンネルの作成] をクリック
( その環境にMediaLive用のロールが無ければ作る必要があるので )テンプレートからロールを作成する
チャンネルテンプレートは[ Live Action ]をベースに作成する事にした。 ( このテンプレートの内容は時代によって変わるようだ。以前よりテンプレートも増えているし内容も異なる )
[ Channel class ] は [ SINGLE PIPELINE ]を選択する。 標準では[ STANDARD ]になっているが、正しく冗長化を試みるとなると、インターネット回線を2つ用意するような話になるので、シンプルに[ SINGLE PIPELINE ]で設定する。
Read more...Posted: | Categories: AWS | Tags: MediaLive
ライブ動画のTS結合方法
$ curl https://live3.test.com/a/live_1080p30.m3u8
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-TARGETDURATION:2
#EXT-X-MEDIA-SEQUENCE:1230
現在、1230までチャンク数が進んでいる。
最初から現在までのチャンクをダウンロード ( ユーザから見えるのはCloudFrontであるため、MediaStore経由ではなく、CloudFront経由で取得している。 特にライブ中はMediaStoreの制限にかかるケースがありえるので、直接の取得は避ける ) wgetコマンドでTSファイルを取得
mkdir -p ~/tmp/$(date +%Y%m%d)
cd ~/tmp/$(date +%Y%m%d)
for num in $(seq -w 1 1230) ; do echo $num ; wget https://live3.test.com/a/live_1080p30_0${num}.ts ; done
for num in $(seq -w 1 1230) ; do echo "file ./live_1080p30_0${num}.ts" >> file_list.txt ; done
ffmpeg -f concat -safe 0 -i file_list.txt -c copy $(date +%Y%m%d).mp4
ファイル取得
Read more...Posted: | Categories: AWS | Tags: AWS, CanvasLMS, Passenger
Canvas LMS というラーニングマネージメントシステムの運用中、Passenger が再起動を繰り返す症状になった。 何度か再起動を繰り返すと、たまに立ち上がる。
Canvas LMS は重量級のアプリケーションなので起動に時間がかかっている事が原因と仮定して 急場を凌ぐためサーバーの性能を上げると症状は解消した。
ただできれば安く運用したいため原因を調べ Passenger 側のタイムアウト値を伸ばすことで解消した。
Ubuntu 18.04 Canvas LMS バージョン 2021/04/14 21:24:27 リリースのもの
Apache の下記のようなログが出ていた。
[ E 2021-08-19 12:51:59.9818 2620/Tf age/Cor/App/Implementation.cpp:221 ]: Could not spawn process for application /var/canvas: A timeout occurred while starting a preloader process.
Error ID: 5601fca6
Error details saved to: /tmp/passenger-error-rBz6ES.html
Passenger は問題が起きた時 /tmp 配下にログを吐き出す。 /var/log/syslog ではなく絶えず吐き出すわけではないので問題を難しくしているようにも思うが。
# find / -name 'passenger-error*html'
/tmp/systemd-private-0af79b8b175f43b4a340f69608070e76-apache2.service-Ga9LrA/tmp/passenger-error-rmclOc.html
/tmp/systemd-private-0af79b8b175f43b4a340f69608070e76-apache2.service-Ga9LrA/tmp/passenger-error-rBz6ES.html
html をブラウザで見ると、[ What happened? ]、[How do I solve this ]、[Get help]、[Detailed diagnostics]があり、 [How do I solve this ]を見ると、
Read more...Posted: | Categories: AWS | Tags: AWS, EC2
日次で自動的に cron で再起動して、AMI イメージを取得したい。 再起動が必要だが再起動時はメンテナンス画面を出しておきたい( 深夜メンテナンス時間が取れるサービスに限る ) ALB でメンテナンス画面を出せる機能を用いてサーバ終了、起動時にメンテナンス画面に切り替える
/usr/local/bin/ami_backup.bash に下記のスクリプトを設置した。
#!/bin/bash
id=$(/usr/bin/curl -s http://169.254.169.254/latest/meta-data/instance-id)
/usr/bin/aws ec2 create-image --region ap-northeast-1 --instance-id $id --name "wordpress-www-update-$id-$(date +%Y%m%d%H%M)" --reboot
wordpress-www-update の部分はシステムによって変えた方が良いと思う。 あるいは$id にインスタンス名が入るので、それを持ってユニークとするか( ただし検索が面倒 )
下記のロールを持つように IAM を作成、EC2 サーバーに付与
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": [
"elasticloadbalancing:DescribeRules",
"elasticloadbalancing:SetRulePriorities",
"ec2:ExportImage",
"ec2:DescribeImages",
"ec2:DeleteTags",
"ec2:EnableImageDeprecation",
"ec2:CreateTags",
"ec2:RegisterImage",
"ec2:CreateImage",
"ec2:ModifyImageAttribute",
"ec2:CreateStoreImageTask",
"ec2:DisableImageDeprecation"
],
"Resource": "*"
}
]
}
AM 03:01 に実施
Read more...Posted: | Categories: aws | Tags: alb, aws
AWSが悪いわけではない、大抵、自分が悪い。自分の何が悪いのか分析したい
Application Load Balancer のトラブルシューティング
状況としては
なぜ切れているのか? 様々な理由がありえるだとう
接続アイドルタイムアウトとは、ロードバランサーが接続を終了する前の、既存のクライアントまたはターゲット接続が非アクティブのままでデータの送受信が行われない時間のことです。
Posted: | Categories: aws | Tags: alb, aws
Posted: | Categories: AWS | Tags: MediaLive, MediaStore
AWSメディアサービスで 動画配信のパラメータを変更して検証するの… 超面倒。
そもそも、都度チャンネル作らなきゃならない設定はなんなの。辛み。 CLIから作りたくなってきた。aws-cliをアップデートするとメディアサービスも使えるようになります！
pip install -U awscli
先にチャンネルのIDを確認します。WebUIだと [ MediaLive ]->[ Channels ]->作成したチャンネルのラジオボタンをクリック->[ ID ]の所の数字をメモ
aws medialive describe-channel --region ap-southeast-1 --channel-id チャンネルid > channel_sample.json
CLIからだと
aws medialive list-channels --region ap-southeast-1
で取得できます
上記の describe-channel はユニークであるべきidやチャンネルごとに振られるIPアドレス、ステータスなども出力されてしまいますので削除します。
注) 下記を実行すると、既にあるチャンネル設定が一つ消えます。高速に検証するため、チャンネル設定を消して作ってを行っていますが、サービスするようになったら変更する必要があるでしょう。
上記のチャンネルidを取得する方法を利用して、既存のチャンネル設定を削除しています。
aws medialive delete-channel --region ap-southeast-1 --channel-id $(aws medialive list-channels --region ap-southeast-1 | jq -r '.Channels[].Id')
aws medialive create-channel --region ap-southeast-1 --cli-input-json file://channel_sample.json
aws medialive start-channel --region ap-southeast-1 --channel-id $(aws medialive list-channels --region ap-southeast-1 | jq -r '.Channels[].Id')
aws medialive stop-channel --region ap-southeast-1 --channel-id (aws medialive list-channels --region ap-southeast-1 | jq -r '.Channels[].Id')
Posted: | Categories: AWS | Tags: AWS, Organization, VPC
AWS、アカウント作成直後のネットワーク設定
AWSの具体的なリソースは省略しています。得られた値で読み替えてください。
CLIでの作成はここが非常に参考になります
aws ec2 --profile test-site create-vpc --cidr-block "172.37.0.0/16" --tag-specifications "ResourceType=vpc,Tags=[{Key=Name,Value=prod}]"
{
"Vpc": {
"CidrBlock": "172.37.0.0/16",
"DhcpOptionsId": "dopt-08f0bf2e614f696d8",
"State": "pending",
"VpcId": "vpc-04d******"
"OwnerId": "*************",
"InstanceTenancy": "default",
"Ipv6CidrBlockAssociationSet": [],
"CidrBlockAssociationSet": [
{
"AssociationId": "vpc-cidr-assoc-",
"CidrBlock": "172.37.0.0/16",
"CidrBlockState": {
"State": "associated"
}
}
],
"IsDefault": false,
"Tags": [
{
"Key": "Name",
"Value": "prod"
}
]
}
}
また上記のCLIで作成した際の 「 “VpcId”: “vpc-???“このVpcId の値は使うのでメモしておく
Read more...Posted: | Categories: AWS | Tags: AWS, Organization
AWS Organizations でアカウント管理してみる - ユニファ開発者ブログ
久しぶりに作業した時には、ざっと目を通す AWS Organizations の用語と概念 - AWS Organizations
ログイン https://console.aws.amazon.com/organizations/home?region=ap-northeast-1#/accounts
[ アカウントの追加 ]->[ アカウントの作成 ]
フルネーム: example-admin
Eメール: admin@example.com
IAM ロール名: OrganizationAccountAccessRole [ 作成 ]をクリック
https://console.aws.amazon.com/organizations/home#/accounts [ Organize account ]をクリック、組織を作成する
[ Create organizational unit ]( [ 新規組織単位 ] )をクリック。 組織名を入力。ハイフンを利用可能だった。使わなくても良いが。
[ Account ]->[ Add account ]->[ Create account ]
一旦、アカウントを作成、実際に使うOrganizationに紐付ける、という作業を行う
作成したOUの画面で、歯車アイコンをクリックする
Read more...Posted: | Categories: AWS | Tags: ECS
できればインフラ構成についてもコード化したいため、CodeBuildのbuildspecでECSの設定を記述/更新していました。
このため、ECSの設定画面でポチポチと変更、検証することも可能ですが、Githubへのpush、CodeBuildで更新がかかると、ECSへの変更も元に戻ります。 (検証のために、ちょっとだけECS側で変更するのは無害です)
恒久的な変更はCodeBuild側へ変更するようにしましょう。
下記の手順はローカルでDockerイメージをダウンロードして検証する方法です。 「こうすると効率が良かった」というレベルのものです。
プライベートなDockerレポジトリ(ECR)への認証を済ませる必要があります
bash/zsh:
aws ecr get-login-password --profile profile名 --region ap-northeast-1 | docker login --username AWS --password-stdin 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com
fish:
aws ecr get-login-password --profile profile名 --region ap-northeast-1 | docker login --username AWS --password-stdin 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com
(2019/02/22の内容で、環境変数などは将来的に変更する可能性があります)
docker run -p 10022:22 -e GITHUB_ENV=staging -e AWS_ACCESS_KEY_ID=XXXXXXXXXXXX -e AWS_SECRET_ACCESS_KEY=YYYYYYYYYYYYYYYYYYYYYYYY -it 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/image-name:latest /bin/bash
-p 10022:22 : リモートにSSHログインできるようにdocker内にsshdを立てました(将来的にはssmに切り替えたいですが)、sshdがlistenするポートが22番ポートなのですが、これをMacの10022にポートフォワードしています
Read more...Posted: | Categories: AWS | Tags: ECS
開発環境の時刻を変えたい時があります。 「その時刻になった時の振る舞いを確認したい」 「ある時間帯をターゲットにした開発を行いたい」 などです。 そういった開発の時だけ夜間に来る、というのは現実的ではないので、手軽に開発環境の時刻を変える方法があると便利です。
EC2 Linuxサーバですとdateコマンドなどで時間を変更できます( https://qiita.com/na0AaooQ/items/af6b853faf32c58c21d3 ) ただECS Fargate環境だと( システム時刻の変更に管理者権限が必要なため )上記の方法が使えません。 このため環境変数で開発環境のロケールを変更できるようにしてみました。
※ この方法で時刻をずらした場合、なにかデプロイされる度に、設定は初期化されます。 なにか新しいリビジョンのものがCI経由でデプロイされると、この環境変数の設定は初期化されます。
America/Argentina/Buenos_Aires のようなもの )を入力します。 ※ この『America/****』の文字列はスラッシュを含む全てです。この地域はもうすぐ朝が来てしまう などで、他の地域を設定したい場合、 地図と時差を確認 して このIBMのページの文字列をコピペします。インフラへの設定が反映されたかを確認するのは良い習慣です。確認する場合は、設定したコンテナをクリック、環境変数が設定されているかで確認できます。
２つの方法があります。 このページの[手順]の[新しいリビジョンの作成]のクリック後、 上記同様、nginxとphp-fpmの2つのコンテナの環境変数を変更します。 [コンテナの定義]のコンテナ[ nginx ]と[ php-fpm ]のそれぞれに対して設定を行います。 [環境]の[Key]のTIMEZONEの箇所で
#/media/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:World_Time_Zones_Map.png){kind=link}
Asia/Tokyo にする2つの方法があります。どちらでも同じ結果になり、デメリットは発生しないので、どちらでも良いです。
強いていうと、 2 の方が綺麗になるので良いかと思います。
Posted: | Categories: AWS | Tags: aws-cli, ECS, Fargate
ECSのサービス設定、つくる作業が煩雑なので、CLIで自動化できないか検討。
aws ecs create-service --cluster example-dev-20181030-1 \
--service-name env36\
--task-definition env36\
--desired-count 1\
--launch-type FARGATE\
--deployment-configuration maximumPercent=200,minimumHealthyPercent=100\
--network-configuration "awsvpcConfiguration={subnets=[subnet-0123456789abcdef0,subnet-0123456789abcdef1,subnet-0123456789abcdef2],securityGroups=[sg-0123456789abcdef0],assignPublicIp=DISABLED}"\
--deployment-controller type=ECS
aws cliのecsのcreate-serviceのオプションは多いのでCLIで作るのを想定してる感じある。
Read more...Posted: | Categories: AWS | Tags: aws-cli, docker, ECR
まず、Web UIにログインした後、上部メニューの[ サービス ]->[ Elastic Container Registry ]->[ リポジトリ ]->[ リポジトリの作成 ] からリポジトリを作成する。
『リポジトリ名は英字で始まる必要があり、小文字、数字、ハイフン、アンダースコア、スラッシュのみを含めることができます。』というルールがある。 スラッシュがつけられるので、組織名をつけた。Githubのレポジトリ名は大文字を許容するが、ECRは許容しないので小文字に変更する。
example/Hoge_Web -> example/hoge_web
あるいはpipでインストール pip install awscli アカウント設定は上のURLを参考にすること。
( これはリポジトリ作成時に説明が表示されます。一度、空のリポジトリを作成すると流れがより良く分かるかもしれません )
aws ecr get-login-password --region ap-northeast-1 | docker login --username AWS --password-stdin 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com
上記コマンドはそのまま実行できる形なので、出力を別途実行する必要はありません。
カレントディレクトリにあるDockerfileを用いてイメージ作成。Dockerfileにある場所に移動してから docker buildする。
docker build -t example/hoge_api .
docker tag example/hoge_api:latest 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/example/hoge_api:latest
aws ecr create-repository --region us-east-1 --repository-name hoge
実行例。 これは2017/12に出たばかりの fargateモードで検証するため、バージニア北部リージョンにレポジトリを作成している
Read more...Posted: | Categories: AWS | Tags: ami
「AWSによる管理」のポリシー だけだと、残念だが噛み合わない(権限が大きすぎる)のも多数あるので、自前で用意する。 ポリシー何かポリシーを作ったら下記に追加する( 作成した時の意図とユースケースくらい ) 作成したロールについては、現状、不要( ロールは、それぞれの管理画面、例えばEC2やlambda、RDSなどの管理画面側で確認できるので)
開発と本番は共通のポリシー。AWSアカウントは異なるので、アカウントの部分は「*」で記述して共通に使えるようにする。
ECS Fargate に AWS SSM の機能を用いて直接シェルを起動するのに作成した
ECS Fargate 用に既に作ってあったロール、 ecsTaskExecutionRole にポリシーを追加する想定
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"ssmmessages:CreateControlChannel",
"ssmmessages:CreateDataChannel",
"ssmmessages:OpenControlChannel",
"ssmmessages:OpenDataChannel"
],
"Resource": "*"
}
]
}
経理情報を確認できるように作成 https://recipe.kc-cloud.jp/archives/6020 この情報を参考にした
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"aws-portal:ViewBilling",
"aws-portal:ViewUsage"
],
"Resource": "*"
}
]
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Resource": [
"arn:aws:logs:ap-northeast-1:111111111111:log-group:/aws/codebuild",
"arn:aws:logs:ap-northeast-1:111111111111:log-group:/aws/codebuild:*"
],
"Action": [
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:PutLogEvents"
]
}
]
}
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "ECSTaskManagement",
"Effect": "Allow",
"Action": [
"ec2:AttachNetworkInterface",
"ec2:CreateNetworkInterface",
"ec2:CreateNetworkInterfacePermission",
"ec2:DeleteNetworkInterface",
"ec2:DeleteNetworkInterfacePermission",
"ec2:Describe*",
"ec2:DetachNetworkInterface",
"elasticloadbalancing:DeregisterInstancesFromLoadBalancer",
"elasticloadbalancing:DeregisterTargets",
"elasticloadbalancing:Describe*",
"elasticloadbalancing:RegisterInstancesWithLoadBalancer",
"elasticloadbalancing:RegisterTargets",
"route53:ChangeResourceRecordSets",
"route53:CreateHealthCheck",
"route53:DeleteHealthCheck",
"route53:Get*",
"route53:List*",
"route53:UpdateHealthCheck",
"servicediscovery:DeregisterInstance",
"servicediscovery:Get*",
"servicediscovery:List*",
"servicediscovery:RegisterInstance",
"servicediscovery:UpdateInstanceCustomHealthStatus"
],
"Resource": "*"
},
{
"Sid": "ECSTagging",
"Effect": "Allow",
"Action": [
"ec2:CreateTags"
],
"Resource": "arn:aws:ec2:*:*:network-interface/*"
}
]
}
EC2にAWS SSMを用いてsshできるようにロールを作成した。 AWSの管理ロールである、AmazonEC2RoleforSSM をそのまま割り当てた( AmazonEC2RoleforSSM をダイレクトにEC2のIAMロールに割り当てる事はできなかった )
Read more...Posted: | Categories: AWS | Tags: Athena
Athenaは「s3にあるファイルをSQLで検索できる」というサービスになる。
既にs3にファイルの形で置かれている場合はAthenaで集計が可能だが、 コストが読み込んだファイルに応じてかかるので、なんらかの形で課金を抑える施策が必要。
日付でログを分けるような運用を考えてみる。
下記がまとまっていて分かりやすい。 Amazon Athenaではじめるログ分析入門 - Qiita 上記で紹介されていた、下記のページ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services ブログ も、Athenaを理解するのに役立つ、ただ… ただnginxログ解析のために、
イベントを受けるlambda -> kinesis firehouse -> s3 -> Athena は冗長ではないか… もうちょっとラクはできないのか AWS Glue ? GlueはRedshift, RDS, S3をソースにできる。ただpython, scalaで記述するらしい。
私がソースにしたいのは、CloudWatchなのだ。
が、考えてみると、CloudWatch -> s3へエキスポートできれば良い。方法はあった。 Amazon S3 へのログデータのエクスポート - Amazon CloudWatch ログ
割とシンプルにありそう。たぶんAPIもあるだろう。 で、なぜkinesis firehoseか?を考えると、こちらはリアルタイム解析なのだと思う。 今回の要件については…. redashで解析できれば良いので日時で良かろう。
ただディレクトリ構造については悩ましい。 s3に吐き出すディレクトリ構造については、他のエントリを参考にしよう。
Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services ブログ
クエリのパフォーマンス向上とコスト削減を目的とした、Athenaにおけるデータのパーティション化。
このセクションではLambda関数を用いてS3に格納されたAthena用のデータを自動的にパーティション化する方法を示します。
この関数はFirehoseストリームに限らず、他の手段でS3上に年/月/日/時間のプリフィックスで格納されている場合でも使用できます。
パーティショニングはAthenaにおいてクエリのパフォーマンス向上とコスト削減を実現するための3つの戦略のうちの1つです。
他の2つの戦略としては、1つはデータの圧縮、そしてもう1つはApache Parquetなどの列指向フォーマットへの変換があります。
Apache Parquetについては http://nagix.hatenablog.com/entry/2015/12/08/235512 が分かりやすかった。 解析には特定の列を用いて解析を行うが、あらかじめ列ごとのデータに分かれていた方が、特定の列のみを読み込むことができ、メモリ、検索の観点から早い。
Read more...Posted: | Categories: AWS | Tags: aws-cli
CLIの初期設定について 認証情報とコマンド補完 TASK NOTES
||対象||設定ファイル変数||環境変数||オプション ||アクセスキーID||aws_access_key_id|| AWS_ACCESS_KEY_ID|| - ||シークレットアクセスキー||aws_secret_access_key|| AWS_SECRET_ACCESS_KEY|| - ||リージョン||region||AWS_DEFAULT_REGION||–region ||出力||output||AWS_DEFAULT_OUTPUT||–output ||プロファイル||profile|| AWS_DEFAULT_PROFILE|| –profile ||設定ファイル||-|| AWS_CONFIG_FILE|| - ||トークン||aws_session_token||AWS_SESSION_TOKEN||-
という悩みを解決しそうな
AWSを操作(AWS CLIに限らない)する場合の環境変数設定作業を軽くする
Read more...Posted: | Categories: AWS | Tags: AWS, CloudWatch
ログについては、ひとまずCloudWatch logsに投げ込む運用にしています(注1
このCloudWatch logsを高速に検索できるインサイトをCLIから使う紹介です( WEBでの使い方については[ CloudWatch ]->[ インサイト ]でいろいろ試していただきたいです ) 障害調査の場合、どのみちgrepすることになるのでCLIでの手順も残しておきます。
https://docs.aws.amazon.com/ja_jp/AmazonCloudWatchLogs/latest/APIReference/API_StartQuery.html
--start-time 開始時刻をunixtime
--end-time 終了時刻をunixtime
--query-string 参考 https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/logs/CWL_QuerySyntax.html
検索する際の方法
limit 10 とか。
このためにインサイトを使っていると言えますが正規表現
| filter @message like /access_token=/
参考: サンプルクエリ - Amazon CloudWatch Logs
| filter @logStream LIKE /nginx/
| filter @message NOT LIKE /ua:ELB-HealthChecker/
| filter @message LIKE /status:5\d+/
| parse @message "time:*host:*forwardedfor:*req:*status:*size:*referer:*ua:*reqtime:*cache:*runtime:*vhost:*userid:*" as time, host, forwardedfor, req, status, size, referer, ua, reqtime, cache, runtime, vhost, userid
bash環境(dateコマンドはbrewのcoreutilsを使用)
Read more...Posted: | Categories: AWS | Tags: AWS, CloudWatch, lambda, MediaLive
MediaLive ですが、いろいろなエラーを通知してくれます。
やれ「RTMP 接続が切れたよ」とか「オーディオ入力 or ビデオ入力が無いよ」とかですね。 通常、ライブ配信が始まる前は当然、MediaLive への入力は無いはずなので、通知は構わないのですが、 ライブ配信中に出ると、それはもうトラブルシューティングの情報の一つとして重要なものになります。 ( というか当初、エラーは出てるっぽいし、挙動はおかしいんだけど、どんなエラーが出てるか分からないケースがあって窮地な時がありました )
今は管理画面の[ channels ]->[ 目的のチャンネル ]->[ Alerts ]から確認できます。が、ログとして残しておくのは良い事だと思います。 このエラー出力のフォーマットは決まっている訳ではなく、たまに変わります。ので 『あー、エラー出力が変わったからアラートが上がらなくなったのね』、という事がログを残しておくと分かります。
SNS のページ( https://ap-northeast-1.console.aws.amazon.com/sns/ )を開く
[ トピック ]->[ 新しいトピックの作成 ]->トピック名の入力、私は[ MediaLiveEvent ]、表示名[ MediaLiveEvent ]と入れてみた
作成したトピックの ARN をコピペ arn:aws:sns:ap-northeast-1:123456789012:MediaLiveEvent
同じ SNS 内の左側メニュー->[ サブスクリプションの作成 ]
[ トピック ARN ]に先程作成した MediaLive のトピックの ARN を入力
プロトコル メール(ほかにも lambda とかから Slack に送信できたりする)
エンドポイント : 自分のメールアドレス
はじめてのアラートメール設定の場合、AWS から確認のメールが飛ぶ
{
"source": [
"aws.medialive"
]
}
参考: SNS をコマンドラインから設定する : 電子の密林を開拓する
Read more...Posted: | Categories: AWS | Tags: AWS, CloudWatch
ここでは各環境向けにCPUとメモリ使用率のアラートを設定する方法を共有します。以下で説明する alarms.sh、 alarm_mem_template.json、 alarm_cpu_template.json の3つのファイルを用いて作業します。
各ECSサービスのアラームの設定をするShell Scriptです。 alarms.shの名前で以下の内容のファイルを作成します。 このスクリプトでは現在作成されている環境を全て取得し、そのそれぞれに対して、すでに同名のアラームがある場合には更新、 存在しない場合には新規にアラームを作成します。 そのため新しい環境を追加し、CPUおよびメモリ使用率のアラートを設定したい度に実行する必要があります。
#!/bin/bash
services=$(aws ecs list-services --cluster=test-dev-20181030-1 | jq -r .serviceArns[] | sed s#.*/##g)
THRESHOLD_MEM=70
THRESHOLD_CPU=70
for service in ${services[@]}; do
SERVICE=$service THRESHOLD_MEM=$THRESHOLD_MEM envsubst < ./alarm_mem_template.json > alarm_mem.json
SERVICE=$service THRESHOLD_CPU=$THRESHOLD_CPU envsubst < ./alarm_cpu_template.json > alarm_cpu.json
aws cloudwatch put-metric-alarm --cli-input-json file://alarm_mem.json
aws cloudwatch put-metric-alarm --cli-input-json file://alarm_cpu.json
done
alarms.sh を作成したディレクトリに alarm_mem_template.json と alarm_cpu_template.json をそれぞれ以下の内容で作成します。
{
"EvaluationPeriods": 3,
"TreatMissingData": "missing",
"ComparisonOperator": "GreaterThanThreshold",
"ActionsEnabled": true,
"AlarmActions": [
"arn:aws:sns:ap-northeast-1:123456789012:alert2Slack"
],
"OKActions": [
"arn:aws:sns:ap-northeast-1:123456789012:alert2Slack"
],
"Namespace": "AWS/ECS",
"Period": 60,
"Threshold": ${THRESHOLD_MEM},
"AlarmName": "Memory Utilization of ${SERVICE} alert to Slack",
"Dimensions": [
{
"Name": "ClusterName",
"Value": "test-dev-20181030-1"
},
{
"Name": "ServiceName",
"Value": "${SERVICE}"
}
],
"DatapointsToAlarm": 3,
"Statistic": "Average",
"MetricName": "MemoryUtilization"
}
{
"EvaluationPeriods": 3,
"TreatMissingData": "missing",
"ComparisonOperator": "GreaterThanThreshold",
"ActionsEnabled": true,
"AlarmActions": [
"arn:aws:sns:ap-northeast-1:123456789012:alert2Slack"
],
"OKActions": [
"arn:aws:sns:ap-northeast-1:123456789012:alert2Slack"
],
"Namespace": "AWS/ECS",
"Period": 60,
"Threshold": ${THRESHOLD_CPU},
"AlarmName": "CPU Utilization of ${SERVICE} alert to Slack",
"Dimensions": [
{
"Name": "ClusterName",
"Value": "test-dev-20181030-1"
},
{
"Name": "ServiceName",
"Value": "${SERVICE}"
}
],
"DatapointsToAlarm": 3,
"Statistic": "Average",
"MetricName": "CPUUtilization"
}
上記2つのファイルがある状態で $ ./alarms.sh を実行すると、各環境のCPU、メモリの使用率のアラートが設定することができます。
Posted: | Categories: AWS | Tags: ECR, ECS
基本、下記をなぞる。 が、「artifacts として事前準備で作成したタスク定義ファイルを指定します。」という表現だけが違う、気がする。 AWS CodePipelineがECSへのデプロイをサポートしたのでやってみる - Qiita
ECSのタスク定義に使用する( aws ecs register-task-definition –cli-input-json ./imagedefinitions.json で使用する ）ファイルのフォーマットと artifactsのフォーマットは異なる。 [ The image definition file image definitions.json contains invalid JSON format ]というエラーが出る。
ECRでDockerレポジトリを作成、Dockerイメージをビルドして、Dockerレポジトリに入れる。 Dockerレポジトリにあるイメージを用いて、ECSのタスク定義を行う。
CodePipelineは設定を行えば、定期的にGithubの特定のレポジトリを監視して、 変更があったらDockerイメージをビルドできる。この際、『どのようにビルドするか』を Gitレポジトリのトップディレクトリにある buildspec.yml に従って行う。このbuildspec.ymlを用意しておく。 あらかじめGithubに目的のブランチを作っておく( でないとCodePipelineの設定時に、ターゲットのブランチがプルダウンメニューに現れない ) CodePipelineの設定を行い、自動ビルドを回し始める。
https://ap-northeast-1.console.aws.amazon.com/ecs/home?region=ap-northeast-1#/repositories
ECSの管理コンソールにログイン ->[ リポジトリの作成 ]->[ リポジトリ名 ]にレポジトリ名[ api9 ]などを入れる。 このECRのレポジトリ名はGithubのブランチと揃えるようにした。
aws ecr get-login-password --region ap-northeast-1 | docker login --username AWS --password-stdin 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com
で表示されたコマンドを実行。Dockerfileがあるディレクトリに移動し
Read more...Posted: | Categories: AWS | Tags: AWS, ElastiCache
redisのスケールダウン手順
大きな作業の流れ。このページから複数ページに飛ぶようになっているので、作業ボリュームを見誤らないように。 https://docs.aws.amazon.com/ja_jp/AmazonElastiCache/latest/UserGuide/Scaling.RedisStandalone.ScaleDown.html
バックアップ自体は無停止( 内部的にはredisのBGSAVEが動いているようだ )
Webコンソールでのステータスは[ snapshotting ]に変わる。
バックアップ完了後、バックアップイメージから新しく立ち上げ直す。 既存のクラスターは削除する。 エンドポイントを付け替える、などを期待して検証したが、そういう機能は無かった。
redis-cli -p 6379 -h test.hoge.ng.0001.apne1.cache.amazonaws.com --scan --pattern '*' | less
redis-cli -p 6379 -h test.hoge.ng.0001.apne1.cache.amazonaws.com GET _PHCRhoge.v2.user-status-11111
Posted: | Categories: AWS | Tags: CloudFront, MediaLive, MediaStore
2018年初頭 ライブ配信基盤を AdobeMdiaServer から MediaLive によるライブ配信に切り替えました。 2020年以降ですとVimeo Liveが有力候補です。
カメラ -> エンコーダー -> MediaLive -> MediaStore -> CloudFront -> Safari
CDN でコストを下げつつ、ライブ配信したい構成ですね。
それぞれの役割は
MediaLive: RTMP などカメラからの情報を受け付ける。目的の動画フォーマットにエンコードする。ただ、これ自体にはストレージ機能は無い。
MediaStore: CloudFront と経由するためのストレージ
CloudFront: MediaStore に貯められた
それぞれを構築する順序だが、MediaLive の設定で「どこに動画データを貯めるのか」という設定が必要なため、 MediaStore の設定から行う
Read more...Posted: | Categories: AWS | Tags: lambda
この方法は導入した方が良さそう。デバックスピードを上げられる。 AWS Lambdaのための関数のローカル開発とテスト
handlerに渡ってくるeventとcontextというオブジェクトについての補足
event: 実際に渡ってくるイベントのデータ(S3のアップデートとかKinesisのレコードとか）。
context: Lambda functionの呼び出しコンテキスト。done()というAPIを呼び出すと関数が終了するのだが、コードをちょっと追いきれてないのでとりあえず単純にreturnするだけな感じにstub化。ちなみにcontextオブジェクトのダンプは以下のとおり。done()の中で呼び出されているpostDone()は後で追ってみる。
http://qiita.com/toshihirock/items/8d06a524df79e7bb675c
AWSのリファレンスを見て、左側のメニューから使いたいサービスをクリック
node.jsでLambdaを実装した時のトラブル&解決策集
Read more...Posted: | Categories: AWS | Tags: AWS, MediaLive, MediaPackage
2017/11 にリリースされた AWS メディアサービスを使って、ラクして動画配信したい。 できる限り遅延は無い方向で！ まずざっくりとした使い方を把握して、どの程度、細かく設定できるのか知りたい！ ( 実際のスマホでの確認までではなく、PC 上でエンコードされたライブが見えるところまでが今回のゴール )
ライブカメラ -> Wirecast -> RTMP(ないし RTSP) -> エンコーダー -> CDN -> ユーザ
CDN 使うと大規模に安く配信できるので使いたい。が、当然できる限り遅延は少なくしたい。
あとマルチビットレートの設定が最初から入っているのとか、冗長化を初めから考慮されてる設定は素敵。 2017/12/04 時点では、MediaPackage で選択可能な配信フォーマットは HLS のみでした。Mpeg-DASH とか必要な場合は、対応待ちです。
ただ、UI というか画面遷移が迷うところが多いし、一通り設定が完了しないと、 カメラからのデータを送れないしで、挫けそうになりました。この辺は時間が解決してくれるよ！という気持ちで。
EC2 で wowza や AdobeMediaServer 立てて運用するのはもちろんありだし、カスタマイズ性はこちらの方が高そうではある(インスタンスプランも選択できるし) が、運用コストはかかるのでありできれば減らしたい。
参考 クラウドベースの映像処理、保存、収益化 classmethod 様
2017/12 現在、MediaConvert、MediaLive、MediaPackage、MediaStore、MediaTailor という 5 つのサービスで構成されています。 このうち、自分に必要そうな『MediaLive』『MediaPackage』のみを使ってみました。 VOD、および他動画解析サービスなどと連携する場合は S3 に保存する MediaStore も併せて使う必要があるかもしれません。
(先に MediaPackage から設定する必要があります ) 当初、名前に Live ってあるし、MediaLive だけで完結できるか?と思いきやできず… なんか、CDN から見えるはずのオリジンサーバに該当する設定が無くね? どこで作るの? と見つからなかった。 MediaLive は「カメラから入ってきたデータをエンコードして Push する」という機能までなので、 それを「CDN などから Pull するための機能は『MediaPackage』が担当する」という事に気づかなかった。ので先に MediaPackage の設定から行う必要があります。
Read more...Posted: | Categories: AWS | Tags: lambda, SQS
Class: AWS.SQS — AWS SDK for JavaScript
AWS SDK for Node.js を用いた SQS の操作 – ゴミ箱
【AWS】SQS をただただ触ってみただけの話 - ニクニクドットミー Amazon SQS を利用する前に抑えておくべき 7 つのポイント - Qiita Amazon SQS を使う前に知っておきたい基本的なこと - Qiita Schoo の非同期パイプライン処理について - Qiita
『ロングポーリングして』という話は下記でも触れてる(一番下の方) フレクトのクラウド blog(New): lambda から lambda を起動するリレー方式 SQS コンシューマ
ショートポーリングの場合、キュー内のメッセージ数が少ない(1000以下など)場合、
キュー内のメッセージ数で重み付けされたサンプル数のサーバにしか問い合わせにいかないため、
MaxNumberOfMessagesに指定した数より少ないメッセージしか返ってこず、
キュー内のメッセージ数が極めて少ない場合、メッセージが返却されないことがあるため、
繰り返しreceiveMessageを発行する必要がある。
という理解であってるんですかね？
ロングポーリングの場合はどうなんでしょうか？ 次の記述が見つかりました。
どうやらロングポーリングの場合、上記の問題は発生しないようです。
(receiveMessageのWaitTimeSecondsを1以上にすると、ロングポーリングになる)
Lambdaはコンピューティング時間で課金されるため、なるべく「待ち」の時間は減らしたいところですが、ショートポーリングで1,2件づつメッセージを処理するよりは効率が良さそうです。
ロングポーリングを利用する(これは必須。劇的にリクエスト数が改善されます)
ロングポーリングは管理画面から設定できるので簡単。
送信側はバッチリクエストを利用すると良い(SendMessageBatch)
受信側も複数メッセージを一度に受信すると良い(MaxNumberOfMessages)
【新機能】Amazon SQS に FIFO が追加されました！（重複削除/単一実行/順序取得に対応） ｜ Developers.IO FIFO/重複排除のイメージがつかみやすい
Read more...Posted: | Categories: AWS | Tags: CloudFront
AWS - Amazon CloudFront の障害に備えてフェイルオーバーを設定する
ウェブディストリビューションでの Amazon S3 オリジン、MediaPackage チャネル、およびカスタムオリジンの使用
【新機能】Amazon CloudFrontに「Maximum TTL / Default TTL」が設定できるようになりました！ ｜ Developers.IO
このため、HLSを配信するCDNは様に設定しました。
/studio*-lq.m3u8
/studio*.m3u8
『どの程度エラーページを保持するべきか』という設定がある
エラーレスポンスのカスタマイズ - Amazon CloudFront
CloudFrontのエラーキャッシュのTTLを変更する - Qiita
カスタムオリジンの場合のリクエストとレスポンスの動作 - Amazon CloudFront
参考 キャッシュしないCloudFrontを設置する | // sakura note
【新機能】Amazon CloudFrontに「Maximum TTL / Default TTL」が設定できるようになりました！ ｜ Developers.IO
「Mimimum TTL / Maximum TTLはヘッダより強い」
「ブラウザのキャッシュはヘッダが優先される」
「何も設定しなければDefault TTLの値になる」
くらいのざっくりで覚えておいて、実際に設定する際にこの記事を参考にして頂ければと思います。
Is TLS Fast Yet? コアな人々が反応してる
Read more...Posted: | Categories: AWS | Tags: CloudWatch
CloudWatch Logs エージェント (awslogs) は非推奨になったため、現在は統合された CloudWatch agent を利用する方が安全です。インストールと設定は公式手順を参照してください。
CloudWatch Logs でのアイデンティティベースのポリシー (IAM ポリシー) の使用
実際のケースだと EC2 には既に IAM ロールが設定済みの場合が多いと思うので、下記を追記する形になる
[ IAM ]->[ ポリシー ]->[ ポリシーの作成 ]->[ JSON ]->テキストフィールドに下記の内容入り込んで[ Review Policy ] ポリシー名には[ CloudWatchLogs ]とした。
Read more...Posted: | Categories: AWS | Tags: MediaLive
チャンネルのグローバル設定にありそう
グローバル構成 - 入力損失の動作
グローバル構成設定。 Input Loss Behaviorフィールドは、AWS Elemental MediaLiveが入力ロスを処理する方法を変更します。 AWS Elemental MediaLiveは、入力が予定時刻内に到着していないことを検出すると、前のフレームを設定可能なミリ秒数（ゼロから永遠に）繰り返します。 その時間が経過すると、設定可能なミリ秒数（ゼロから永遠）の黒いフレームが表示されます。 その時間が経過すると、指定されたスレートまたは指定された色に切り替わります。 入力が再開されると、通常の取り込みが続行されます。
この動作を変更することができます。入力損失動作で、入力損失動作を選択します。 表示されるフィールドにはデフォルト値が表示されます。 必要に応じてフィールドを変更します。 後でデフォルトの動作に戻したい場合は、Input Loss BehaviorをDisabledに設定するだけです。
ffmpeg内のツールの ffprobeを使う -show_frames
キーフレームを30秒ごとに入れると、videoとaudioで30フレーム分の情報を見ることになるのでかなり出力される。
ffprobe -show_frames hoge.ts | less
❯ ffprobe -show_format hoge.ts
ffprobe version 3.3.2 Copyright (c) 2007-2017 the FFmpeg developers
built with Apple LLVM version 8.1.0 (clang-802.0.42)
configuration: --prefix=/usr/local/Cellar/ffmpeg/3.3.2 --enable-shared --enable-pthreads --enable-gpl --enable-version3 --enable-hardcoded-tables --enable-avresample --cc=clang --host-cflags= --host-ldflags= --enable-libmp3lame --enable-libx264 --enable-libxvid --enable-opencl --disable-lzma --enable-vda
libavutil 55. 58.100 / 55. 58.100
libavcodec 57. 89.100 / 57. 89.100
libavformat 57. 71.100 / 57. 71.100
libavdevice 57. 6.100 / 57. 6.100
libavfilter 6. 82.100 / 6. 82.100
libavresample 3. 5. 0 / 3. 5. 0
libswscale 4. 6.100 / 4. 6.100
libswresample 2. 7.100 / 2. 7.100
libpostproc 54. 5.100 / 54. 5.100
Input #0, mpegts, from 'hoge.ts':
Duration: 00:00:01.06, start: 27410.447556, bitrate: 1105 kb/s
Program 1
Stream #0:0[0x1e1]: Video: h264 (Main) ([27][0][0][0] / 0x001B), yuv420p(progressive), 320x240 [SAR 4:3 DAR 16:9], 30 fps, 30 tbr, 90k tbn, 60 tbc
Stream #0:1[0x1e2](und): Audio: aac (LC) ([15][0][0][0] / 0x000F), 48000 Hz, stereo, fltp, 192 kb/s
[FORMAT]
filename=hoge.ts
nb_streams=2
nb_programs=1
format_name=mpegts
format_long_name=MPEG-TS (MPEG-2 Transport Stream)
start_time=27410.447556
duration=1.064000
size=147016
bit_rate=1105383
probe_score=50
[/FORMAT]
Posted: | Categories: AWS | Tags: AWS, CodeBuild
※ サービス固有に設定した方が良さそうな環境変数もあるので注意が必要( たとえば外部サービスの鍵など )
| 変数 | 用途 | 例 |
|---|---|---|
| ${AWS_ID} | 開発と本番で共通のbuildspec.ymlを利用したい。それぞれAWS IDが異なるので環境変数で設定可能にする。 | |
| ${API_ROOT} | 開発時に参照するエンドポイントと本番系は異なるため | 開発: dev.hoge.com 本番: wwww.hoge.com |
| ${NODE_ENV} | 開発時はdev、本番時はproductionを指定することが多い( productionを設定していると、yarn install時、devDependinciesが無視される) devはMac上の開発環境で使い、ECSはproductionを用いる | 開発: dev 本番: production |
| ${ECS_TASK} | 開発時はenv**という名前でECSのリソース(タスク定義、サービス)をアサインする。本番系はenvではなくサービス名称を用いるため異なる。 | 開発: dev32 本番: wwwなど |
| ${ECS_SERVICE} | 開発、本番で異なるため | |
| ${ECS_CLUSTER} | ECSクラスター名も開発と本番で異なる(開発環境は都度クラスターを構築するのは工数がかかりすぎるので統一している。が本番系は別にクラスターを構築し、コンテナ間でリソースの上限やお互いのサービスの負荷の影響を与える可能性を考慮して、クラスターレベルで分離している) | |
| ${API_SHARED_ACCCESS_TOKEN} | ||
| ${AWS_ACCOUNT_ID} | ||
| ${AWS_DEFAULT_REGION} | ||
| ${HOST_NAME} | ||
| ${IMAGE_REPO_NAME} | ||
| ${IMAGE_TAG} | ||
| ${PORT} | ||
| ${WWW_ROOT} |
dev のタグをつけるイメージに対しては必ずタグをつける( タグがないイメージにアクセスしにくいので、実質的にバックアップの意味にもならない。
Read more...Posted: | Categories: AWS | Tags: AWS, CodeBuild
環境固有の環境変数の修正がある。
aws codebuild batch-get-projects --names hoge-web | jq '.projects[0]' > ~/original.json
比較として、CodeBuildを作成する際に参考になるjsonは aws codebuild create-project –generate-cli-skeleton で取得可能
取得したjsonと –generate-cli-skeleton で取得した雛形を比較しながら、 取得したjsonを修正する。
aws codebuild create-project –cli-input-json file://修正したもの.json
Read more...Posted: | Categories: AWS | Tags: AWS, RDS
replica1のmax_connectionsを確認したところ上限値1000でした
mysql> show global variables like 'max_connections';
+-----------------+-------+
| Variable_name | Value |
+-----------------+-------+
| max_connections | 1000 |
+-----------------+-------+
1 row in set (0.01 sec)
この障害はreplicaがボトルネックと断定できます。
大体、ClassmethodのページのようにIAMを作成し付与します。
Classmethodのサンプルだと、全てのクエリをロギングする設定なので絞ります。 クラスターパラメータグループを変えます。
[ RDS ]->[ クラスター ]->[ aurora ]->[ DB クラスターのパラメータグループ ]のリンクをクリック->[ フィルタ パラメータ ]のテキストフィールドに[ audit ]を入力 下記の要素がリストアップするので変更します。都度、[ 変更の保存 ]をする必要があります。
Single-AZ DB インスタンスでこの DB スナップショットを作成すると、I/O が短時間中断します。この時間は、DB インスタンスのサイズやクラスによって異なり、数秒から数分になります。
結構ばらつきがあるのに注意が必要だ。
Read more...Posted: | Categories: AWS | Tags: Codepipeline
CIを回すサービス
それほど設定は面倒ではなかった。CodePipelineのウィザードに従うと、必要なIAMの作成、CodeBuildのプロジェクトが一気通貫で作成される。
ただ、buildspec.ymlなど各種手順を構築するのが面倒ではある ( が、これは、会社やサービスのシステム構成によってデプロイ方法は異なるものなので、しょうがない。本質的な問題と言える。 この手のツールにありがちな「本質的な悩みに到達する前の作業に時間がかかる」といった悩みの時間は少ないと言える )
git cloneできない。これsshの設定からやらねばならんか…
[Container] 2017/12/21 11:25:28 Running command git clone git@github.com:zemi/Docker_Dev.git
Cloning into 'Docker_Dev'...
Host key verification failed.
fatal: Could not read from remote repository.
Please make sure you have the correct access rights
and the repository exists.
基本、これに添っていきたい CloudFormationで、ECSのCI/CD環境を構築した際のハマりどころ 〜CodePipeline,CodeBuild,KMSも添えて〜 - Qiita
CodePipeline, CodeBuildを使ってAmazon ECSへの継続的デプロイメントを試してみた ｜ Developers.IO
ここが非常に参考になった、権限が足りない場合がある https://qiita.com/tiibun/items/f0045011c86efca254fc
高速化は –cache-from を使うようだ https://qiita.com/na-o-ys/items/7e7a7e4cde378fc54b32
CloudFormationで構築した方が、作業早いし、再現性が高い、理想的といえる。 がGUIでやってみても、それほど時間がかかる訳ではないので残しておく
Codebuildを選択すると、追加で設定可能なメニューが現れる。 これはCodeBuild側のプロジェクト設定( わかりづらいが、PipelineからCodeBuildのプロジェクトが作れるようになってる。慣れると一気通貫で設定ができるので、この方が効率良さそう ) [ 新しいビルドプロジェクトを作成 ]を選択、プロジェクト名も入力。
Read more...Posted: | Categories: AWS | Tags: ECR, ECS
ALB->ECSインスタンス->コンテナ->RDSとかRedis といった構成を構築する
ECRにログイン
ECRへのアクセス権を得るには下記出力を実行する
aws ecr get-login-password --region ap-northeast-1 | docker login --username AWS --password-stdin 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com
コンテナにタグつけ
docker tag example_web:latest 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/example_web:latest
push
docker push 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/example_web:latest
<default>コンテナ名 : 任意
イメージ : ECRのページで確認。 あるいはdocker push で指定する先
メモリ制限 : ソフト制限 500MB / ハード制限 1000MB にした
コンテナ用に予約するメモリのソフト制限 (MiB 単位)。
システムメモリが競合している場合、Docker はコンテナメモリをこのソフト制限に維持しようとします。
ただし、コンテナは必要に応じて、memory パラメーターで指定したハード制限 (該当する場合)、またはコンテナインスタンスの使用可能なメモリの、
いずれか先に達するまで、追加のメモリを消費できます。
このパラメータは、Docker Remote API の コンテナを作成する セクションの MemoryReservation と docker run の --memory-reservation オプションにマッピングされます。
コンテナ定義で memory と memoryReservation の一方または両方を 0 以外の整数を指定する必要があります。 両方を指定する場合、memory は
memoryReservation より大きいことが必要です。memoryReservation を指定する場合、
コンテナが配置されているコンテナインスタンスの使用可能なメモリリソースからその値が減算されます。それ以外の場合は、memory の値が使用されます。
たとえば、コンテナが通常 128 MiB のメモリを使用しているが、短期間に 256 MiB のメモリにバーストする場合は、
memoryReservation を 128 MiB に、memory ハード制限を 300 MiB に設定できます。
この設定により、コンテナは、コンテナインスタンスの残りのリソースから 128 MiB のメモリのみを確保できますが、必要に応じて追加のメモリリソースを消費できるようにもなります。
ポートマッピング ホストポート : 空 / コンテナポート 10080 / プロトコル TCP
Read more...Posted: | Categories: AWS | Tags: ECR, ECS
Amazon ECS タスク定義の無効な CPU またはメモリエラーをトラブルシューティングする - Amazon Elastic Container Service
どうしてもCPUのスペックに合わせてメモリも増やす必要がある…
Amazon ECS サービス定義パラメータ - Amazon Elastic Container Service
Read more...Posted: | Categories: AWS | Tags: ECR, ECS
いろいろな理由で再起動したいことはあります。例えば
などですね。
以上でECSコンテナの再起動が行われます
※ 再起動ですが、結構時間かかります… 細かく『いまどういう状態なのか?』を確認する場合ですが、 この再起動はブルーグリーン方式で、ダウンタイムが無いように再起動するようにしています。
どのような順番で行われるかというと、
新しいコンテナをheltyにし、アクセスを受け付け始め 、 古いコンテナをdrainingします
上記の流れで『今、デプロイがどのような状態なのか?』を知ることができますPosted: | Categories: AWS | Tags: AWS, aws-cli, KMS
http://qiita.com/kanagi/items/2008aa9f43be26bd2746
http://dev.classmethod.jp/cloud/aws/kms-admin-user/
2016/12/13 mackerelの監視のON/OFFに使用した
KMSのざっくりとした理解としては 「 暗号化、復号化の悩みとして『鍵を使って暗号化するのは技術的に可能』だが『鍵の保管場所』に困る」という点を解決するサービス、 という理解。
AWS KMSでの暗号化/復号化の手順はclassmethodのココが分かりやすい。
一度、aws-cliで復号化まで行う(15分程度)とよく分かる。 また暗号化されたciphertextはコードに埋め込んで使用する
下記にmackarelでの暗号化、復号化の方法ですが
[ IAM ]->[ 暗号化キー(Encryption Keys) ]->[ フィルター: ]で[ アジアパシフィック(東京) ]をクリック [ MackarelAPI ]をクリックし、[ ARN ]の値をメモする。 ( 2016/12/13時点の mackarelのマスターキーは[ arn:aws:kms:ap-northeast-1:123456789012:key/12345678-1234-1234-1234-1234567890ab ]だった )
ココの方法に従い、 aws-cliで上記のarnを指定して環境変数KEYIDにarnを指定する
export KEYID=arn:aws:kms:ap-northeast-1:123456789012:key/12345678-1234-1234-1234-1234567890ab
暗号化
aws kms encrypt --key-id $KEYID --plaintext 'mackarelのAPIキー'
下記の内容が出力される
{
"KeyId": "arn:aws:kms:ap-northeast-1:123456789012:key/12345678-1234-1234-1234-1234567890ab",
"CiphertextBlob": "himitu"
}
CiphertextBlobをコード側で利用する。 node.jsでのコードは下記が参考になる。
Read more...Posted: | Categories: AWS | Tags: aws-cli, Route53
どこかでドメインを取る
Route53 の設定は https://qiita.com/Yuki_BB3/items/effdf1bb38263bfef82a を参考にした
ZONENAME="example.net." # 最後に「.」ドットをつけるの重要... 30minほど悩んだ...
aws route53 list-hosted-zones | jq -r ".HostedZones[] | select(.Name == \"${ZONENAME}\") | .Id" # bashの変数を読むためにダブルコーテーションをクオートする
aws route53 list-hosted-zones
Posted: | Categories: AWS | Tags: AWS, EC2
なるべくサービス側のシステムを触らずにALBだけでメンテナンス画面を出したかった
参考: FixedResponseActionConfig (ALB)
• Fixed response のメッセージボディは 1024 バイトまで
• HTML を入れる場合はサイズ制限が厳しいので、必要なら minify して縮める
• CDNキャッシュ初期化は必要なドメインすべてで行う必要がある
Read more...Posted: | Categories: AWS | Tags: AWS, EC2
EC2のオートスケールは、EC2のWebUIの下記の要素で作成する
起動設定を作ってから、AutoScalingグループを作成する。 [ AutoScalingグループ ]には「どのAMIからEC2インスタンスを作成するか」という[ 起動設定 ]を切り替えることができる。
高負荷時のオートスケールにかかる時間は5分から6分程度、EC2インスタンス起動に通常、120秒ほどかかる事を考えると、 負荷の検知、スケールアウト準備、インスタンス起動、サービス開始、と妥当な時間のように思う。
が、ライブ開始前と21:00の負荷の際にはあらかじめサーバを足しておきたい。この設定は [ AutoScalingグループ ]->[ スケジュールされたアクション ]で設定可能。
※ このスケジュールされたアクションを設定する際の [ 開始時刻 ]の注意点は
実際にスケジュールが実行されたかどうかは[ アクティビティ履歴 ]を見ると分かる
Read more...Posted: | Categories: AWS | Tags: AWS, EC2
iperfなどで計測する。
iperf -c %LOCAL_IP_ADDRESS% -t 60
EC2 – EC2 間 は5Gbps程度 参考 水門は開いた – EC2 インスタンスのネットワーク帯域幅が増大
/etc/sysconfig/cloud-init の package_setupの項目をnoにする。
参考 VPC内にEC2を立ち上げようとしてcloud-initのpackage_setupでハマる
余計なセキュリティグループがついてないか、つまり余計なポートが空いてないか
opsに余計なのがついてたり( port 22 が、まだ空いていたり )
AZ分散しているか?
たまに「サブネットを作ってなかった」というミスがあり、この場合、サブネットが寄ってしまっている。
opsにはEIPが割り当てられているか
パラメータストアにSLACKの値は設定しているか
port 443 でリスナーが立っているか?
『CloudFront障害』のケースを考えると、オリジン側もHTTPではなくSSLで受ける必要がある。
Deletion Protection をonにする。削除されなくするやつか
ELBのtarget groupにおける stickness が無効になってたので30秒で有効に変更する
下記のファイルで必要になる。 UID:GID統一の方法としては
yum -y install git gcc make libtool
sudo vi /etc/sysctl.conf
下記を追記
Read more...Posted: | Categories: AWS | Tags: WAF
IPアドレスフィルタ
[ IP Address ]->[ Create Condition ]
名前は対象とフィルタリングルールが分かるように
左側の[ Rule ]
[ dose ]->[ origin from an IP adress in ]->IPアドレスグループ
[ Web ACLs ]->[ Create web ACL ]
Web ACL name
Region
Resource type to associate with web ACL -> ALB
AWS resource to associate -> 付与するALB
[ Set up a web access control list (web ACL)]は、既にルールを作っているので、そのまま次へ
[ Create rules ]では作成済みのルールを選択->[ Add rule to ACLs ]
Action を Allow
Read more...Posted: | Categories: AWS | Tags: AWS, AWSアカウント
[[Amazon Linuxの正体 ～タイムゾーン～ | サボり屋の技術メモ|https://angelndxp.wordpress.com/2012/06/25/amazon-linux%e3%81%ae%e6%ad%a3%e4%bd%93-%ef%bd%9e%e3%82%bf%e3%82%a4%e3%83%a0%e3%82%be%e3%83%bc%e3%83%b3%ef%bd%9e/]]
そもそも必要になるケースが少ない、ので触れる機会が少ないのでメモを残しておく
- 例えばスマホが壊れるケースなどが考えられる
- [AWSアカウントで多要素認証(MFA)できなくなった。電話認証も失敗した時の対処方法 - そろそろ本気を出しますか](https://that-is-nuts.com/archives/142)
- [スマホ交換したら、AWSアカウントで多要素認証(MFA)できなくなった→電話認証も失敗！ | リーマンダッシュ](https://salaryman-dash.com/2020/11/08/aws%E3%82%A2%E3%82%AB%E3%82%A6%E3%83%B3%E3%83%88%E3%81%AE%E3%83%AB%E3%83%BC%E3%83%88%E3%83%A6%E3%83%BC%E3%82%B6%E3%81%A7%E5%A4%9A%E8%A6%81%E7%B4%A0%E8%AA%8D%E8%A8%BCmfa%E3%81%A7%E3%81%8D%E3%81%AA/)
Posted: | Categories: AWS | Tags: AWS, EC2
AMIの選択はEC2を起動する際やここから検索できる ただ検索できた方が、なにかと自動化しやすい( わざわざブラウザで開かなくて良い )ので方法を残す
aws ec2 describe-images \
--region ap-northeast-1 \
--owners 'aws-marketplace' \
--filters 'Name=name,Values=*KUSANAGI*'
Amazon Linux は SSM パブリックパラメータから取得する方が確実。 公式: Amazon Linux 2023 の AMI を取得する
Amazon Linux 2023 (x86_64) の例:
aws ssm get-parameter \
--region ap-northeast-1 \
--name /aws/service/ami-amazon-linux-latest/al2023-ami-kernel-default-x86_64 \
--query 'Parameter.Value' \
--output text
Amazon Linux 2 など他の系列は、該当するパラメータ名を公式一覧から確認する。
「あるオーナーの更に、プロダクトごとに絞り込みたい」ようなケース。
オーナーは、大雑把にいうと「Amazonが所有者のもの( amazon )」と「それ以外( aws-marketplace )」な区分がある。
Read more...Posted: | Categories: AWS | Tags: VPN, YAMAHA
http://jp.yamaha.com/products/network/solution/advanced-qos-hierarchy-rtx5000/#kyoten_1
ヤマハのルータでの帯域制御は 優先制御と帯域制御がある。 優先制御が、キューイング、で 4 つの優先度のキューにあり、最上位の 4 のキューが空にならないと 3 以降のキューが処理されないタイプ 帯域制御は、帯域で、最低限の帯域保証という形になる。
既存の設定は優先制御だった。 QoS のグラフは 2 点の問題がある。
そもそも rtmp プロトコルの処理も class2( デフォルトで全ての通信はここに含まれる )に含まれてしまう。つまりフィルタリングできていない。
これはフィルタリングルールを tunnel 内に移動しても同様だった。書籍どおり設定しているのだが。
[ 設定している帯域の何%か ]で表示する。つまり speed 100m のように帯域を絞らないと表示されない。
これは speed 100m のように帯域制限すれば class 2 の所にトラフィックのグラフが動くようになる。本来はプライオリティの高い 4 の所のグラフが動いて欲しいが
更に、[ では 80, 443 ポートへの通信のプライオリティを下げてはどうか ]と試した段階でルータへの接続ができなくなった。
wifi ルータが死んだだけかもしれない。 仮に[ これが問題を引き起こしたのだ ]と考える( 考えなくても良いかもしれないが )と、結構、80, 443 への通信が多く。なにかウェイトがかかるような、特に wifi ルータが異常になるようなことなんだろうか
2017/06/07 時点で ipsec sa policy …..(既存の設定に追加する形で) anti-replay-check=off は有効になっている。 と思ったら、Active 機の tunnel 201 の設定に入っていない。 が配信時間中なので、明日、設定を投入するようにしよう。
Read more...Posted: | Categories: AWS | Tags: AWS, lambda, SNS
SNS + Lambda + Slack でアラート通知を受け取る - Qiita
http://dev.classmethod.jp/cloud/aws/sns-mobile-token/ この中のフローが非常に参考になる。
ハイパフォーマンスGaurun〜メルカリの大規模プッシュ配信を支えるミドルウェア〜 - Mercari Engineering Blog
http://faq.growthbeat.com/article/60-push
http://faq.growthbeat.com/article/81-growthpush
具体的にエラーとなるのは、下記のような場合です：
iOSの証明書の有効期限が切れている
iOSの証明書が無効化されている。
AndroidのAPIキーのIP制限が設定されている
Androidの証明書が無効化されている
http://qiita.com/toshiyuki_wada/items/a072ec557a49c6f8c00a
http://qiita.com/tcsh/items/e2184f8c7c283e93b167
Amazon Simple Notification Service のメトリックスおよびディメンション - Amazon CloudWatch
NumberOfMessagesPublished 発行されたメッセージの数。
NumberOfNotificationsDelivered 正常に配信されたメッセージの数。
NumberOfNotificationsFailed Amazon SNS が配信に失敗したメッセージの数。
このメトリクスは、Amazon SNS が Amazon SQS、電子メール、SMS、またはモバイルプッシュのエンドポイントへのメッセージ配信の試行を停止した後に適用されます。
HTTPまたはHTTPSエンドポイントに対して配信が試行されるたびに、メトリクスが1つ追加されます。
他のすべてのエンドポイントの場合、メッセージが配信されないとカウントが1増加します (試行回数に関係なく)。
HTTP エンドポイントの再試行の数は制御できます。詳細については、「HTTP/HTTPS エンドポイントに対する Amazon SNS 配信再試行ポリシーの設定」を参照してください。
aws sns create-topic --name test_20150715 --region ap-northeast-1
出力例:
Read more...