web-technical-blog

web開発に関する技術メモ

Lambdaの開発をローカル環境でする方法

mac環境でlambdaをローカル環境で開発する方法 python-lambda-local 以下をインストールすると可能になる https://github.com/HDE/python-lambda-local 実行コマンド python-lambda-local -l venv/lib/ -f lambda_handler main.py event.json event.json lam…

CloudWatchでLambdaのエラー内容を確認するコマンド

Lambdaでエラーした内容は以下のコマンドで確認できる ### awslogsコマンド awslogs get /aws/lambda/lambda-function -S --timestamp --start=1d --profile=xxx -f=ERROR

python3.6でpycryptoをインストールする際にはまったのでメモ...

windows環境はエラーします。mac環境はエラーはしない。。 python3.6にpycryptoをインストールするとエラーになる時の解消法 $ pip install pycrypto 上記コマンドをインストールしようとするとエラーが... ビルドツールのインストールが必要 「Visual Studi…

digdag runコマンドを実行する際のメモ

digdag runコマンドを実行する際の注意点をメモ。 digdag/embulkでのディレクトリ構成は以下のような感じで。 $ tree . ├── config │ ├── dev.yml │ ├── load_table_list.txt │ └── prod.yml ├── scripts │ ├── commons │ │ ├── _input_aurora.yml.liquid │ …

Lambda関数でS3をトリガーに設定する際に気を付けるポイント

Lambda関数を実行している際に、 なぜかaws-cliでs3にファイルをアップロードするとLambdaが発火せずにはまった内容。 原因はイベントタイプ設定で、イベントタイプで「PUT」を設定していたのが問題であった。 GUIからファイルをアップロードする際は、 マル…

LambdaでS3のイベントトリガーを設定しようとした場合にエラーする場合

LambdaでS3のイベントトリガーを設定しようとした場合に 以下のエラーが出る場合は、S3のプロパティのEventを確認して削除する Configuration is ambiguously defined. Cannot have overlapping suffixes in two rules if the prefixes are overlapping for …

lambdaをローカル環境で開発する方法(mac)

python-lambda-localをインストールする https://github.com/HDE/python-lambda-local 実行コマンド python-lambda-local -l venv/lib/ -f lambda_handler main.py event.json event.json lambdaでテストする際のテスト呼び出しコードを記入する AWSサービス…

コマンドプロンプト(windows10)でlinuxコマンドを使用できるようにする

Etc

「Gow」というツールをインストール https://github.com/downloads/bmatzelle/gow/Gow-0.7.0.exe 「clink」というツールをインストール https://github.com/mridgers/clink/releases/download/0.4.9/clink_0.4.9_setup.exe 参考URL https://qiita.com/mizuki…

virtualboxの共有フォルダの設定について

# ls -l /media drwxrwx--- 1 root vboxsf 0 12月 11 17:09 2016 sf_vbox_share このままだと権限がないので、 rootかvboxsfグループのユーザーしかアクセスできないため、 既存ユーザーをvboxsfグループに追加しておく。有効にするため一度再起動したら、 …

digdagServerの構築メモ

Centos7にdigdagサーバーを構築した際のメモ 久しぶりに自分のローカルPCにCentos7でサーバーを構築しようとしたが、 vagrant up しようとするとエラーが発生。。 下記組み合わせだとvagrant upがエラーする virtual box:バージョン 5.2.6 r120293 (Qt5.6.2)…

Go言語でJSONのデコード処理を検証してみた

go

GOでJSONをデコードする際の方法 色々検証してみた https://github.com/masahiro-yoshitachi/json-parse GoでJSONを処理する最も一般的な方法 Goの標準ライブラリには、JSONを扱うためのパッケージ(encoding/json)が含まれていて エンコード(構造体から文字…

Amazon S3に保存されているバケット毎のオブジェクト容量、オブジェクト数を知る方法は大きく分けて下記の2つの方法がある

aws

CloudWatchのメトリクスであるS3ストレージメトリクスのBucketSizeBytes、NumberOfObjectsを参照する AWS CLIでS3のバケット配下のオブジェクトに対して再帰的に容量と数を集計する。 CloudWatchのメトリクスは自動的に集計してくれるというメリットの一方で…

AWS SAMを利用してGolangなLambdaをデプロイする

AWS CLIでデプロイ(Windows環境) $ GOOS=linux go build -o main $ zip deployment.zip main $ aws lambda create-function \ --region us-west-2 \ --function-name HelloFunction \ --zip-file fileb://./deployment.zip \ --runtime go1.x \ --tracing-co…

Docker compose

npmコマンドが使用できる必要あり docker-composeコマンドが使用できる必要あり docker-compose.ymlファイルとは docker-compose.ymlファイルは以下のようにyaml形式でDockerコンテナに関する起動オプション(buildオプションも含まれることもある)を記述した…

Docker Hubのオフィシャルイメージを使ったLAMP環境(Apache+PHP+MySQL)

PHP+Apacheのイメージをつかってみる $ docker rund -d php:5.6-apache PHP+ApacheのイメージをDocker Hubから取得し、コンテナを起動 $ docker images REPOSITORY TAG IMAGE ID CREATED SIZE php 5.6-apache 61a89dae852c 3 weeks ago 378MB 取得したイメー…

DockerでPHP7.0 + Apacheの環境を構築する

PHP7.0 + Apacheを起動する docker run -d -p 80:80 --name php70-apache php:7.0-apacheでイメージからコンテナを立ち上げる(ローカルにimageがない場合はDocker Hubから取得してくれる) -pオプションでポートを80番でフォワード $ docker run -d -p 80:80 …

Docker for Macをインストール

公式サイトからDocker for Macをダウンロード https://docs.docker.com/docker-for-mac/install/ 安定版をインストール Stable Channel Get Docker For Mac(Stable)を選択する インストールの確認 $ docker version Client: Version: 17.12.0-ce API version…

最強のデータ分析組織を読んで

Etc

最強のデータ分析組織 なぜ大阪ガスは成功したのか はじめに 組織名は「ビジネスアナリシスセンター」 端的には言えば、社内の「データ分析専門組織」 毎回同じ悩みを打ち明けられる ビジネスアナリシスセンターに訪れる人たちと話しをすると 当社でもデータ…

WindowsでAWS Commna Line Interfaceをインストール

aws

windows環境でawsコマンドを使用する場合 MSIインストーラをダウンロードして使用するやり方 WindowsでPyhon、pip、AWS CLIをインストールするやり方 詳細は以下のURLを参考にすればできる https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/awscli-i…

virtualboxでネットワーク設定でつまずいたのでメモ

macOSでvirtualboxを作成して windows環境にそのイメージをインポートした際にネットワーク設定ではまった際のメモ ovaファイルのイメージをインポート ネットワーク設定が正しくならない場合があるので、電源を入れる前にネットワーク設定画面を開いてセー…

elasticsearch+kibanaをCentOS7にインストールしてみた

macOSでVM環境を構築して、elasticsearch(6.x)+kibana(6.x)をインストールした際のメモ 各種ソフトウェアのダウンロード virtualboxのダウンロード https://www.virtualbox.org/wiki/Downloads vagrantのダウンロード https://www.vagrantup.com/downloads.h…

golangでテストコードをかく

go

golangでテストコードをかく https://saitodev.co/article/golang%E3%81%A7%E3%83%86%E3%82%B9%E3%83%88%E3%82%92%E6%9B%B8%E3%81%84%E3%81%A6%E3%81%BF%E3%81%9F%E3%81%AE%E3%81%A7%E3%83%A1%E3%83%A2 http://straitwalk.hatenablog.com/entry/2014/09/18/2…

パッケージ構成

go

パッケージ構成は、大まかに分けて3種類... One Package Repository自体を単一のパッケージとみなす Coverageが取りやすい Libraryなど、簡素な構成で済むものに向いている . ├── ctx.go ├── debug.go ├── error.go ├── handler.go ├── handler_func.go ├──…

PyCharmでpythonを動作させてみた

python2.系とpython3.系をwindows環境にインストール virtualenvで切り替えが可能なのでいいかも... C:\Users\xxxx>python Python 3.6.3 (v3.6.3:2c5fed8, Oct 3 2017, 18:11:49) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credits"…

goのglideを使用してみた

go

GOPATHは以下に設定 /User/xxxx/go/ glideを使うときはGOPTAHに注意! GOPATH/src配下にプロジェクトがないと動かない!! パッケージ構成は以下のようにした myproject ├── glide.lock ├── glide.yaml ├── main.go └── vendor └── github.com └── go-easylog …

Windows7 64bit版でGo言語のクロスコンパイルを試す

go

環境 Windows7 go1.8.3 windows版のGoglandを使用 C:\lib\src\awesomeProject>go version go version go1.8.3 windows/amd64 go envで環境変数の確認 C:\lib\src\awesomeProject>go env set GOARCH=amd64 set GOBIN= set GOEXE=.exe set GOHOSTARCH=amd64 se…

RelaxTools Addin

Etc

excelの表をmarkdownの表に変換するには 「RelaxToolsAddin」を入れていた方がいい。nagayasu-shinya.com

VSCのmarkdownでPDFを印刷する際のメモ

Etc

拡張機能をインストール Markdown PDF markdown lint 改ページしたいところに以下の記述を入れる <div style="page-break-before:always"></div> PDFを横にする方法 Code -> 基本設定 -> 設定 { "markdown-pdf.orientation": "landscape" } 参考URL http://flow-developers.hatenablog.com/entry/2016/09/…

CentOS7にPostgreSQLをインストールする&COPYコマンドについて

ameblo.jp COPYコマンドは以下の通りファイル経由はスーパーユーザーである必要がある ERROR: ファイル経由のCOPY FROM、COPY TOを行うにはスーパーユーザでなければなりません HINT: 標準入出力経由のCOPYは誰でも実行可能です。またpsqlの\\copyも誰でも実…

GoビギナーズLT大会! 「最近、Go言語始めました」の会 #4

GoビギナーズLT大会! 「最近、Go言語始めました」の会 #4 ハッシュタグ:#golangjp 開催日:2017.10.24(火) 19:00 〜21:00 会場:株式会社メルカリ URL:https://go-beginners.connpass.com/event/64866/ イベント概要 Go言語入門者のLT大会&懇親会 最近Go…