web-technical-blog

web開発に関する技術メモ

python

pythonでのフォーマットや型変換について

pythonのフォーマット関数について dict型であれば、以下のようにしてフォーマットできる 変数「dict」をfor分などで使いまわす場合は、del関数で削除しないとデータがおかしくなるので注意 # ディクショナリ dict = {"name": "John", "age": 20} # アンパッ…

VSCでJupyterが使用できるということで試してみた

動作環境 windows10 設定したこと python3.6のパスを通した(環境変数) vscの拡張機能に以下を追加 Jupyter Python VS Code Jupyter Notebook Preview python -m pip install jupyter python -m pip install matplotlib #%% import matplotlib.pyplot as plt …

(Python)並行処理と並列処理について

並行・並列 並行は英語でConcurrent、並列はParallelと表現される 並行と並列は別ものである by RobPike 並行(Concurrent) 複数のスレッドを使って処理を走らせる スレッドは共有のメモリ領域を利用する 同時にいつくかの質の異なることを扱う 並列(Paral…

pythonでS3にgzip形式でPUTする

PythonでS3にgzip形式でPUTする際は以下のようにすればいける。 Python 2.7.5 import boto3 from boto3.session import Session buff = '111,222,333' # output csv session = Session(aws_access_key_id=your_access_key_id, aws_secret_access_key=your_se…

Twitterのタイムラインのスクレイピング

はじめに (twitter-past-crawler)を使用して、ある特定のハッシュタグから情報を取得し、取得した内容からタグクラウドを作成した https://github.com/keitakurita/twitter-past-crawler TwitterAPIの仕様 TwitterAPIは1週間より前のツイートは取得できない…

python3.6でpycryptoをインストールする際にはまったのでメモ...

windows環境はエラーします。mac環境はエラーはしない。。 python3.6にpycryptoをインストールするとエラーになる時の解消法 $ pip install pycrypto 上記コマンドをインストールしようとするとエラーが... ビルドツールのインストールが必要 「Visual Studi…

lambdaをローカル環境で開発する方法(mac)

python-lambda-localをインストールする https://github.com/HDE/python-lambda-local 実行コマンド python-lambda-local -l venv/lib/ -f lambda_handler main.py event.json event.json lambdaでテストする際のテスト呼び出しコードを記入する AWSサービス…

PyCharmでpythonを動作させてみた

python2.系とpython3.系をwindows環境にインストール virtualenvで切り替えが可能なのでいいかも... C:\Users\xxxx>python Python 3.6.3 (v3.6.3:2c5fed8, Oct 3 2017, 18:11:49) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credits"…

CentOS7にPytho3.6をインストールして、virtualenvで2.xと切り替える

1.IUS Community Project のリポジトリを追加する yum install -y https://centos7.iuscommunity.org/ius-release.rpm 2.Python 3.6をインストール yum install -y python36u python36u-libs python36u-devel python36u-pip 3.エイリアスを設定する ln -s /b…

python boto3で認証情報を指定する方法

boto3で認証情報を指定する方法を探していたので 以下にメモしておく。 import boto3 s3 = boto3.client('s3', aws_access_key_id='xxxxxxxxxxxxxxxxxxxx', aws_secret_access_key='yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy', region_name='ap-northeast-1') p…