MacBook 2022 (M2)が来たので自分用開発環境のセットアップをした。（Homebrew + anyenv + pyenv + poetry + Vim-bootstrap）

Python Mac

セットアップのたびに調べてるのが勿体無いので、MacBook 2022(M2)に自分用開発環境をセットアップした時の記録をしておきます。 Homebrew をインストール公式HP(Homebrew — The Missing Package Manager for macOS (or Linux))に記載の通りにコマンド実行…

2022-12-29

Pythonのurllib.parseモジュールを使ってURLを解析する

Python

小ネタかもしれないですが、よく使うので記載しておきます。分析作業をしてるときにPythonの処理の中でURLの必要な部分だけ抜き出したり、URLの要素から判定をしたいときにurllib.parseのurlparseを使って解析をしています。 urlparseの使用例 URL文字列のP…

2022-12-16

Python-Whoisを使用してWhois情報を収集する

Python

ドメインに対してのWhois情報を収集したいとき、もちろんLinuxのWhoisコマンドやWhoisを提供しているWebサービスを利用して収集する方法があるが、大量のURLリストに対してのWhois情報の収集を全て手で行うにはなかなか大変なので、Pythonを使って処理を自動…

2021-08-21

Pythonの古いrequestsモジュールで明示的に証明書を指定する

Python

APIがあるサイトの認証局が変わって証明書が変更になったんですが、OS側の証明書は更新されたのにAPIをたたいているPythonモジュールのほうがエラーを吐くようになってしまったので、調査対応した備忘録。結論 PythonのrequestsモジュールはOS標準の証明書…

2021-04-06

HerokuにFlaskアプリをアップロードして動かしてみた。

Python heroku

Herokuで動かされているアプリの挙動が知りたくて、自分で簡単なFlaskアプリを作成してアップロードして動かしてみた。確認環境 macOS Big Sur : 11.2.3 事前準備 Herokuを使うのに必要なことを順に挙げてみた。 Herokuアカウント作成ローカル環境の準備 …

2021-02-24

Pythonで文字コードを調べることができるchardetを使ってみた

Python

経緯 PythonでDBから取り込んだStringデータをEXCELに出力しようとしたときに文字コードのエラーでハマってしまって、そもそも変数に入ってる文字コードがわからないとエンコードできないなってことで調べてみるとChardetという外部モジュールを使うことで文…

2021-01-05

Pyenv＋Poetryの環境でPandasをインストールしようとしたらエラーがでた

Python

概要 Pyenv＋Poetryの環境でPandasをインストールしようとしたら下記のようなエラーが発生。実行コマンド $ poetry add pandas 出力エラー $ poetry add pandas Using version ^1.2.0 for pandas pyproject.toml+ ◀◀ buffers Updating dependencies Resolvi…

2021-01-03

pyenvを使ってバージョン管理をする

Python

使用しているWSLの環境で複数バージョンのPython3系での動作確認をするため、簡単にPythonのバージョンを切り替えられるPyenvをインストールしてみました。 pyenvとは pyenvはPythonのバージョン管理を行なうコマンドラインツールで、複数のバージョンのPyth…

2020-08-03

MinIOをPythonで操作してみよう

Python

以前紹介したMinIOをPythonで操作してみたいと思います。過去の記事はこちら www.tsubock-lab.xyz MinIOはAmazon S3互換であるためAmazon S3を操作する際のPythonモジュールを使用することで使用することができます。今回はBoto3というPythonモジュールを使…