BREAKING NEWS

プログラミング

自動車

写真

2018/05/18

Pythonでウェブスクレイピング

この記事のまとめ:

Pythonでウェブスクレイピング(ウェブクローリング)する上で基本的な処理として下記を紹介しています。

  • Refequestsライブラリを使ったHTMLの取得方法
  • Seleniumを使ったJavaScript対応ページのHTMLの取得方法
  • robots.txtの確認方法
  • Beautiful Soupを使ったHTML解析方法
  • ウェブスクレイピングの利用例
背景:

仕事や趣味でウェブページから手早く取得するためにウェブスクレイピングをやってみようと思った次第で、意外と簡単にできたのでその作業をまとめております。

2018/05/16

PythonでPosgreSQLを操作する

この記事のまとめ:
  • PythonでPostgreSQLのデータベースにSQL文を流す。
  • サンプルコード紹介。
背景:

Webスクレイピングで取得した結果のデータなどなどさまざまのデータ管理を行う上で、はじめはCSVファイルなんかで管理しようとしていたのですが、CSVだと限界を感じ始めたことをきっかけにPostgreSQLをデータベースとして使い始めたのですが、それを行うと必然的にプログラム上でPostgreSQLを操作できる必要が出てきますので調べた次第です。

2018/05/12

コンテストモデルの話

私今年で32歳になるのですが、昔から比較的好奇心旺盛で、何事もやってみないとわからないという質でとりあえず行き当たりばったりで挑戦してしまう心情です。

そんな中、この年になってヘアデザインコンテストのコンテストモデルをやらせて頂く機会があり、体験談を書いてみようかと思います。

といってもすでに1年以上前の話です。

なお、なんとなく特定されることを避けたいため具体的なコンテスト名などは伏せます。 当日はほとんどカメラを使う余裕がなかったので写真もほとんどないです。

2018/04/07

WindowsでのIBM Watson API用Python SDKのインストールエラー時の対処法

この記事のまとめ:
  • IBM Watoson APIを利用するためのPython SDKのインストールがWindowsで失敗したときの対策方法。
背景:

Watson APIをPythonで使うためにWindows 10のPCにWatson Developer Cloud Python SDKをpipでインストールしようとしたらエラーが出たので、その対処方法をまとめています。なお、Ubuntu 16.04のPCではエラーは発生しなかったです。

2018/04/05

UbuntuでのSambaの設定

この記事のまとめ:
  • Ubuntu 16.04でのSambaを設定してWindows 10のPCからフォルダアクセスを行う方法。
背景:

単純に家にUbuntu 16.04が動くPCとWindows 10が動くPCがあるので間でのファイル共有を行うためにUbuntu PC側にSambaの設定をしたのですが意外とてこずったので備忘録として設定方法を残しておきます。

2018/03/25

PostgreSQLのデータベースをWindows (SJIS)からUbuntu (UTF8)に移植する方法

PostgreSQLのデータベースをWindows (SJIS)からUbuntu (UTF8)に移植する方法

この記事のまとめ:
  • Windowsで作成した文字コードがSJISのPostgreSQLのデータベースをUbuntuのUTF8のデータベースに移植した流れを記載しています。
背景:

当初、自宅にあるWindows PCでPostgreSQLを動かしていたのですが、どこの環境でもデータベースにアクセスできるようにした方が利便性が高かったので、Ubuntuが動くVPSに移植しようとしたところ、文字コードの問題にぶち当たってしまったのでとりあえず対処した作業手順を載せておきます。

 
Copyright © 2014 hassiweb. Designed by OddThemes