DailyDiaryCron

かきため

Scrapy shell で画像を表示するデバッグ方法

scrapy shell を使ってスクレイピングしていると、実際にアクセスした画像URLをコピペして開くのが面倒だったので、コンソールから今どの画像を見ているのかを知りたくなった。

ダウンロードして開く

当たり前かもしれないが、ローカルで画像を開く場合、一度ダウンロードする必要があった。

$ scrapy shell
fetch('http://yahoo.co.jp')
import requests
import io
from PIL import Image
Image.open(io.BytesIO(requests.get(response.css('img::attr(src)')[0].extract()).content)).show()

Webブラウザから開く

こっちの方が簡単だった。

$ scrapy shell
fetch('http://yahoo.co.jp')
import webbrowser
webbrowser.open(response.css('img::attr(src)')[0].extract())

スクレイピングPython

Terminal.app から Vim で マウススクロールが固まる件について解決した

解決策

set visualbell の設定を削除する。

たったこれだけ

経緯と雑感

Terminal.app を利用していて、マウススクロールをした際、行末および行初まで思いっきり移動した際、固まる問題が解決した。 僕は なんちゃって自称Vim使い であり、 .vimrc にそこまでこだわりがなかった。

今回も新しいMac環境となった際、 「vim 設定 おすすめ」で一番上に来た記事の vimrc を意味もわからず設定している。 同じような人は居ないだろうか? 絶対いる。

こいつを反映したせいで、私のMacでは、 mouse=a を指定するはめになった。なんちゃって Vimmer な私はこの mouse=a は好きじゃない。

しかし、やらなければ、マウススクロールが勝手に固まるのだ。

たまたま Vagrant を利用した環境を整えていたところ、マウススクロールをしてもデフォルトのvimでは固まらない。 しかし使いにくいからいつものように設定を入れる。 固まる! 「そうか、.vimrc の設定を入れることで止まっていたのか。」 とやっと気づいた。

1行ずつ試し、ついに見つけた。ど真ん中においてある set visualbell 。こいつだった。

全ての環境の vimrc へ制裁という名の削除を行った事により、 私の vim 環境では mouse=a も同時に葬ることに成功した。繰り返す。

成功した。

ネットワーク速度をコマンドラインから見る方法

Webブラウザから、「速度」と検索して計測している皆さん、こんにちわ。 私はついに脱しました。

続きを読む

年商1000万超のITフリーランス

私がどのように1000万のITフリーランスへ達した生い立ちとなります。

続きを読む

税務署から業務の内容についてのお尋ね書が届いた話

さて、個人事業主 ( ITフリーランス ) になって1年と数ヶ月が経ち、5月末にこんな感じの文章とアンケート形式の返答封筒が届いた。

続きを読む

結婚した

結婚は墓場。そんな話を色んな場所で見るけど、僕は結婚しました。

続きを読む

個人事業主成り立ての僕が一戸建て購入を検討してローン審査が通らなかった話

どうして?

実際にローン審査を通した訳ではないけど、住宅情報の方にローンの話に詳しい方を紹介して貰い、相談に乗って頂いたら「無理っすね」と返された話です。

他の個人事業主になって収入アップを狙いたい。そして、マイホームでも買いたい。と、思う人がいれば参考にして頂きたいです。

続きを読む