深酒とお昼寝で忘れる

深酒とお昼寝で忘れる

素面でも意図したことを忘れがちなしらふいとさんは、忘れる前に何かしら書き残せたらとても満足のようです

Failed to load python (python3) host ー 複数マシンでホームディレクトリを共有している環境ではキャッシュに注意、という話

Linuxbrew Neovim pip

以前『重い腰を上げて Neovim ことはじめ ー Vim 環境の移行編）』に書いたように Mac では Vim から Neovim へ移行したのですが、この度 Linux でも同様の作業を行ないました。その際につまづいた点があり、事の顛末は ここ にある Neovim の Issue #6414 に書いてありますが、こちらにも記録を残しておきます。

初めに今回の話において重要となる環境について少し書いておきます。複数台の Linux マシンがネットワーク上でホームディレクトリを共有しており、OS は全て Ubuntu 14.04 で、プロセッサはマシンによって異なる世代のものが搭載されている、という構成です。

不思議なことに、あるマシンでは滞りなく Neovim のセットアップが完了するものの、別のマシンでは全く同じ手順でセットアップしたにも関わらず Python の組み込みに失敗する、という現象に遭遇しました。*1

ホームディレクトリを共有しているにも関わらず複数のマシンでそれぞれセットアップするのは、新しいプロセッサのマシンで Linuxbrew を用いてインストールしたバイナリを古いプロセッサのマシンで実行すると悲しいことに “illegal hardware instruction” することがあるためです。そこで Linuxbrew のインストール先は新しいプロセッサのマシンと古いプロセッサのマシンとで異なるディレクトリにしています。今回 Neovim の移行に失敗したのは、古いプロセッサのマシンでした。

具体的には、プラグインを何もインストールしていない素の Neovim で :python print 'hello' と :python3 print('hello') がどちらもエラーメッセージを出力して失敗します（下記は :python の場合）。*2

function provider#python#Call[9]..remote#host#Require[13]..provider#pythonx#Require, line 15
Vim(if):Channel was closed by the client
Failed to load python host. You can try to see what happened by starting nvim with $NVIM_PYTHON_LOG_FILE set and opening the generated log file. Also, the host stderr is available in messages.

:echo has('python') と :echo has('python3') はどちらも 1 を返し（といってもこれらが具体的に何をもって判定しているのかは理解していません）、 :CheckHealth は SUCCESS: Latest python2-neovim is installed: 0.1.13 および SUCCESS: Latest python3-neovim is installed: 0.1.13 と言っており、古いバージョンがインストールされているということはなさそうです。

検索してみると Neovim の Issue #2258 や #4470 では pip install --upgrade --force-reinstall neovim すると治ったという報告があるのですが、残念ながら今回はあてはまりませんでした。

そこで Neovim に Issue をたてて質問してみたところ、python のプロセスにデバッガを attach してみるくらいしかやれることはないよ、と言われたので早速 ここ を参考にやってみました。手順としてはまず NVIM_LISTEN_ADDRESS=/tmp/nvim nvim などとして Neovim を起動します。続けて別のターミナルで python または python3 を実行して、下記のようにコマンドを入力していきます：

Python 3.6.1 (default, Mar 30 2017, 19:12:03)
[GCC 4.8.4] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from neovim import attach
>>> nvim = attach('socket', path='/tmp/nvim')
[1]    19837 illegal hardware instruction (core dumped)  python3

見事に attach に失敗しました。見てみると、始めの方に書いた illegal hardware instruction (core dumped) というエラーメッセージ。なぜか新しいプロセッサ用にコンパイルされたバイナリを実行してしまっているようです。Linuxbrew でインストールしたバイナリということはないはずなので、pip and/or pip3 でインストールした何かが怪しいのではないかという疑惑。再度 pip install --upgrade --force-reinstall neovim してみると、どうやらこれは再インストールはするものの、再ダウンロードはせずにキャッシュされているものは再利用している模様。つまり、新しいプロセッサのマシンでキャッシュされたものが古いプロセッサのマシンにインストールされてしまったようです。キャッシュディレクトリ（~/.cache/pip）を削除してから再度インストールするか、pip install --no-cache-dir --upgrade --force-reinstall neovim したところ（pip3 も同様）、問題は解決しました。

Neovim のエラーメッセージ Channel was closed by the client は原因についていて言及していないので解決するのに少し時間がかかってしまいました。Linux 環境がやや特殊だったとは思いますが、共有ディレクトリに作成されるキャッシュは思わぬ挙動を引き起こすことがある、ということは頭の片隅に入れておくと良いかもしれません。

*1:Homebrew の代わりに Linuxbrew を用いて 先の記事 のとおりに Neovim への移行作業を行ないました。

*2:$NVIM_PYTHON_LOG_FILE を設定して実行してみましたがログからは原因が分かりませんでした。ログの中身に興味のある方は Issue を見てください。

Bash シェルスクリプトの絶対パスが、そのスクリプトの中からでも分かりますか

Bash Memo Shell script Stack Overflow

分かります。どう書くかを知っていると意外と便利なこの質問は Stack Overflow の こちら です。最も upvote されている回答のワンライナーは下記のとおりです。

"$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"

ただし回答にも書かれているとおりこのワンライナーには少々問題があり、ファイルがシンボリックリンクだと解決できません（ディレクトリがシンボリックリンクの場合は cd を cd -P にすることで解決されます。pwd を pwd -P にしても同様だと思います）。回答ではさらにこの問題に対応できる、７行からなるコードも紹介されていますが（興味のある方は こちら）ふだん使いするには少し複雑すぎる気がします。

そこで、コメントにちらほら書かれていたり 紹介されている Gist にもあるように、

"$(dirname "$(readlink -f "$0")")"

がシンプルかつ十分な書き方です。……ただしこのワンライナーにも問題があり、Linux など GNU の readlink がインストールされている環境でしか動きません。

Mac を使っている場合は、たとえば Homebrew で coreutils パッケージをインストールして greadlink を readlink の代わりに使うか、ファイルのシンボリックリンクの解決は諦めて（ほとんどのユースケースでは事足りると思います）上の BASH_SOURCE を用いた書き方を使うことになるでしょう。

覚えておいて損はないのではないでしょうか。

重い腰を上げて Neovim ことはじめ ー ripgrep (rg) と fzf によるソースコード検索編

fzf fzf.vim Neovim ripgrep Vim

はじめに

Neovim への移行と共に実現したいことがありました。この 『コマンド一発でソースコード検索＆表示できる「peco」改が凄い！』 というブログポストで紹介されているもの相当の機能を Vim 内で実現することです。記事でも『Vim にある grep とかも物色しながら「いいのないねー」……』とありますし、比較的素直な発想だと思います。さていきなりですが、これは 先日の記事 に書いた Neovim のニュースレターの 第６号 で紹介されている fzf を導入すればできる気がしたので、やってみました。

代替手段の調査

と、その前に、一応他の実現方法についても少し調べてみます。

まずは、元の記事にある peco の連携を少し調べてみましたが希望に沿うものはなさそうな雰囲気。記事の出発点が Vim の grep などを検討したが良いものがない、というものなので、もし peco との連携が可能なら記事で言及されますよね、きっと。

続いて考えたのが CtrlP を使う方法です。結構期待したのだけれど CtrlP はファイルのマッチングを念頭に作られたからかデフォルトでは所望の機能がないようです。CtrlP の拡張を少し探してみたもののすぐには見つからなかったので、次へ。

最後に、できる気がするのだけれど今回は手を出さなかったのが Denite.nvim を使う方法です。先代の Unite.vim の頃から、いつか使ってみたいと思っているプラグインなのですが……、なんかどうにも億劫で試してみるには至りませんでした。

fzf および fzf.vim のインストール

はい。ということで fzf です。fzf は peco のようないわゆる fuzzy matcher で、作者の方が Vim ユーザなこともあってか Vim との連携機能が強力です。同じ作者による fzf.vim プラグインを導入すると 幸せになれるそうです。色々と設定を試行錯誤して、そこそこ満足できる状態になりました。

インストールには TOML ファイルに fzf および fzf.vim のエントリを追加します。

[[plugins]]
repo = 'junegunn/fzf'
build = './install --bin'
merged = '0'

[[plugins]]
repo = 'junegunn/fzf.vim'
depends = 'fzf'

検索プログラムの選定

fzf.vim の設定の前に、fzf への入力を出力するプログラムを決めます。元の『「peco」改』のエントリは peco への入力に Ack を使っています。Ack は find+grep 相当のことが実行できるもので、同種のプログラムが多数開発されています。調べた結果、ripgrep というプログラムが性能が良く一番信頼できそうだな、という結論に至りました。興味のある方は、ripgrep の作者が性能比較を行なっている このブログポスト や、Hacker News での ag の作者との やり取り などを読んでみてください。

fzf.vim の設定

さてあとは fzf.vim の設定です。なるべく元の記事の アニメーション と似たような使用感になると良いなと思って設定しました。

該当する箇所の設定を抜き出してみました。

[[plugins]]
repo = 'junegunn/fzf.vim'
depends = 'fzf'
hook_add = '''
    command! -bang -nargs=* Rg
      \ call fzf#vim#grep(
      \   'rg --line-number --no-heading '.shellescape(<q-args>), 0,
      \   fzf#vim#with_preview({'options': '--exact --reverse'}, 'right:50%:wrap'))
'''

fzf.vim の README にある :Rg というコマンドを設定している箇所を参考にして、以下の変更を加えています。ちなみに rg というのは ripgrep の実行ファイル名です。README では --column が有効で with_column も 1 に設定してありますが、どのような効果があるのか不明だったので無効にしました。:Rg! コマンドは使わないと思ったので除き、また --color=always があると速度が目に見えて遅くなってしまうのでこちらも除いてデフォルトの挙動（--color=auto）にしてあります。

fzf#vim#with_preview はとてつもなく素晴らしいので、デフォルトで有効にしました。長い行は wrap した方が好みです。また、fzf に --exact と --reverse を渡しています。前者はあいまい検索を無効に、後者は候補の表示をデフォルトのボトムアップからトップダウンに変更するオプションです。

追記（2017/04/29）：--delimiter : --nth 3.. というオプションを追加しました。詳しくは こちら。

あとはコマンドモードで :Rg を実行すれば良いです。

おわりに

f:id:someneat:20170308040647g:plain