MD5 計算時に LF 込みの文字列が入力値になってしまっている

[kobake]

MD5 ハッシュ計算時に LF が混入している個所がたくさんある。というかたぶん全てそうなっているかもしれない。

後々混乱することになりそうなので、どこかのタイミングで見直したほうが良いかもしれない。（既に集計済みのデータがたくさんあるから今の時点から後戻りするのは難しいかもしれないけど）

データ例

$ head urls-md5.csv
....
ceba9b3c956119ab5db9cfe5c61bc564,https://betsukai.jp/anzen/index.html
....

このハッシュ値は "https://betsukai.jp/anzen/index.html" ではなく "https://betsukai.jp/anzen/index.html\n" のハッシュ値になってしまっている。

参考：LF を混入させない方法

LF が混ざるコマンド

$ echo https://betsukai.jp/anzen/index.html | md5sum
ceba9b3c956119ab5db9cfe5c61bc564  -

LF が混ざらないコマンド

$ echo -n https://betsukai.jp/anzen/index.html | md5sum
ffd2414e0209e2f2b6b2c90ba0a74815  -

こっちが本来の "https://betsukai.jp/anzen/index.html" の MD5 ハッシュ値。