ハトリのエンジニア塾

六本木ヒルズで働く学生エンジニア。技術発信や就職活動について書いていきます。

自然言語処理を極めるまでの道筋!NLP学習法や参考書をまとめてみた!

f:id:hatorihatorihatorik:20180913052135p:plain

英語を勉強しなくていい時代がくるのか

最近では自然言語処理を使った便利なツールがたくさん出てきました。google翻訳や自動チャットボットなどがそのいい例でしょう。いつか私たちは英語を勉強しなくていい時代がくるのでしょうか。私は英語がとても苦手だったので個人的にはきてほしいと思っています。

 

f:id:hatorihatorihatorik:20180913051649p:plain

日本語の自然言語処理難しい

日本語の自然言語処理はかなり難しいと言われています。英語みたいに単語と単語の間に区切りがなく、機械に翻訳させるときに間違いが起きやすいからです。

 

日本語:私は病院に行った

英語: I went to the hospital.

 

上の例をみてみましょう。英語では"I", "went", "to", "the", "hospital"をそれぞれ機械に入れていき、機械に意味を理解させます。

しかし、日本語ではこのような区切りがないため、文を区切るツールを使います。これを形態素解析と言います。

日本語ではこのような手間がかかるため精度が落ちてしまうみたいです。

 

この課題をどう解決していくべきでしょうか。おすすめの勉強法をまとめてみました。

f:id:hatorihatorihatorik:20180913051719p:plain

自然言語処理の勉強法

言語処理100本ノック

東工大の岡崎先生が作った教材で、チュートリアル形式で学ぶことができます。基礎的な内容から始まるため、初心者でも簡単に勉強できます。

 

www.cl.ecei.tohoku.ac.jp

Graham Neubig - チュートリアル資料

Graham Neubig先生のチュートリアル教材。githubにサンプルコードもあります。

 

教材→Graham Neubig's Teaching

研究室情報→NeuLab -- Graham Neubig's Lab @ LTI/CMU

 

Googleを支える技術 ‾巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)

Google検索エンジンを支える技術を、論文の紹介をしながら解説されています。

f:id:hatorihatorihatorik:20180913051617p:plain

www.amazon.co.jp