自然語言處理(NLP)是指計算機程序理解人類口語和書面語言(即自然語言)的能力。它是人工智能(AI)的一個組成部分。NLP 已有 50 多年的歷史，源于語言學領域。它在醫學研究、搜索引擎和商業智能等多個領域都有廣泛的實際應用。

一、關于COMP5046

本單元介紹計算語言學以及用于自動處理自然語言(如英語或中文)的統計技術和算法。它將回顧理解統計自然語言處理(NLP)所需的核心統計和信息理論以及基礎語言學。統計自然語言處理應用廣泛，包括信息檢索和提取、問題解答、機器翻譯、文檔分類和聚類。

本單元將探討自然語言對計算建模的關鍵挑戰，以及關鍵 NLP 子任務的最新方法，包括標記化、形態分析、詞義表示、語音部分標記、命名實體識別和其他信息提取、文本分類、短語結構解析和依賴解析。您將在實驗和作業中完成其中的許多子任務。本單元還將研究注釋過程，該過程是為統計 NLP 系統創建訓練數據的核心。作為完成實際 NLP 任務的一部分，您將對數據進行注釋。

二、自然語言處理是如何工作的?

自然語言處理能讓計算機像人類一樣理解自然語言。無論是口頭語言還是書面語言，自然語言處理都是利用人工智能接收現實世界的輸入信息，對其進行處理，并以計算機能夠理解的方式加以理解。就像人類有不同的傳感器，比如耳朵可以聽，眼睛可以看，計算機也有程序可以閱讀，麥克風可以收集音頻。就像人類有大腦來處理輸入信息一樣，計算機也有程序來處理各自的輸入信息。在處理過程中，輸入會被轉換成計算機能夠理解的代碼。

自然語言處理主要分為兩個階段：數據預處理和算法開發。

數據預處理包括準備和 "清理 "文本數據，以便機器能夠對其進行分析。預處理將數據轉換成可操作的形式，并突出文本中的特征，以便算法能夠使用。有幾種方法可以做到這一點，包括：

標記化。這是將文本分解成更小的單位來處理。

刪除停滯詞。這是從文本中刪除常用詞，從而保留能提供最多文本信息的獨特詞。

詞母化和詞干化。這是將單詞還原為詞根形式進行處理。

語音部分標記。這是指根據詞的語篇(如名詞、動詞和形容詞)對詞進行標記。

三、自然語言處理為何重要?

企業需要使用大量非結構化的文本數據，因此需要一種高效處理這些數據的方法。在線創建并存儲在數據庫中的大量信息都是人類的自然語言，而直到最近，企業還無法有效地分析這些數據。這就是自然語言處理的用武之地。

從以下兩句話中可以看出自然語言處理的優勢："云計算保險應成為每份服務水平協議的一部分"，以及 "良好的服務水平協議可確保一夜好眠--即使是在云中"。如果用戶依靠自然語言處理進行搜索，程序會識別出云計算是一個實體，云是云計算的縮寫形式，SLA 是服務級別協議的行業縮寫。

這些都是人類語言中經常出現的模糊元素，而機器學習算法歷來不擅長解釋這些模糊元素。現在，隨著深度學習和機器學習方法的改進，算法可以有效地解釋它們。這些改進拓展了可分析數據的廣度和深度。

海馬課堂專業課程輔導做出以下新改變啦：
?試聽課全面升級，不滿意退50%，
?課程輔導產品升級，贈送考前保障呦
?輔導不滿意可以隨心退！
海馬課堂，3500+嚴選碩博學霸師資，針對學生的薄弱科目和學校教學進度，匹配背景相符的導師，根據學生情況進行1V1專屬備課，上課時間靈活安排，中英雙語詳細講解課程中的考點、 難點問題，并提供多方位的課后輔導，輔助學生掌握全部課程知識，補足短板。