晶文摘
[人工智慧] 自然語言處理NLP應用實作
給晶新聞一個讚自然語言處理NLP應用實作
作者: 夏肇毅
初稿: 20220822
自然語言處理(Natural language processing)
http://cubicpower.idv.tw/cubicnotes/notes-0000038.html
Google Tensorflow: Text
Sentiment analysis- IMDB large movie review dataset
Basic text classification
https://www.tensorflow.org/tutorials/keras/text_classification?hl=zh-tw
基本文本分類
情緒分析
下載並探索 IMDB 數據集
加載數據集
準備數據集進行訓練
配置數據集以提高性能
創建模型
損失函數和優化器
訓練模型
評估模型
創建隨時間變化的準確度和損失圖
導出模型
對新數據的推論
練習：關於 Stack Overflow 問題的多類分類
Word embeddings
https://www.tensorflow.org/text/guide/word_embeddings?hl=zh-tw
詞嵌入
將文本表示為數字
One-hot 編碼
用唯一的數字編碼每個單詞
詞嵌入
設置
下載 IMDb 數據集
使用嵌入層
文本預處理
創建分類模型
編譯和訓練模型
檢索經過訓練的詞嵌入並將它們保存到磁碟
可視化嵌入
Text classification with an RNN
https://www.tensorflow.org/text/tutorials/text_classification_rnn?hl=zh-tw
使用 RNN 進行文本分類
設置
設置輸入管道
創建文本編碼器
創建模型
訓練模型
堆疊兩個或多個 LSTM 層
Classify text with BERT
https://www.tensorflow.org/text/tutorials/classify_text_with_bert?hl=zh-tw
使用 BERT 對文本進行分類
關於 BERT
情緒分析
從 TensorFlow Hub 加載模型
選擇一個 BERT 模型進行微調
預處理模型
使用 BERT 模型
定義你的模型
模型訓練
損失函數
優化器
加載 BERT 模型並進行訓練
評估模型
繪製隨時間變化的準確性和損失
導出推理
Search: kaggle 登入
https://nancysw.medium.com › 兩種取用-kaggle-資料...
Search: 聊天機器人 python
在Python 中實作對話型聊天機器人 - WANcatServer
https://wancat.cc › post › python-chatbot-context
Search: chatbot python github
zake7749/Chatbot: 基於向量匹配的情境式聊天機器人 - GitHub
https://github.com › zake7749 › Chatbot
Mianbot
匹配示例
環境需求
使用方式
聊天機器人
計算匹配度
規則格式
問答測試用資料集
Building a Simple Chatbot from Scratch in Python (using NLTK)
https://github.com › parulnith › Building-...
Building a Simple Chatbot from Scratch in Python (using NLTK)
NLP
Import necessary libraries
Downloading and installing NLTK
Installing NLTK Packages
Reading in the corpus
Tokenisation
Preprocessing
Keyword matching
Generating Response
Bag of Words
TF-IDF Approach
Cosine Similarity
Day 13：快速完成一個『對話機器人』(ChatBot) -- 續
Search: 反洗錢 模型 python
https://www.ithome.com.tw › news
(Top 1% Solution)玉山人工智慧公開挑戰賽2020夏季賽 - Medium
https://medium.com › 玉山人工智慧公開挑戰賽2020夏...
爬蟲實作
資料清理
模型訓練流程
洗錢文章分類模型(AML Classifier)
CountVectorizer+樸素貝葉斯(Multinomial Naive Bayes)
TfidfVectorizer+樸素貝葉斯(Multinomial Naive Bayes)
BERT-Based Model
Bidirectional Encoder Representations from Transformers (BERT)
NLP開源套件 — Kashgari
套件安裝
BERT + BiLSTM + CRF
Conditional Random Fields (CRF)
輸入資料格式
資料驗證集
模型訓練(AML Classifier)
Rule-based Approach
AML Keyword List檢討與修正
AML焦點人物擷取模型(AML NER Model)
Name Entity Recognition
SOTA of Name Entity Recognition
BERT — 句子Level的NER模型
模型訓練(NER Model)
模型比較
Bi-directional LSTM/GRU
Bi-directional BiLSTM/GRU + CRF
CNN + LSTM
Bi-directional LSTM + CNN (Customized)
Search: 防詐欺模型 python
靠AI扮演壞人來練兵！SAS揭露用GAN設計金融防詐欺模型的新 ...
https://www.ithome.com.tw › news
步驟一、構建Amazon Fraud Detector 模型
https://pages.awscloud.com › Tech-blog_Amazon-Frau...
Search: 詐欺 python
https://www.796t.com › content
資料準備: 來源於Kaggle
準備並初步檢視資料集
時間序列下的交易發生頻率（分為詐騙和正常）
詐騙和正常交易交易金額的頻率分佈
各特徵和因變數的關係
用邏輯迴歸方法對信用卡資料進行建模分析
信用卡詐騙分析-不平衡資料分析與處理kernel翻譯-完整版
https://medium.com › 機器學習知識歷程 › 信用卡詐騙...
預處理
縮放和分配 Scaling and Distributing
拆分數據 Splitting the Data（從原始DataFrame）
隨機欠採樣和過採樣
分佈和相關性 Distributing and Correlating
異常檢測 Anomaly Detection
降維和分群 Dimensionality Reduction and Clustering (t-SNE)
分類器 Classifiers
更深入地了解邏輯回歸 A Deeper Look into Logistic Regression
使用SMOTE進行過採樣 Oversampling with SMOTE
測試
使用邏輯回歸進行測試 Test Data with Logistic Regression
神經網絡測試（欠採樣與過採樣）Neural Networks Testing (Undersampling vs Oversampling)
Part 5. Imbalanced Data 不平衡資料 - iT 邦幫忙
https://ithelp.ithome.com.tw › articles
評估指標
Confusion Matrix 混淆矩陣
Precision and Recall 精確率與召回率
F1 score
ROC(Receiver Operating Characteristic) 接收者操作特徵曲線
曲線下面積稱 Area Under Curve (AUC)
重組資料
Oversampling 過採樣
SMOTE (Synthetic Minority Oversampling Technique)
Border Line SMOTE
Undersampling 欠採樣
Tomek Link
Edited Nearest Neighbor
注意事項
先切分資料，再對訓練資料採樣。
常透過交叉驗證控制過擬合。
觀察少數樣本與多數樣本分布情形。
Search: Credit Fraud || Dealing with Imbalanced Datasets
Credit Fraud || Dealing with Imbalanced Datasets - Kaggle
https://www.kaggle.com › janiobachmann
Credit Fraud || Dealing with Imbalanced Datasets
https://www.kaggle.com/janiobachmann/credit-fraud-dealing-with-imbalanced-datasets
https://www.kaggle.com/code/janiobachmann/credit-fraud-dealing-with-imbalanced-datasets/notebook
信用欺詐探測器
了解我們的數據
收集我們的數據的感覺
預處理
縮放和分佈
拆分數據
隨機欠採樣和過採樣
分佈和關聯
異常檢測
降維和聚類（t-SNE）
分類器
更深入地研究邏輯回歸
使用 SMOTE 過採樣
測試
使用邏輯回歸進行測試
神經網絡測試（欠採樣與過採樣）
從不平衡的數據集中糾正以前的錯誤：
永遠不要對過採樣或欠採樣的數據集進行測試。
如果我們想實現交叉驗證，請記住在交叉驗證期間對訓練數據進行過採樣或欠採樣，而不是之前！
不要使用準確性分數作為數據集不平衡的指標（通常會很高且具有誤導性），而是使用 f1-score、precision/recall 分數或混淆矩陣
Search: NER Wiki
Named-entity recognition - Wikipedia
https://en.wikipedia.org › wiki › Named-...
翻譯這個網頁 https://en-m-wikipedia-org.translate.goog/wiki/Named-entity_recognition?_x_tr_sl=en&_x_tr_tl=zh-TW&_x_tr_hl=zh-TW&_x_tr_pto=sc
Search: 異常檢測 wiki
https://zh.wikipedia.org › zh-tw › 异常??
異常檢測[編輯] ... 在資料探勘中，異常檢測（英語：anomaly detection）對不符合預期模式或資料集中其他專案的專案、事件或觀測值的辨識。 ... 通常異常專案會轉變成銀行欺詐 ...
Search: SMOTE 過採樣 wiki
Oversampling and undersampling in data analysis - Wikipedia
https://en.wikipedia.org › wiki › Oversampling_and_unde…
Search: Confusion Matrix wiki
https://en.wikipedia.org › wiki › Confusi...
翻譯這個網頁 https://en-m-wikipedia-org.translate.goog/wiki/Confusion_matrix?_x_tr_sl=en&_x_tr_tl=zh-TW&_x_tr_hl=zh-TW&_x_tr_pto=sc
Search: 精確率 召回率 wiki
https://zh-yue.wikipedia.org › wiki › 精確率同召回率
Search: F1 score wiki
https://zh.m.wikipedia.org › zh-tw › F-score
Search: ROC AUC wiki
ROC曲線- 維基百科，自由的百科全書 - Wikipedia
https://zh.m.wikipedia.org › zh-tw › ROC曲?
Search: bin_goods bin_bads
... 用於評估特徵的預測能力,IV是在woe的基礎上計算的，在進行woe編碼前，需要對特徵做分箱處理(離散化)，然後計算每個箱體內的好人數(bin_goods)和壞人數(bin_bads), ...
最新晶新聞
- 科技> 驅動未來生產製造，德國漢諾威EMO大秀智慧科技
- 科技> 勤業眾信：以AIoT為核心的智慧醫療趨勢
- 學習> 清華大學與元大合作開「金融交易實務」課程，培養未來「金融工程師」
- 學習> 中央大學於科技部「沙克爾頓計畫」表現亮眼
- 財經> 創造自己數位軌跡，用數據精準行銷客流
- 科技> 無人機勘災啟動，創新農業紀事
- 財經> 開放銀行Open Banking浪潮來襲！第四屆華南金控金融科技創新競賽報名開跑
- 科技> 科技突圍實驗專案—幫助漸凍病友走出寂凍人生
- 科技> 大葉大學攜手秀傳醫院，研發3D列印脊椎融合器
- 科技> 親愛的，我站起來了！改良輪椅設計，義大李大安踏上發明奇幻之旅
- 科技> VR登月、物聯網智能咖啡，沉浸式My Day創新生活應用體驗
- 科技> 亞大舉辦「AI與區塊鏈於假新聞」論壇，探討如何運用AI與區塊鏈科技防制假新聞
- 科技> 元培與信馨產學合作對輕度失智者運動指導體適能顯著改善
- 科技> 林口新創園與國際加速器合作選育新創團隊，加速臺灣新創國際接軌
- 科技> 強化癌症標靶治療更為精準，中國醫藥大學校長洪明奇院士帶領國際研究團隊成果發表國際知名期刊《癌細胞雜誌》
- 科技> 區塊鏈的現在進行式及預見未來2.0，讓你看見不一樣的區塊鏈
- 科技> 貿協辦臺灣美粧國際記者會，美力大躍進
- 科技> TXI攜手資策會合作TXI TAIWAN 4.0計畫建構台以合作吸引世界資源
- 科技> 跳脫主流，中大萌芽團隊發表低溫Micro LED磊晶技術
- 生活> 勤洗手避免共食預防腸病毒，花蓮慈濟醫院親職系列講座
- 學習> 好校新指標，高註冊率+高就學穩定率，北商大選校大熱門
- 財經> 臺灣證券型代幣(STO)發行業者須打造良好法遵體質
- 科技> 第二屆高雄盃程式交易競賽，業界學界共同培養跨領域人才
- 科技> 福爾摩沙衛星七號順利發射並成功與台灣通聯
- 科技> 助攻中文AI語音、語意技術突破，科技部推出「AI語音數據資料集」
- 財經> 5G進入商轉模式成長指日可待，終端智慧手機將帶動應用及市場需求的重要角色
- 科技> 通訊晶片技術新突破，臺灣學界科研成果成功取得矽谷創投投資
- 學習> 漸進式成果發表，中華大學展現概念到完美成品的過程
- 科技> 5G時代搶占大數據商機，商業模式五大制勝關鍵，迎向智慧城市新生活
- 科技> 金屬中心與經緯航太科技共同引領國內智慧AGV/UAS能量
- 學習> 前衛福部部長及講座教授邱文達談美國與全球醫院管理七大趨勢
- 科技> 資誠創業成長加速器參展2019 InnoVEX，公布首屆入選6家新創團隊
- 科技> 全新展覽規劃引領科技產業生態系，COMPUTEX 2019開跑掌握前瞻商機
- 學習> 崑大電通系370萬雙臂機器人技職博覽會登場，AI亮點看這裡！
- 財經> 金融科技的創新驅動與風險隱憂，正視人工智慧衍生潛在風險
- 科技> 台灣AI計算雲TWCC開始試營運，開創台灣雲端智慧大未來
- 科技> COMPUTEX d&i awards得獎名單揭曉，創新與新創能量蓄勢待發
- 科技> 中樞神經再生露曙光，人工合成八醣體可修復脊髓神經元
- 財經> 產險業首創智能客服「富邦保哥」懂你想問的，24小時即問即答，提供全方位服務
- 科技> 勞動部、資策會培訓中部AI產業人才，就業掛保證
- 科技> 善用5G、AI 臺廠積極備戰智慧工廠
- 科技> 6月「台灣國際醫療暨健康照護展」展望智慧醫療大未來
- 科技> 工業 4.0轉型歷程三大境界，催生新製造業生態系，製程最佳化、製造流程和品質、新的商業模式
- 科技> 微電商達人培訓營助農漁產品行銷，高科大建置微電商平台
- 科技> 義大「醫學體感中心」 引進全國首台健身模擬器
- 軍武> 清華大學將星計畫女力報到，新世紀國防菁英入列
- 學習> 元智大學建設整合式「AI計算力平台」
- 學習> 世界巴金森日，花蓮慈濟醫院專師傳授社區長輩辨別法
- 學習> 雲科大吳晉東博士分享無人載具（UAV）於智慧農業之應用
- 財經> 玉山銀行兒童節分享SMART親子理財術
- 科技> COMPUTEX 2019展前CEO Keynote，AMD蘇姿丰總裁剖析新世代高效能運算技術
- 科技> 國泰金控連三年力挺「台大電機創客松」 激盪金融科技跨界新價值
- 財經> 資誠成立PwC’s Scale-up創業成長加速器，協助新創企業走向規模化經營
- 科技> 靠臉搭車 自駕小巴超進化，7Starlake攜手NEC實現靠臉搭車
- 科技> 翻轉世界，AI語你同在-「科技大擂台 與AI對話」決賽結果揭曉
- 學習> 臺北商大、方曙商工、聯新國際醫療集團產學合作，首創「健康照顧產業專班」
- 科技> 清大研發「夢幻記憶體」，登上國際《自然材料》頂尖期刊
- 學習> 新竹中華大學厚植學生3力，甩開老牌學校入選中大型年輕潛力大學
- 科技> 工研院AI智慧革命四大應用超解析
- 財經> 國泰金控校園徵才高呼「敢於做最好的選擇」，數位、科技及跨領域人才快來！
- 財經> 玉山金控獲利再創新高，2019持續聚焦「科技、跨境及三道防線」
- 科技> 2019中華郵政大數據競賽 歡迎挑戰智慧物流創新應用
- 科技> 大葉大學打造高齡長照與智慧輔具研發基地
- 科技> 臺灣新創團隊巴塞隆納MWC 4YFN新創舞臺強勢登場
- 科技> 人工智慧、5G通訊及物聯網整合的新紀元
- 科技> 台灣大5G應用前進MWC，攜工研院智慧連結
- 學習> 虛擬實境人體解剖，清華醫學科學系開課
- 財經> 富邦證券維持權證波動率穩定不調降政策
- 財經> 債券投資ABC，攻守兼備好收益
- 科技> 我國第三期國家太空科技發展長程計畫，「合成孔徑雷達衛星」搭載主動式雷達
- 生活> 花蓮慈濟醫院與千歲老寶貝，燈籠DIY迎元宵，新年快樂！
- 科技> 「智慧醫療及照護產業趨勢研討會」揭開智慧醫護產業未來商機
- 學習> TIBCO攜手元智大學工管系培訓智慧型資料分析人才
- 科技> 工研院與臺大醫院雲林分院攜手，打造數位醫療健康照護平台
- 科技> AI有機無人超市新體驗，工研院電腦視覺自助結帳系統推進無人消費零售新時代
- 科技> AI智慧健身助理達運動效益，保持好身材開心迎開工
- 軍武> 國艦國造里程碑，督工小組成立揭牌暨4000噸級巡防艦鋼板進料
- 生活> 貢寮地方創生-「走」淡蘭古道，「訪」貢寮老街
- 學習> 108年度智慧鐵人創意競賽開始報名
- 科技> 亞洲大學舉辦舉辦AI人工智慧暨區塊鏈工作坊
- 學習> 樹科大辦創新創業商業模式賽，考驗創新思維及對潮流的觀察能力
- 科技> 2019 ICT產業關鍵議題：自然對話技術提升，AI晶片架構革新
- 科技> 2019 ICT產業關鍵議題：量子熱潮加密通訊先行，硬體安全晶片增溫
- 科技> 工研院公布2019十大ICT產業關鍵議題：5G蓄勢待發，生態先行
- 生活> 獨家沉浸式擬真體感科技， i-Ride TAIPEI 飛行劇院@微風南山正式起飛
- 生活> 逛夜市，長知識，資策會「夜市學堂」打造夜市生命力
- 財經> 年終理財術，玉山銀行建議加值財富三原則
- 科技> 安南醫院護理之家引進ICT智慧性運動介入系統，增加住民肌耐力並改善睡眠品質
- 科技> 區塊鏈開發熱度不減，世界各國正積極導入相關應用
- 科技> 「改變使用者體驗」是汽車產業轉型的關鍵策略
- 科技> 經濟部攜手資策會，國際創育2019 G Camp於林口新創園熱烈開訓
- 科技> 臺灣科技國家館TTA新創團隊CES 2019獲歐美大廠青睞
- 財經> Adecco藝珂人事顧問公司發佈《2019年大中華薪資指南》
- 科技> 清華光電所劉昌樺助理教授發表全球最薄鏡頭，比紙還薄可撕貼
- 財經> 科技部拜會Uber舊金山總部，Uber Taiwan成TTA企業合作夥伴
- 學習> 清華「竹師會館」校史館揭幕，珍存76年歷史與回憶
- 學習> 擁抱AI創造未來，中金院將設立人工智慧學系
- 科技> 中央大學國際合作高精度太空望遠鏡，隨微衛星發射
- 財經> 區塊鏈產業技術峰會1/29登場，聚焦產業應用
- 財經> 玉山金控攜手13所大學，開創金融產學合作新境界
- 科技> 我國第三期國家太空科技發展長程計畫正式核定，發展「合成孔徑雷達衛星」
- 生活> 迎接新成員，淡海輕軌第8列車加入營運行列
- 財經> 全國都市地價總指數上漲0.22％，已連續6期維持1%內微幅波動
- 生活> 臺灣觀光學院禮聘知名米其林主廚Loic Le Bail客座
- 財經> 協助臺商海外征戰的堅實後盾，中國輸出入銀行邁向40週年
- 科技> 搶攻智慧生活商機，貿協領軍台灣廠商赴CES 2019
- 科技> 聖約翰科大建置安養機構先進智慧防災感測系統
- 科技> D-Link於CES展出Zigbee 智慧家庭解決方案
- 科技> 台灣精品於CES 2019展現AIoT研發創新能量
- 學習> 「小學英檢」獨家提供個人化診斷，素養實力看得見
- 科技> 工研院「高負載高續行無人機」榮獲CES 2019創新獎
- 財經> 金融業首度AI競賽「玉山人工智慧公開挑戰賽」開跑
- 科技> 2018生醫產業與新農業競賽，元智師生勇奪生醫產業金牌殊榮
- 財經> 推動台灣潔淨能源發展，富邦產險投入綠能保險研發
- 學習> 中金院學生踏出舒適圈，赴華頓商學院展現跨國學習力
- 科技> 大數據分析幫孩子選鞋跟得上成長曲線，金屬中心攜手布布童鞋打造無人微型體驗店
- 科技> 區塊鏈透明、快速、信任三大趨勢，工研院邀國際專家剖析
- 科技> 元智大學資管系校友組新創團隊AI-Clerk，智慧應用服務榮獲多項大獎
- 科技> 研發第三代雷射針灸多年心血，義守大學王智昱教授獲科技部產學特優獎
- 科技> 智慧醫療以人為本，360度原地旋轉體感移動載具獲國家新創獎
- 科技> CubicPower夏肇毅獲得工研院AIdea人工智慧「載客熱點預測」議題競賽第一名獎
- 科技> 全台第一支！會認人的電子鎖，台北國際建築建材暨產品展首度聰明亮相
- 學習> 張系國任清華大學榮譽講座教授，教學生寫科幻小說
- 科技> 量子電腦、AI應用及精準醫療「2018未來科技展」三大趨勢論壇現商機
- 科技> 「臉部中風及心率檢測系統」彰雲嘉大學校院聯盟展現創新研發厚實力
- 學習> 正修科大盧森堡烹飪賽揮全壘打，巧奪天工捏塑奪1金3銀1銅
- 財經> 勤業眾信：完善金融業智財保護有五大作為，降低數位創新風險，永續經營數位金融生態圈
- 學習> 北商大財務金融系舉辦「2018 Fintech 金融服務－校際創意競賽」產學嘉年華
- 科技> 跨界大數據應用，「行銷數據應用創新發表會」點燃行銷創新火花
- 學習> 國立虎尾科大飛機系「牧場無線管理系統」榮獲2018第七十屆德國紐倫堡發明展大專組金牌
- 財經> 全球稅務潮流數位新變革，台商宜積極因應
- 科技> 乾眼症後患無窮，放不下的手機為國人乾眼症的元兇
- 科技> 清華安富金融工程研究中心成立，大數據分析房價更透明
- 科技> 單原子層二極體超越『摩爾定律』，我國物理團隊亮眼成果榮登《Nature Communications》雜誌
- 科技> ARTC攜手宏碁智通等18家廠商共組「自駕車產業聯盟」，打造SAE Level 4自駕電動小巴
- 科技> 資策會8秒「手搖發電智慧站牌」榮獲美國R&D全球百大科技研發獎
- 科技> 全球遠距醫療大趨勢，德國杜塞道夫醫療展台灣精品智慧醫療夯
- 生活> 魔法少女樹科大邀妳來變身
- 財經> 「東吳企管財經講堂」開講！ 美國期中選舉的夢醒時分？世界經貿新秩序，台灣產業新生機
- 科技> 清華大學學生跨域合作，智慧手錶能測癌症摘全球賽金牌
- 科技> 智造業新5S運動，「引領企業智造創新與傳承轉型」研討會啟航
- 生活> 逢甲大學鄭月妹老師光療情境裝置成后里「發現館」打卡亮點
- 科技> 2018秋季「展望」系列講座，邁向太空的精彩創意–科技如何協助人類跨出地球
- 科技> 2018台灣國際工具機展，工研院發表 ROBOT inside五軸同動控制器及智能化產線系統技術
- 科技> 資策會與大林慈院共同研發「膝關節健康管理系統」，提升個案追蹤管理效率
- 學習> 元培醫事科技大學首位以青銀共學C+ 巷弄長照站今天啟動
- 科技> 貿協帶領廠商於日本工具機展大秀智慧解決方案
- 科技> 中興大學E-bike創新技術發表會，實踐電動自行車+物聯網+人工智慧的低碳智慧生活
- 科技> 遠傳參加「2018亞洲樂齡智慧生活展」，搶攻智慧長照商機
- 科技> 花蓮慈院單孔胸腔鏡手術200例，切除肺腫瘤減痛恢復快
- 財經> 六場論壇掀FinTech區塊鏈腦內革命，高科大未來金融創新發展國際高峰會登場