【数据分析-学术前沿趋势分析】 Task4 论文种类分类数据分析

Task4 论文种类分类

1. 任务说明
2. 数据处理步骤
3. 文本分类思路
4. 具体代码实现
- 4.2 使用TF-IDF+机器学习分类器进行文本分类
- 4.2 使用深度学习模型

Datawhale一月份的组队学习~
关键词：数据分析、爬虫、文本分析
开源地址： https://github.com/datawhalechina/team-learning-data-mining/tree/master/AcademicTrends
1. 任务说明

学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；
学习内容：使用论文标题完成类别分类；
学习成果：学会文本分类的基本方法、TF-IDF等；

2. 数据处理步骤在原始arxiv论文中论文都有对应的类别，而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成：

对论文标题和摘要进行处理；
对论文类别进行处理；
构建文本分类模型；

3. 文本分类思路

思路1：TF-IDF+机器学习分类器

直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器的选择上可以使用SVM、LR、XGboost等

思路2：FastText

FastText是入门款的词向量，利用Facebook提供的FastText工具，可以快速构建分类器

思路3：WordVec+深度学习分类器

WordVec是进阶款的词向量，并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRnn或者BiLSTM。

思路4：Bert词向量

Bert是高配款的词向量，具有强大的建模学习能力。
4. 具体代码实现

# 导入所需的package import seaborn as sns #用于画图 from bs4 import BeautifulSoup #用于爬取arxiv的数据 import re #用于正则表达式，匹配字符串的模式 import requests #用于网络连接，发送网络请求，使用域名获取对应信息 import json #读取数据，我们的数据为json格式的 import pandas as pd #数据处理，数据分析 import matplotlib.pyplot as plt #画图工具

def readArxivFile(path, columns=['id', 'submitter', 'authors', 'title', 'comments', 'journal-ref', 'doi', 'report-no', 'categories', 'license', 'abstract', 'versions', 'update_date', 'authors_parsed'], count=None): ''' 定义读取文件的函数 path: 文件路径 columns: 需要选择的列 count: 读取行数 '''data= https://www.it610.com/article/[] with open(path,'r') as f: for idx, line in enumerate(f): if idx == count: breakd = json.loads(line) d = { col : d[col] for col in columns} data.append(d)data = https://www.it610.com/article/pd.DataFrame(data) return datadata = readArxivFile('./archive/arxiv-metadata-oai-snapshot.json', ['id', 'title', 'categories', 'abstract'], 200000)

data.head()

文章图片

【【数据分析-学术前沿趋势分析】 Task4 论文种类分类】为了方便数据处理，先将标题和摘要进行拼接完成分类

data['text'] = data['title'] + data['abstract'] #原来的字段存在换行，现在将其转化为空格 data['text'] = data['text'].apply(lambda x: x.replace('\n',' ')) data['text'] = data['text'].apply(lambda x: x.lower()) data = https://www.it610.com/article/data.drop(['abstract', 'title'], axis=1) data.head()

文章图片

由于原始论文可能有多个类别，需要进行切分

# 多个类别，包含子分类 data['categories'] = data['categories'].apply(lambda x : x.split(' '))# 单个类别，不包含子分类 data['categories_big'] = data['categories'].apply(lambda x : [xx.split('.')[0] for xx in x]) data.head()

文章图片

对类别进行编码

from sklearn.preprocessing import MultiLabelBinarizer mlb = MultiLabelBinarizer() data_label = mlb.fit_transform(data['categories_big'].iloc[:]) data_label

文章图片

4.2 使用TF-IDF+机器学习分类器进行文本分类此处限制只提取4000个词，由于这里是多标签分类，可以使用sklearn的多标签分类进行封装：

from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer(max_features=4000) data_tfidf = vectorizer.fit_transform(data['text'].iloc[:])

# 划分训练集和验证集 from sklearn.model_selection import train_test_split x_train, x_test, y_train, y_test = train_test_split(data_tfidf, data_label, test_size = 0.2,random_state = 1)# 构建多标签分类模型 from sklearn.multioutput import MultiOutputClassifier from sklearn.naive_bayes import MultinomialNB clf = MultiOutputClassifier(MultinomialNB()).fit(x_train, y_train)

from sklearn.metrics import classification_report print(classification_report(y_test, clf.predict(x_test)))

文章图片

4.2 使用深度学习模型使用深度学习模型，单词进行词嵌入然后训练。将数据集处理进行编码，并进行截断

from sklearn.model_selection import train_test_split x_train, x_test, y_train, y_test = train_test_split(data['text'].iloc[:100000], data_label[:100000], test_size = 0.95,random_state = 1)

# 参数设置 max_features= 500 max_len= 150 embed_size=100 batch_size = 128 epochs = 5from keras.preprocessing.text import Tokenizer from keras.preprocessing import sequencetokens = Tokenizer(num_words = max_features) tokens.fit_on_texts(list(data['text'].iloc[:100000]))y_train = data_label[:100000] x_sub_train = tokens.texts_to_sequences(data['text'].iloc[:100000]) x_sub_train = sequence.pad_sequences(x_sub_train, maxlen=max_len)

注由于版本问题我这里使用keras报错，需全部修改成tensorflow.keras.

# LSTM model # Keras Layers: from tensorflow.keras.layers import Dense,Input,LSTM,Bidirectional,Activation,Conv1D,GRU from tensorflow.keras.layers import Dropout,Embedding,GlobalMaxPooling1D, MaxPooling1D, Add, Flatten from tensorflow.keras.layers import GlobalAveragePooling1D, GlobalMaxPooling1D, concatenate, SpatialDropout1D# Keras Callback Functions: from tensorflow.keras.callbacks import Callback from tensorflow.keras.callbacks import EarlyStopping,ModelCheckpoint from tensorflow.keras import initializers, regularizers, constraints, optimizers, layers, callbacks from tensorflow.keras.models import Model from tensorflow.keras.optimizers import Adamsequence_input = Input(shape=(max_len, )) x = Embedding(max_features, embed_size, trainable=True)(sequence_input) x = SpatialDropout1D(0.2)(x) x = Bidirectional(GRU(128, return_sequences=True,dropout=0.1,recurrent_dropout=0.1))(x) x = Conv1D(64, kernel_size = 3, padding = "valid", kernel_initializer = "glorot_uniform")(x) avg_pool = GlobalAveragePooling1D()(x) max_pool = GlobalMaxPooling1D()(x) x = concatenate([avg_pool, max_pool]) preds = Dense(19, activation="sigmoid")(x)model = Model(sequence_input, preds) model.compile(loss='binary_crossentropy',optimizer=Adam(lr=1e-3),metrics=['accuracy']) model.fit(x_sub_train, y_train, batch_size=batch_size, validation_split=0.2, epochs=epochs)