R语言 | 词频统计-程序员宅基地

本章内容

导入停用词
读数据，分词
剔除停用词

导入停用词表

library(dplyr)
stopwords <- readtext::readtext("data/stopwords.txt") %>% 
    as.character() %>% 
    stringr::str_split('\n') %>% 
    unlist()

#显示前50个停用词
head(stopwords, n=50)

##  [1] "?"    "、"   "。"   "“"    "”"    "《"   "》"   "!"    "！"   "，"  
## [11] ","    "："   ":"    "；"   "？"   "-"    "("    ")"    "（"   "）"  
## [21] "·"    "--"   "……"   "/"    "."    "|"    "——"   "‘"    "’"    "□"   
## [31] "【"   "】"   "A"    "B"    "C"    "D"    "啊"   "阿"   "哎"   "哎呀"
## [41] "哎哟" "唉"   "俺"   "俺们" "按"   "按照" "吧"   "吧哒" "把"   "罢了"

读取数据分词

library(jiebaR)
#告诉worker停用词表的位置
tokenizer <- worker(stop_word = 'data/stopwords.txt')

#读取三体.txt为字符串
text <- readtext::readtext("data/三体.txt") %>% as.character()

#分词
words <- segment(text, tokenizer)

#显示分词结果的前20个词
head(words, n=20)

##  [1] "第"     "1"      "章"     "科学"   "边界"   "1"      "恋上你" "看书"  
##  [9] "网"     "630"    "bookla" "最快"   "更新"   "三体"   "全集"   "最新"  
## [17] "章节"   "汪淼"   "觉得"   "来"

剔除停用词

在Python学习使用的过程中养成了for解决问题习惯，但是R里的for真的好慢~

new_words <- c()

for (word in words) {
    if (!word %in% stopwords){
        new_words <- c(new_words, word)
    }
}

head(new_words)

## [1] "1"      "章"     "科学"   "边界"   "1"      "恋上你"

词频统计

jiebaR有一个freq函数，可以words中每个词的词频，返回的数据类型是data.frame

wordfreqs <- jiebaR::freq(new_words)
wordfreqs

词频按照降序显示

#提前小超纲，用到dplyr中的排序
wordfreqs <- dplyr::arrange(wordfreqs, -freq)
wordfreqs

保存到excel

使用writexl包的write

writexl::write_xlsx(wordfreqs, "output/三体词频统计.xlsx")

R语言相关

R语言 | 读写txt、csv、excel文件 
R语言 | 数据操作tidyr包

R语言 | 数据操作dplyr包  
R语言 | jiebaR中文分词包


Python相关[更新] Python网络爬虫与文本数据分析 
Pingouin: 基于pandas和numpy的统计包

读完本文你就了解什么是文本分析

文本分析在经管领域中的应用概述  
综述:文本分析在市场营销研究中的应用

plotnine: Python版的ggplot2作图库
小案例: Pandas的apply方法  
stylecloud:简洁易用的词云库 
用Python绘制近20年地方财政收入变迁史视频  
Wow~70G上市公司定期报告数据集

漂亮~pandas可以无缝衔接Bokeh  
YelpDaset: 酒店管理类数据集10+G  



后台回复关键词【R词频】获取本文代码和数据

“分享”和“在看”是更好的支持！

本文链接：https://blog.csdn.net/weixin_38008864/article/details/107551631

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

FX3/CX3 JLINK 调试_ezusbsuite_qsg.pdf-程序员宅基地

文章浏览阅读2.1k次。FX3 JLINK调试是一个有些麻烦的事情，经常有些莫名其妙的问题。设置参见 c:\Program Files (x86)\Cypress\EZ-USB FX3 SDK\1.3\doc\firmware 下的 EzUsbSuite_UG.pdf 文档。常见问题： 1.装了多个版本的jlink，使用了未注册或不适当的版本选择一个正确的版本。JLinkARM_V408l，JLinkA_ezusbsuite_qsg.pdf

用openGL+QT简单实现二进制stl文件读取显示并通过鼠标旋转缩放_qopengl如何鼠标控制旋转-程序员宅基地

文章浏览阅读2.6k次。** 本文仅通过用openGL+QT简单实现二进制stl文件读取显示并通过鼠标旋转缩放，是比较入门的级别，由于个人能力有限，新手级别，所以未能施加光影灯光等操作，未能让显示的stl文件更加真实。****效果图：**1. main.cpp```cpp#include "widget.h"#include <QApplication>int main(int argc, char *argv[]){ QApplication a(argc, argv); _qopengl如何鼠标控制旋转

刘焕勇&王昊奋｜ChatGPT对知识图谱的影响讨论实录-程序员宅基地

文章浏览阅读943次，点赞22次，收藏19次。以大规模预训练语言模型为基础的chatgpt成功出圈，在近几日已经给人工智能板块带来了多次涨停，这足够说明这一风口的到来。而作为曾经的风口“知识图谱”而言，如何找到其与chatgpt之间的区别，找好自身的定位显得尤为重要。形式化知识和参数化知识在表现形式上一直都是大家考虑的问题，两种技术都应该有自己的定位与价值所在。知识图谱构建往往是抽取式的，而且往往包含一系列知识冲突检测、消解过程，整个过程都能溯源。以这样的知识作为输入，能在相当程度上解决当前ChatGPT的事实谬误问题，并具有可解释性。

如何实现tomcat的热部署_tomcat热部署-程序员宅基地

文章浏览阅读1.3k次。最重要的一点，一定是degbug的方式启动，不然热部署不会生效，注意，注意！_tomcat热部署

用HTML5做一个个人网站，此文仅展示个人主页界面。内附源代码下载地址_个人主页源码-程序员宅基地

文章浏览阅读10w+次，点赞56次，收藏482次。html5 ，用css去修饰自己的个人主页代码如下：<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xh..._个人主页源码

程序员公开上班摸鱼神器！有了它，老板都不好意思打扰你！-程序员宅基地

文章浏览阅读201次。开发者（KaiFaX）面向全栈工程师的开发者专注于前端、Java/Python/Go/PHP的技术社区来源：开源最前线链接：https://github.com/svenstaro/gen..._程序员怎么上班摸鱼

随便推点

UG\NX二次开发改变Block UI界面的尺寸_ug二次开发调整对话框大小-程序员宅基地

文章浏览阅读1.3k次。改变Block UI界面的尺寸_ug二次开发调整对话框大小

基于深度学习的股票预测（完整版，有代码）_基于深度学习的股票操纵识别研究python代码-程序员宅基地

文章浏览阅读1.3w次，点赞18次，收藏291次。基于深度学习的股票预测数据获取数据转换LSTM模型搭建训练模型预测结果数据获取采用tushare的数据接口（不知道tushare的筒子们自行百度一下，简而言之其免费提供各类金融数据 , 助力智能投资与创新型投资。）python可以直接使用pip安装tushare!pip install tushareCollecting tushare Downloading https://files.pythonhosted.org/packages/17/76/dc6784a1c07ec040e74_基于深度学习的股票操纵识别研究python代码