<sup id="sjju3"><noscript id="sjju3"></noscript></sup>
    <big id="sjju3"></big>

  • <blockquote id="sjju3"></blockquote>
    <blockquote id="sjju3"></blockquote>

      <td id="sjju3"></td>

      <big id="sjju3"></big>
        <code id="sjju3"><strong id="sjju3"><dl id="sjju3"></dl></strong></code>
      1. Python英文文本分词(无空格)模块wordninja的使用实例

         更新时间:2019年02月20日 08:29:27   作者:Together_CZ   我要评论

        今天小编就为大家分享一篇关于Python英文文本分词(无空格)模块wordninja的使用实例,小编觉得内容挺不错?#27169;?#29616;在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

        在NLP中,数据清洗与分词往往是很多工作开始的第一步,大多数工作中只有中文语料数据需要进行分词,现有的分词工具也已经有了很多了,这里就不再多介绍了。英文语料由于其本身存在空格符所以无需跟中文语料同样处理,如果英文数据中没有了空格,那么应该怎么处理呢?

        今天介绍一个工具就是专门针对上述这种情况进行处理?#27169;?#36825;个工具叫做:wordninja,地址在这里

        下面简单以实例看一下它的功能:

        def wordinjaFunc():
          '''
          https://github.com/yishuihanhan/wordninja
          '''
          import wordninja
          print wordninja.split('derekanderson')
          print wordninja.split('imateapot')
          print wordninja.split('wethepeopleoftheunitedstatesinordertoformamoreperfectunionestablishjusticeinsuredomestictranquilityprovideforthecommondefencepromotethegeneralwelfareandsecuretheblessingsoflibertytoourselvesandourposteritydoordainandestablishthisconstitutionfortheunitedstatesofamerica')
          print wordninja.split('littlelittlestar')

        结果如下:

        ['derek', 'anderson']
        ['im', 'a', 'teapot']
        ['we', 'the', 'people', 'of', 'the', 'united', 'states', 'in', 'order', 'to', 'form', 'a', 'more', 'perfect', 'union', 'establish', 'justice', 'in', 'sure', 'domestic', 'tranquility', 'provide', 'for', 'the', 'common', 'defence', 'promote', 'the', 'general', 'welfare', 'and', 'secure', 'the', 'blessings', 'of', 'liberty', 'to', 'ourselves', 'and', 'our', 'posterity', 'do', 'ordain', 'and', 'establish', 'this', 'constitution', 'for', 'the', 'united', 'states', 'of', 'america']
        ['little', 'little', 'star']

        从简单的结果上来看,效果还是不错?#27169;?#20043;后在实际的使用中会继续评估。

        总结

        以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

        相关文章

        • python MysqlDb模块安装及其使用详解

          python MysqlDb模块安装及其使用详解

          本篇文章主要介绍了python MysqlDb模块安装及其使用详解,小编觉得挺不错?#27169;?#29616;在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
          2018-02-02
        • 用python写的一个wordpress的采集程序

          用python写的一个wordpress的采集程序

          在学习python的过程中,经过不断的尝试及努力,终于完成了第一个像样的python程序,虽然还有很多需要优化的地方,但是目前基本上实现了我所要求的功能,需要的朋友可以参考下
          2016-02-02
        • 从请求到响应过程中django都做了哪些处理

          从请求到响应过程中django都做了哪些处理

          这篇文章主要给大家介绍了关于从请求到响应过程中django都做了哪些处理的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
          2018-08-08
        • 详解Python自建logging模块

          详解Python自建logging模块

          本篇文章给大家详细分析了Python自建logging模块的方法和代码分享,有需要的朋友参考学习下吧。
          2018-01-01
        • java中两个byte数组实现合并的示例

          java中两个byte数组实现合并的示例

          今天小编就为大家分享一篇java中两个byte数组实现合并的示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
          2018-05-05
        • Python 文件读写操作实例详解

          Python 文件读写操作实例详解

          Python提供了必要的函数和方法进?#24515;?#35748;情况下的文件基本操作。你可以用file对象做大部分的文件操作
          2014-03-03
        • flask中的wtforms使用方法

          flask中的wtforms使用方法

          这篇文章主要介绍了flask中的wtforms使用方法,小编觉得挺不错?#27169;?#29616;在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
          2018-07-07
        • 详解多线程Django程序耗尽数据库连接的问题

          详解多线程Django程序耗尽数据库连接的问题

          这篇文章主要介绍了多线程Django程序耗尽数据库连接的问题,小编觉得挺不错?#27169;?#29616;在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
          2018-10-10
        • 用Python将结果保存为xlsx的方法

          用Python将结果保存为xlsx的方法

          今天小编就为大家分享一篇用Python将结果保存为xlsx的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
          2019-01-01
        • Python虚拟环境Virtualenv使用教程

          Python虚拟环境Virtualenv使用教程

          这篇文章主要介绍了Python虚拟环境Virtualenv简明教程,本文整合了两篇关于Virtualenv的使用教程,相信大家有通过本文一定可以学会如何使用Virtualenv,需要的朋友可以参考下
          2015-05-05

        最新评论

        2018白小姐一肖中特马
        <sup id="sjju3"><noscript id="sjju3"></noscript></sup>
        <big id="sjju3"></big>

      2. <blockquote id="sjju3"></blockquote>
        <blockquote id="sjju3"></blockquote>

          <td id="sjju3"></td>

          <big id="sjju3"></big>
            <code id="sjju3"><strong id="sjju3"><dl id="sjju3"></dl></strong></code>
          1. <sup id="sjju3"><noscript id="sjju3"></noscript></sup>
            <big id="sjju3"></big>

          2. <blockquote id="sjju3"></blockquote>
            <blockquote id="sjju3"></blockquote>

              <td id="sjju3"></td>

              <big id="sjju3"></big>
                <code id="sjju3"><strong id="sjju3"><dl id="sjju3"></dl></strong></code>