Projects tagged ‘china’ and ‘chinese’


[14 total ]

0 Users

中国人在 芬兰 图尔库 衣食住行玩需要了解的信息
Created 11 months ago.

0 Users

We hope you come here to develop the futurealpha os,including gui,tcp/ip,media player and other basic programming library.
Created 12 months ago.

0 Users

It's my project about translations & overlays on Gentoo Linux. It's my first site to save my opensource works! I'm so excited now!!
Created 12 months ago.

0 Users

Introduction in EnglishHTTPCWS is a open-source Chinese Word Segmentation System Based on the HTTP protocol, using ICTCLAS Chinese word segmentation algorithms. ICTCLAS is a Chinese lexical analysis ... [More] system, which is able to make Chinese word segmentation, Part-Of-Speech tagging, word sense disambiguation and named entity recognition. The detailed linguistic information provided by ICTCLAS increases the accuracy and depth of any application related to Chinese language, such as machine translation, retrieval, filtering, text mining and many others. 发布版本:httpcws 1.0.0 (最新版本:2009-08-10发布) 安装使用手册:http://blog.s135.com/httpcws_v100/ 下载地址(32位版):http://httpcws.googlecode.com/files/httpcws-1.0.0-i386-bin.tar.gz 下载地址(64位版):http://httpcws.googlecode.com/files/httpcws-1.0.0-x86_64-bin.tar.gz 中文分词在线演示:http://blog.s135.com/demo/httpcws/ PHP演示程序下载:http://blog.s135.com/demo/httpcws/httpcws-php-demo.zip httpcws 中文简介1、什么是 httpcws ?HTTPCWS 是一款基于HTTP协议的开源中文分词系统,目前仅支持Linux系统。HTTPCWS 使用“ICTCLAS 3.0 2009共享版中文分词算法”的API进行分词处理,得出分词结果。 ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)是中国科学院计算技术研究所在多年研究工作积累的基础上,基于多层隐马模型研制出的汉语词法分析系统,主要功能包括中文分词;词性标注;命名实体识别;新词识别;同时支持用户词典。ICTCLAS经过五年精心打造,内核升级6次,目前已经升级到了ICTCLAS3.0,分词精度98.45%,各种词典数据压缩后不到3M。ICTCLAS在国内973专家组组织的评测中活动获得了第一名,在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名,是当前世界上最好的汉语词法分析器。 ICTCLAS 3.0 商业版是收费的,而免费提供的 ICTCLAS 3.0 共享版不开源,词库是根据人民日报一个月的语料得出的,很多词语不存在。所以本人补充的一个19万条词语的自定义词库,对ICTCLAS分词结果进行合并处理,输出最终分词结果。 由于 ICTCLAS 3.0 2009 共享版只支持GBK编码,因此,如果是UTF-8编码的字符串,可以先用iconv函数转换成GBK编码,再用httpcws进行分词处理,最后转换回UTF-8编码。 HTTPCWS 软件自身(包括httpcws.cpp源文件、dict/httpcws_dict.txt自定义词库)采用NewBSD开源协议,可以自由修改。HTTPCWS 使用的 ICTCLAS 共享版 API 及 dict/Data/ 目录内的语料库,版权及著作权归中国科学院计算技术研究所、ictclas.org所有,使用需遵循其相关协议。 2、httpcws 中文分词在线演示演示网址:http://blog.s135.com/demo/httpcws/ 3、httpcws 中文分词下载安装32位版: cd /usr/local/ wget http://httpcws.googlecode.com/files/httpcws-1.0.0-i386-bin.tar.gz tar zxvf httpcws-1.0.0-i386-bin.tar.gz rm -f httpcws-1.0.0-i386-bin.tar.gz cd httpcws-1.0.0-i386-bin/ ulimit -SHn 65535 /usr/local/httpcws-1.0.0-i386-bin/httpcws -d -x /usr/local/httpcws-1.0.0-i386-bin/dict/64位版: cd /usr/local/ wget http://httpcws.googlecode.com/files/httpcws-1.0.0-x86_64-bin.tar.gz tar zxvf httpcws-1.0.0-x86_64-bin.tar.gz rm -f httpcws-1.0.0-x86_64-bin.tar.gz cd httpcws-1.0.0-x86_64-bin/ ulimit -SHn 65535 /usr/local/httpcws-1.0.0-x86_64-bin/httpcws -d -x /usr/local/httpcws-1.0.0-x86_64-bin/dict/命令行启动参数: 4、httpcws 使用方法GET方法(文本长度受URL的长度限制,需要分词的文本为GBK编码,最好采用urlencode对文本进行编码): http://192.168.8.42:1985/?w=有人的地方就有江湖 http://192.168.8.42:1985/?w=%D3%D0%C8%CB%B5%C4%B5%D8%B7%BD%BE%CD%D3%D0%BD%AD%BA%FEPOST方法(文本长度无限制,适用于大文本分词,需要分词的文本为GBK编码,最好采用urlencode对文本进行编码): curl -d "有人的地方就有江湖" http://192.168.8.42:1985 curl -d "%D3%D0%C8%CB%B5%C4%B5%D8%B7%BD%BE%CD%D3%D0%BD%AD%BA%FE" http://192.168.8.42:1985PHP 调用 HTTPCWS 示例见:http://blog.s135.com/httpcws_v100/ 5、httpcws 分词速度及用途局域网内 HTTPCWS 接口中文分词平均处理速度(Wait时间):0.001秒,每秒可处理5000~20000次请求。 HTTPCWS 属于《亿级数据的高并发通用搜索引擎架构设计》的一部分,用作“搜索查询接口”的关键字分词处理。在此架构中,Sphinx索引引擎对于CJK(中日韩)语言支持一元切分,假设【反恐行动是国产主视角射击网络游戏】这段文字,Sphinx会将其切成【反 恐 行 动 是 国 产 主 视 角 射 击 网 络 游 戏】,然后对每个字建立反向索引。如果用这句话中包含的字组成一个不存在的词语,例如【恐动】,也会被搜索到,所以搜索时,需要加引号,例如搜索【"反恐行动"】,就能完全匹配连在一起的四个字,不连续的【"恐动"】就不会被搜索到。但是,这样还有一个问题,搜索【"反恐行动游戏"】或【"国产网络游戏"】就会搜索不到。所以,我在搜索层写了个PHP中文分词扩展,搜索“反恐行动游戏”、“国产网络游戏”,会被httpcws中文分词函数分别切分为“反恐行动 游戏”、“国产 网络游戏”,这时候,用PHP函数给以空格分隔的词语加上引号,去搜索【"反恐行动" "游戏"】或【"国产" "网络游戏"】,就能搜索到这条记录了。由于httpcws位于搜索层,中文分词词库发生增、删、改,只需重启httpcws进程即可,无需重建搜索索引。 根据上述情况,对于那些采用二元交叉切分的搜索引擎,httpcws用在前端搜索层对用户输入的搜索关键字、短语进行分词处理,同样适合。httpcws开发的目的正在于此,对于短句、小文本中文分词切分,速度非常之快。 6、自定义词库修改dict/httpcws_dict.txt文件,可以自由增加自己需要的词语。重启httpcws即可生效。 [Less]
Created 4 months ago.

0 Users

注:最新的分词系统 HTTPCWS 已经发布,用来取代 PHPCWS。请点击以下网址下载 HTTPCWS:http://code.google.com/p/httpcws原来的 PHPCWS 停止更新。Introduction in ... [More] EnglishPHPCWS is a open-source PHP Extension for Chinese Word Segmentation, using ICTCLAS Chinese word segmentation algorithms and Reverse maximal matching algorithms. ICTCLAS is a Chinese lexical analysis system, which is able to make Chinese word segmentation, Part-Of-Speech tagging, word sense disambiguation and named entity recognition. The detailed linguistic information provided by ICTCLAS increases the accuracy and depth of any application related to Chinese language, such as machine translation, retrieval, filtering, text mining and many others. 发布版本:PHPCWS 1.0.1 (最新版本:2009-07-06发布) 安装使用手册:http://blog.s135.com/phpcws_v100/ 下载地址(PHP扩展):http://phpcws.googlecode.com/files/phpcws-1.0.1.tar.gz 下载地址(词库):http://phpcws.googlecode.com/files/phpcws-dict-1.0.0.tar.gz 中文分词在线演示:http://blog.s135.com/demo/phpcws/ PHP实例程序下载:http://blog.s135.com/demo/phpcws/phpcws-php-demo.zip PHPCWS 1.0.0 (历史版本) PHPCWS 中文简介1、什么是 PHPCWS ?PHPCWS 是一款开源的PHP中文分词扩展,目前仅支持Linux/Unix系统。 PHPCWS 先使用“ICTCLAS 3.0 共享版中文分词算法”的API进行初次分词处理,再使用自行编写的“逆向最大匹配算法”对分词和进行词语合并处理,并增加标点符号过滤功能,得出分词结果。 ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)是中国科学院计算技术研究所在多年研究工作积累的基础上,基于多层隐马模型研制出的汉语词法分析系统,主要功能包括中文分词;词性标注;命名实体识别;新词识别;同时支持用户词典。ICTCLAS经过五年精心打造,内核升级6次,目前已经升级到了ICTCLAS3.0,分词精度98.45%,各种词典数据压缩后不到3M。ICTCLAS在国内973专家组组织的评测中活动获得了第一名,在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名,是当前世界上最好的汉语词法分析器。 ICTCLAS 3.0 商业版是收费的,而免费提供的 ICTCLAS 3.0 共享版不开源,词库是根据人民日报一个月的语料得出的,很多词语不存在。所以本人对ICTCLAS分词后的结果,再采用逆向最大匹配算法,根据自己补充的一个9万条词语的自定义词库(与ICTCLAS词库中的词语不重复),对ICTCLAS分词结果进行合并处理,输出最终分词结果。 由于 ICTCLAS 3.0 共享版只支持GBK编码,因此,如果是UTF-8编码的字符串,可以先用PHP的iconv函数转换成GBK编码,再用phpcws_split函数进行分词处理,最后转换回UTF-8编码。 2、PHPCWS 中文分词在线演示演示网址:http://blog.s135.com/demo/phpcws/ 3、PHPCWS 分词速度及用途初次使用时,Apache 或 php-cgi(FastCGI) 进程,需要加载一次词库到内存中,需要0.0X秒。58字节的一句话——“2009年2月13日,我编写了一款PHP中文分词扩展:PHPCWS 1.0.0。”,分词速度只需为0.0003秒。 PHPCWS 属于《亿级数据的高并发通用搜索引擎架构设计》的一部分,用作“搜索查询接口”的关键字分词处理。在此架构中,Sphinx索引引擎对于CJK(中日韩)语言支持一元切分,假设【反恐行动是国产主视角射击网络游戏】这段文字,Sphinx会将其切成【反 恐 行 动 是 国 产 主 视 角 射 击 网 络 游 戏】,然后对每个字建立反向索引。如果用这句话中包含的字组成一个不存在的词语,例如【恐动】,也会被搜索到,所以搜索时,需要加引号,例如搜索【"反恐行动"】,就能完全匹配连在一起的四个字,不连续的【"恐动"】就不会被搜索到。但是,这样还有一个问题,搜索【"反恐行动游戏"】或【"国产网络游戏"】就会搜索不到。所以,我在搜索层写了个PHP中文分词扩展,搜索“反恐行动游戏”、“国产网络游戏”,会被PHPCWS中文分词函数分别切分为“反恐行动 游戏”、“国产 网络游戏”,这时候,用PHP函数给以空格分隔的词语加上引号,去搜索【"反恐行动" "游戏"】或【"国产" "网络游戏"】,就能搜索到这条记录了。由于PHPCWS位于搜索层,中文分词词库发生增、删、改,只需平滑重启一次Web服务器或php-cgi进程即可,无需重建搜索索引。 根据上述情况,对于那些采用二元交叉切分的搜索引擎,PHPCWS用在前端搜索层对用户输入的搜索关键字、短语进行分词处理,同样适合。PHPCWS开发的目的正在于此,对于短句、小文本中文分词切分,速度非常之快。 4、自定义词库自定义词库名称为userdict.tch,格式为 Tokyo Cabinet DBM 的 Abstract key-value 内存哈希数据库(key为GBK编码的词语名词,value为词频。目前词频均填1,暂时用不上)。 [Less]
Created 11 months ago.

0 Users

Planed functions: 1. Maintain menus, including the dishes name and how to make it. 2. Create weekly schedule for yourself.
Created 12 months ago.

0 Users

在我们的设想中 DKSchema.NET 是一套可用于快速开发的组件和工具。它根据数据模型定义自动生成数据模型对象、数据库访问对象、基本网站、Web Service ... [More] 接口和Window Form 中的列表和表单窗体。希望感兴趣的朋友能参与进来,无论是给我们提意见或者亲自投入我们的开发中来,让其成为一套成熟的组件和工具,为大家的工作提供便利。Welcome to JOIN US! [Less]
Created 4 months ago.

0 Users

erp base ofbiz
Created 3 months ago.

0 Users

It is a project for Chinese K-Meleon, and an extension for it.
Created 11 months ago.

0 Users

提供一个简单易用的C++类Properties用以读写基于xml格式的配置文件, 从而实现类似java中Properties类的作用。两者生成的xml文件可以互通。 ... [More] Xml时代据说已经到来了,现在的程序流行使用xml配置文件。如果你 使用过java中的Properties类,你会发现它的方便。很多时候我们并不 需要多么庞大的类库,我们仅仅需要从xml文件中提取“key-value”形式 的配置参数或将其写入。我们需要易于使用的尽可能小的类库。我们可 能想按以下代码形式完成我们的配置文件解析工作:(见src/test/tes- tproperties.cpp) codeProperties p; p.setProperty("sid","harite"); p.setProperty("port","1521"); p.setProperty("userpassword","12y3_aer65"); p.setProperty("host","127.0.0.1"); p.setProperty("username","system"); p.storeToXML("connectsetting.xml"); p.clear(); if(!p.loadFromXML("connectsetting.xml")) { cout << "falue" << endl; } else { for(Properties::const_iterator it = p.begin() ; it!=p.end() ; ++it) { cout << (*it).first << "-->" << (*it).second << endl; } cout << "use getProperty" << endl; cout << p.getProperty("sid", "") << endl; cout << p.getProperty("username", "") << endl; cout << p.getProperty("port", "") << endl; cout << p.getProperty("notexist", "defaultvalue") << endl; p.clear(); }code是不是发现这个c++类的名字和几个方法与java中的Properties类很相 似?哈哈,你是对的,使用libproperties库生成的xml文件是完全可以与 java中Properties类互通的!libproperties库可以无障碍的读取java程 序产生的xml文件(使用Properties类)。 libproperties库会不会难于学习?不会!它对外只提供一个类和几个 公共方法。(仅有类Properties) libproperties库线程安全吗?不安全。底层基于tinyxml2.4.3库,这 个库线程不安全。 我已经有了tinyxml库,如果安装了libproperties库,会不会冲突? 如果你已经安装了tinyxml库,包括头文件和库文件,则可以将include 目录下的libproperties.h和libproperties_tinyxml_ext.h引入你的工 程头文件搜索路径,将src/libproperties里的libproperties.cpp和l- ibproperties_tinyxml_ext.cpp源文件引入你的工程即可。libproper- tis源文件没有修改任何tinyxml源文件,只是衍生出几个类。 [Less]
Created 11 months ago.