探寻C++最快的读取文件的方案在竞赛中,遇到大数据时,往往读文件成了程序运行速度的瓶颈,需要更快的读取方式。相信几乎所有的C++学习者都在cin机器缓慢的速度上栽过跟头,于是从此以后发誓不用cin读数据。还有人说Pascal的read语句的速度是C/C++中scanf比不上的,C++选手只能干着急。难道C++真的低Pascal一等吗?答案是不言而喻的。一个进阶的方法是把数据一下子读进来,然后再转化字符串,这种方法传说中很不错,但具体如何从没试过,因此今天就索性把能想到的所有的读数据的方式都测试了一边,结果是惊人的。竞赛中读数据的情况最多的莫过于读一大堆整数了,于是我写了一个程序,生成一千万个随机数到data.txt中,一共55MB。然后我写了个程序主干计算运行时间,代码如下:#includeint main(){ int start = clock(); //DO SOMETHING printf("%.3lf\n",double(clock()-start)/CLOCKS_PER_SEC);}最简单的方法就算写一个循环scanf了,代码如下:const int MAXN = 10000000;int numbers[MAXN];void scanf_read(){ freopen("data.txt","r",stdin); for (int i=0;i > numbers[i];}出乎我的意料,cin仅仅用了6.38秒,比我想象的要快。cin慢是有原因的,其实默认的时候,cin与stdin总是保持同步的,也就是说这两种方法可以混用,而不必担心文件指针混乱,同时cout和stdout也一样,两者混用不会输出顺序错乱。正因为这个兼容性的特性,导致cin有许多额外的开销,如何禁用这个特性呢?只需一个语句std::ios::sync_with_stdio(false);,这样就可以取消cin于stdin的同步了。程序如下:const int MAXN = 10000000;int numbers[MAXN];void cin_read_nosync(){ freopen("data.txt","r",stdin); std::ios::sync_with_stdio(false); for (int i=0;i > numbers[i];}取消同步后效率究竟如何?经测试运行时间锐减到了2.05秒,与scanf效率相差无几了!有了这个以后可以放心使用cin和cout了。接下来让我们测试一下读入整个文件再处理的方法,首先要写一个字符串转化为数组的函数,代码如下const int MAXS = 60*1024*1024;char buf[MAXS];void analyse(char *buf,int len = MAXS){ int i; numbers[i=0]=0; for (char *p=buf;*p && p-buf > a >> b >> c) { /* blablabla */ }如果使用 C 风格的 scanf()函数,则可根据其返回值做出判断,具体地可以这样写: while (scanf("%s\n%s\n%c\n\n", &a, &b, &c) != EOF) { /* blablabla */ } 这样当格式输入流读到文件末尾时会返回 EOF,于是 while 退出。------------------------------------------------------------------------------------------------------------------------------------------- 2. 重定向 为便于反复测试及再现运行过程,可采用输出、输入重定向的方法。 你只需事先将输入数据存成文件,运行时系统会自动从中获取输入。其效果完全等 同于你从(作为默认输入流的)键盘逐项输入。类似地,你也可以指定另一文件,并使运行的结果自动存入其中。其效果完全等同 于从(作为默认输出流的)屏幕截取输出结果。 重定向的好处很多:可以避免手工输入的出错,忠实可靠地重复测试;可以实现大 规模数据的输入;可以完整精确地记录程序的输出,以便事后的对比分析;可以省去默 认输入、输出流占用的大量时间,更加准确地测量程序的执行效率。---------------------------------------------------------------------------------------------- d) 方法一:修改源文件,指定重定向的输入、输出文件 例如,若希望从文件 input.txt 中获取输入,将输出保存到文件 output.txt 中, 6 则可在主程序开头增加如下语句:#ifndef _OJ_freopen("input.txt", "r", stdin);freopen("output.txt", "w", stdout);#endif------------------------------------------------------------------------------------------------------------------------------------------------- 注意:如果用 c++风格的 cin/cout 的话,还要在前面引用头文件的部分加入 #include 。 OJ 在编译程序的时候会提供一个_OJ_的符号,所以上面这段语句会在 OJ 运行 的时候被跳过。e) 方法二:在 IDE 中通过设置命令行,重定向输入、输出文件 以 Visual Studio 为例,可打开对应工程的“属性页”,在“配置属性”下的“调 试”页,设置“命令行参数”。输入参数不多时,可直接键入。例如 ADD 一题,键入“100 200”即可。若其 中包含特殊字符,则需以'^'引导,或者使用一对半角括号消除歧义。若输入参数多,且不止一行,则可将其存成一个文件。比如,可在“命令行参 数”中键入: < D:\test\input.txt (注意起始字符"<"不能省略) 为将程序的输出保存至指定文件,可在“命令行参数”中继续键入:> D:\result\output.txt (同样地,起始字符"<"也不能省略)若不希望覆盖文件原有的内容,只需用">>"替换以上的">",即可将每次运行 的输出追加至 D:\result\output.txt。 输入、输出的重定向可同时采用并生效。比如可在“命令行参数”中键入:< D:\test\input.txt >> D:\result\output.txt重定向文件的具体路径与文件名可自行选择,但若包含空格,则需使用一对半 角引号消除歧义,比如: < "D:\my test\input.txt" >> "D:\my result\output.txt" 3. 帮助资料 关于输入输出的进一步问题,可以自己查阅相关手册或资料。 也可参考标准手册,以上输入输出方法都是 C/C++标准输入输出,在 manual 中都 有详细介绍。cin:http://www.cplusplus.com/reference/iostream/cin/scanf:http://linux.die.net/man/3/printf 对比:https://www.byvoid.com/blog/fast-readfile/