- 什么是mmap
mmap对于c程序员很熟悉,对于java程序员有点陌生。简而言之,将文件直接映射到用户态的内存地址,这样对文件的操作不再是write/read,而是直接对内存地址的操作。
在c中提供了三个函数来实现
[list]
- mmap 进行映射
- munmap 取消映射
- msync 进程在映射空间的对共享内容的改变并不直接写回到磁盘文件中,往往在调用munmap()后才执行该操作。
具体参照
http://blog.chinaunix.net/uid-24517893-id-164217.html
java中的map
java中的FileChannel,提供了map和force方法,map创建文件和内存的映射,
MappedByteBuffer buffer = fc.map(MapMode.READ_WRITE, 0, 1000);
返回一个MappedByteBuffer,这是一个DirectBuffer,其中包含一个内存地址,然后可用就做一些读写操作。
还有另外一个方法是force,是将内存的更新的内容刷到磁盘中。
在这里抛出一个问题,force是必须调用的,如果不调用force会怎样。
我试着写了一段小程序来试验
MappedByteBuffer buffer = fc.map(MapMode.READ_WRITE, 0, 1000);
for (int i = 0;i< 100000;i++){
buffer.put((byte)65);
}
System.out.println("write completed!");
System.in.read();
然后观察文件发现文件中是有1000个B的,那么就是说不调用force,内容也会落到磁盘中的。既然不用force内容也可以落到磁盘中,那force的作用什么呢?带着这个问题我查看了openJdk的force和map的实现和linux中mmap的实现。
JDK的force和map的实现
通过FileChannel->FileChannelImpl的native知道,对linux平台调用应该在D:\git\openjdk\jdk\src\solaris\native\sun\nio\ch下的FileChannelImpl.c
NIEXPORT jlong JNICALL
Java_sun_nio_ch_FileChannelImpl_map0(JNIEnv *env, jobject this,
jint prot, jlong off, jlong len)
mapAddress = mmap64(
0, /* Let OS decide location */
len, /* Number of bytes to map */
protections, /* File permissions */
flags, /* Changes are shared */
fd, /* File descriptor of mapped file */
off); /* Offset into file */
JNIEXPORT jint JNICALL
Java_sun_nio_ch_FileChannelImpl_force0(JNIEnv *env, jobject this,
jobject fdo, jboolean md)
{
jint fd = fdval(env, fdo);
int result = 0;
if (md == JNI_FALSE) {
result = fdatasync(fd);
} else {
result = fsync(fd);
}
return handle(env, result, "Force failed");
}
原来force是调用的fdatasync(fsync),这不是linux中buffered IO,write(2)以后需要调用的方法吗,难道mmap也是走的BufferdIO那一套,首先写到page cache,然后由pdflush定时刷到磁盘中,那这么说mmap只是在进程空间分配一个内存地址,真实的内存还是使用的pagecache。所以force是调用fsync将dirty page刷到磁盘中,但mmap还有共享之类的实现起来应该很复杂。
验证
为了验证上面的假设,我做了一个实验。在linux下起两个终端,A终端通过上面的程序向a.txt写入数据,B终端使用tailf a.txt观察数据的写入。奇怪的是A终端执行完,B终端立马就成看到数据,而不是等30s以后pdflush刷到磁盘以后才能看到,难道前面的假设错了?或者另一种可能tailf查看到也是在page cache中读取的。那只需查看下文件的page是不是dirty就知道了。
cat /proc/$(pidof java)/smaps|grep a.txt -A 10 -B 10
就可以查看一个文件的page是否是dirty。
重新实现使用如上脚本观察
2aaab30c4000-2aaab31b9000 rw-s 00000000 fd:00 81887299 /opt/zhanghailei/a.txt
Size: 980 kB
Rss: 980 kB
Shared_Clean: 0 kB
Shared_Dirty: 0 kB
Private_Clean: 0 kB
Private_Dirty: 980 kB
Swap: 0 kB
Pss: 980 kB
果然是dirty的,然后继续等待一段时间再次执行发现已经是clean,被刷到磁盘中。
2aaab30c4000-2aaab31b9000 rw-s 00000000 fd:00 81887299 /opt/zhanghailei/a.txt
Size: 980 kB
Rss: 980 kB
Shared_Clean: 0 kB
Shared_Dirty: 0 kB
Private_Clean: 980 kB
Private_Dirty: 0 kB
Swap: 0 kB
Pss: 980 kB
结论
1. mmap,底层还是走的BufferedIO,好处大概是减少了内核态和用户态的内存拷贝,这点不太确定,对内核不熟。
2. force,参数为true调用fsync,false调用fdatasync,fdatasync只刷数据不刷meta数据
3. 即使不调用force,内核也会定期将dirty page刷到磁盘,默认是30s。
分享到:
相关推荐
java内存模型思维导图--内存模型抽象,重排序,final,顺序一致性,锁,volatile,concurrent包的实现
主要为大家详细介绍了使用mmap实现大文件的复制,单进程与多进程的两种情况,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
rocketmq支持任意时间的延时(可以精确到秒级) 基于时间轮和高效mmap文件实现;定时消息与延时消息在代码配置上存在一些差异,但是最终达到的效果相同:消息在发送到消息队列RocketMQ版服务端后并不会立马投递,...
里面包含了File类的作用、IO流、字节流字符流、异常处理、缓冲流、转换流、序列化、打印流的详细讲解
我本人是C程序员,对java比较感兴趣,发现java nio里面很多的东西都是对C原生api的封装,如epoll, mmap等 要是想学习 java nio ,以及 nio 的扩展 netty 会是个不错的选择 sun 本身的实现 不足参考 因为没文档和...
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、...
用Netty实现的Spring-boot-protocol将springboot的WebServer更改为NettyTcpServer,为用户扩展了网络编程的能力。...sendFile, mmap. 示例:com.github.netty.http.example.HttpZeroCopyController.java4.HttpServlet
Java.Util.Concurrent是在并发编程中很常用的实用工具类。此包包括了几个小的、已标准化的可扩展框架,以及一些提供有用功能的类,没有这些类,这些功能会很难实现或实现起来冗长乏味。课程从技术原理和细节上,进行...
alloc()和mmap()等内存分配函数,在分配时只是建立了进程虚拟地址空间,并没有分配虚拟内存对应的物理内存。 当进程访问这些没有建立映射关系的虚拟内存时,处理器自动触发一个缺页异常。 缺页异常是Linux内存管理...
下面是一个基于Haim Kaplan和Uri Zwick的“Chazelle's Soft Heaps的更简单的实现和分析”的一... 此代码从 Louis Wasserman 的 Java 实现中汲取了很多灵感,可在此处获取 这里还有其他事情在起作用,即将有更好的描述
Java-concurrent-hash-trie- map-并发trie哈希图实现。 LArray-大型堆外数组和内存映射文件(mmap)。 Level-db -LevelDB到Java的端口。 Lmdb-jni-闪电内存映射数据库。 LMAXCollections -LMAX集合。 PalDB-可...
HBASE是bigTable,(源代码是Java编写)的开源版本,是Apache Hadoop的数据库,是建立在hdfs之上,被设计用来提供高可靠性,高性能、列存储、可伸缩、多版本,的Nosql的分布式数据存储系统,实现对大型数据的实时,...
壁虎Raft的实现,支持文件,内存和Rockdb存储,使用mmap和sendfile实现零复制关于raft算法可以参考这个动画
- 每隔一定的间隔或符合一定的条件,会创建索引,并在文件中实现一个类似于链表的机制,遍历寻找索引记录 ### Benchmark ### 运行环境: - 阿里云天池平台 - 300GB SSD磁盘 - Linux操作系统 Deadline磁盘调度算法...
对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】: 有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 鼓励下载和使用,并欢迎大家互相学习,共同...
基于 Java 的 Mindjet 解析器库和带有示例的自定义实现。 目前,该库仅支持从 mmap 中提取文本。 Topic 和 Parser 类旨在:从 Mindjet 中提取信息及其文本和路径。 结果将是一个主题树。 这里定义了一系列的 ...
此外,还有三个函数buffer-seq,buffer-nth和buffer-to-array,旨在使将java.nio类集成到Clojure中更加容易。 希望通过将它们的功能滚动到clojure.core中,它们将变得过时。 要使其他功能与ByteBuffers一起使用,还...
174 内核中PageCache、mmap作用、java文件系统io、nio、内存中缓冲区作用 地址 177 Socket编程BIO及TCP参数 地址 184 C10K问题及NIO精讲和IO模型性能压测 地址 185 网络编程之多路复用器及Epoll精讲 地址 187 ...
此实现基于和上的Java和C实现。 此实现的其他功能: 倒排列表表示:大部分已满的块都紧凑地存储为非成员数组(而不是成员数组或固定大小的位图)。 不变的咆哮位图的集合可以通过mmap有效地序列化到单个文件中。...
要实现高性能的日志收集,必然会占用大量内存,先将日志写入内存,然后在合适的时间将内存中的日志写入文件系统(flush)如果在flush之前用户杀死进程,那么内存中的内容将丢失。 实时写日志到文件可以保证日志的...