### Packet 1 ### |IP|TCP SYN| forward, encrypt+encapsulate |IP|ESP|IP|TCP SYN|, send 0) | __do_softirq() { 0) | net_rx_action() { 0) 0.154 us | __usecs_to_jiffies(); 0) | virtnet_poll [virtio_net]() { 0) 0.243 us | _raw_spin_trylock(); 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.488 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.854 us | } 0) 1.590 us | } 0) 0.147 us | netif_tx_wake_queue(); 0) | virtqueue_get_buf_ctx [virtio_ring]() { 0) 0.209 us | detach_buf_split [virtio_ring](); 0) 0.635 us | } 0) | receive_buf [virtio_net]() { 0) 0.244 us | rcu_read_unlock_strict(); 0) | page_to_skb [virtio_net]() { 0) | __napi_alloc_skb() { 0) | __alloc_skb() { 0) | kmem_cache_alloc_node() { 0) 0.151 us | should_failslab(); 0) 1.255 us | } 0) | __kmalloc_reserve.isra.64() { 0) | __kmalloc_node_track_caller() { 0) 0.213 us | kmalloc_slab(); 0) 0.144 us | should_failslab(); 0) 1.395 us | } 0) 1.763 us | } 0) | ksize() { 0) 0.244 us | __ksize(); 0) 0.587 us | } 0) 4.784 us | } 0) 5.158 us | } 0) 0.141 us | skb_put(); 0) 6.088 us | } 0) 0.151 us | skb_partial_csum_set(); 0) 0.447 us | eth_type_trans(); 0) | napi_gro_receive() { 0) 0.254 us | dev_gro_receive(); 0) 0.234 us | gro_normal_one(); 0) 1.081 us | } 0) + 44.909 us | } 0) 0.203 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.143 us | virtqueue_get_vring_size [virtio_ring](); 0) | virtqueue_napi_complete [virtio_net]() { 0) 0.165 us | virtqueue_enable_cb_prepare [virtio_ring](); 0) | napi_complete_done() { 0) | gro_normal_list.part.160() { 0) | netif_receive_skb_list_internal() { 0) | __netif_receive_skb_list_core() { 0) | __netif_receive_skb_core() { 0) | nf_hook_slow() { 0) | nf_flow_offload_ip_hook [nf_flow_table]() { 0) | flow_offload_lookup [nf_flow_table]() { 0) 0.186 us | flow_offload_hash [nf_flow_table](); 0) 1.028 us | } 0) 1.529 us | } 0) 2.415 us | } 0) 0.146 us | rcu_read_unlock_strict(); 0) 3.730 us | } 0) | ip_list_rcv() { 0) 0.308 us | ip_rcv_core.isra.23(); 0) | ip_sublist_rcv() { 0) | nf_hook_slow_list() { 0) | nf_hook_slow() { 0) 0.166 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_in [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.190 us | get_l4proto [nf_conntrack](); 0) 0.278 us | nf_ct_get_tuple [nf_conntrack](); 0) | hash_conntrack_raw [nf_conntrack]() { 0) 0.371 us | _raw_spin_lock_irqsave(); 0) | get_random_bytes() { 0) 0.230 us | _warn_unseeded_randomness(); 0) | _get_random_bytes() { 0) | extract_crng() { 0) | _extract_crng() { 0) 0.148 us | _raw_spin_lock_irqsave(); 0) | chacha_block_generic() { 0) 0.340 us | chacha_permute(); 0) 0.710 us | } /* chacha_block_generic */ 0) 0.151 us | _raw_spin_unlock_irqrestore(); 0) 3.347 us | } 0) 3.918 us | } 0) | crng_backtrack_protect() { 0) | _crng_backtrack_protect() { 0) 0.142 us | _raw_spin_lock_irqsave(); 0) 0.150 us | _raw_spin_unlock_irqrestore(); 0) 0.738 us | } 0) 0.996 us | } 0) 5.458 us | } 0) 6.189 us | } 0) 0.150 us | _raw_spin_unlock_irqrestore(); 0) | kmem_cache_alloc_trace() { 0) 0.141 us | should_failslab(); 0) 0.738 us | } 0) | queue_work_on() { 0) | __queue_work() { 0) 0.154 us | get_work_pool(); 0) 0.208 us | _raw_spin_lock(); 0) | insert_work() { 0) | wake_up_process() { 0) | try_to_wake_up() { 0) 0.369 us | _raw_spin_lock_irqsave(); 0) 0.236 us | ttwu_queue_wakelist(); 0) 0.201 us | _raw_spin_lock(); 0) 0.323 us | update_rq_clock(); 0) | ttwu_do_activate() { 0) | enqueue_task_fair() { 0) | enqueue_entity() { 0) 0.157 us | update_curr(); 0) 0.319 us | __update_load_avg_se(); 0) 0.218 us | __update_load_avg_cfs_rq(); 0) 0.158 us | update_cfs_group(); 0) 0.287 us | __enqueue_entity(); 0) 2.864 us | } 0) 0.149 us | hrtick_update(); 0) 3.870 us | } 0) | ttwu_do_wakeup() { 0) | check_preempt_curr() { 0) 0.168 us | resched_curr(); 0) 0.629 us | } 0) 1.795 us | } 0) 6.246 us | } 0) 0.155 us | _raw_spin_unlock_irqrestore(); 0) 9.209 us | } 0) 9.573 us | } /* wake_up_process */ 0) 9.999 us | } 0) 0.134 us | rcu_read_unlock_strict(); 0) + 11.514 us | } 0) + 11.909 us | } 0) + 21.033 us | } 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.683 us | } 0) | init_conntrack.isra.49 [nf_conntrack]() { 0) 0.163 us | nf_ct_invert_tuple [nf_conntrack](); 0) | __nf_conntrack_alloc [nf_conntrack]() { 0) | kmem_cache_alloc() { 0) 0.144 us | should_failslab(); 0) | __slab_alloc() { 0) | ___slab_alloc() { 0) 0.160 us | mempolicy_slab_node(); 0) | allocate_slab() { 0) | alloc_pages_current() { 0) 0.144 us | policy_nodemask(); 0) 0.164 us | policy_node(); 0) | __alloc_pages_nodemask() { 0) 0.147 us | should_fail_alloc_page(); 0) | get_page_from_freelist() { 0) 0.210 us | __inc_numa_state(); 0) 0.147 us | __inc_numa_state(); 0) | prep_new_page() { 0) 0.148 us | kernel_poison_pages(); 0) 0.524 us | } 0) 2.058 us | } 0) 2.824 us | } 0) 4.001 us | } 0) 0.279 us | mod_node_page_state(); 0) | get_random_u32() { 0) 0.145 us | _warn_unseeded_randomness(); 0) 0.220 us | _raw_spin_lock_irqsave(); 0) 0.152 us | _raw_spin_unlock_irqrestore(); 0) 1.172 us | } 0) 0.150 us | fixup_red_left(); 0) 0.144 us | setup_object_debug.isra.71(); 0) 0.156 us | setup_object_debug.isra.71(); 0) 0.144 us | setup_object_debug.isra.71(); 0) 0.142 us | setup_object_debug.isra.71(); 0) 0.142 us | setup_object_debug.isra.71(); 0) 0.142 us | setup_object_debug.isra.71(); 0) 0.162 us | setup_object_debug.isra.71(); 0) 0.143 us | setup_object_debug.isra.71(); 0) 0.143 us | setup_object_debug.isra.71(); 0) 0.143 us | setup_object_debug.isra.71(); 0) 0.145 us | setup_object_debug.isra.71(); 0) 0.143 us | setup_object_debug.isra.71(); 0) + 11.022 us | } 0) + 12.474 us | } 0) + 12.834 us | } 0) + 13.795 us | } 0) + 14.246 us | } 0) | nf_ct_ext_add [nf_conntrack]() { 0) 0.144 us | rcu_read_unlock_strict(); 0) | krealloc() { 0) 0.152 us | ksize(); 0) | __kmalloc_track_caller() { 0) 0.206 us | kmalloc_slab(); 0) 0.147 us | should_failslab(); 0) 1.379 us | } 0) 0.230 us | kfree(); 0) 2.558 us | } 0) 3.674 us | } 0) 0.146 us | l3mdev_master_ifindex_rcu(); 0) 0.145 us | rcu_read_unlock_strict(); 0) | nf_ct_ext_add [nf_conntrack]() { 0) 0.144 us | rcu_read_unlock_strict(); 0) | krealloc() { 0) | ksize() { 0) 0.229 us | __ksize(); 0) 0.517 us | } 0) 0.805 us | } 0) 1.490 us | } 0) | __nf_ct_try_assign_helper [nf_conntrack]() { 0) 0.491 us | __nf_ct_helper_find [nf_conntrack](); 0) 0.869 us | } 0) 0.147 us | _raw_spin_lock(); 0) 0.146 us | __local_bh_enable_ip(); 0) + 23.583 us | } 0) | nf_conntrack_tcp_packet [nf_conntrack]() { 0) | nf_checksum() { 0) 0.158 us | nf_ip_checksum(); 0) 0.527 us | } 0) | tcp_new [nf_conntrack]() { 0) 0.293 us | tcp_options.isra.16 [nf_conntrack](); 0) 0.773 us | } 0) 0.147 us | _raw_spin_lock_bh(); 0) 0.168 us | nf_ct_seq_offset [nf_conntrack](); 0) | _raw_spin_unlock_bh() { 0) 0.144 us | __local_bh_enable_ip(); 0) 0.411 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.145 us | nf_ct_acct_add [nf_conntrack](); 0) 0.518 us | } 0) 4.301 us | } 0) + 51.874 us | } 0) + 52.297 us | } 0) + 53.996 us | } 0) + 54.344 us | } 0) 0.145 us | rcu_read_unlock_strict(); 0) | ip_rcv_finish_core.isra.22() { 0) | tcp_v4_early_demux() { 0) | __inet_lookup_established() { 0) 0.219 us | inet_ehashfn(); 0) 0.811 us | } 0) 1.232 us | } 0) | ip_route_input_noref() { 0) | ip_route_input_rcu() { 0) | ip_route_input_slow() { 0) | make_kuid() { 0) 0.240 us | map_id_range_down(); 0) 0.601 us | } 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.245 us | dev_get_by_index_rcu(); 0) 0.142 us | l3mdev_master_ifindex_rcu(); 0) 0.141 us | rcu_read_unlock_strict(); 0) 1.188 us | } 0) | fib_rules_lookup() { 0) 0.193 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.452 us | fib_get_table(); 0) 0.146 us | rcu_read_unlock_strict(); 0) 1.168 us | } 0) 0.207 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.537 us | fib_get_table(); 0) 0.949 us | fib_table_lookup(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 2.297 us | } 0) 0.146 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.381 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.395 us | fib_lookup_good_nhc(); 0) 1.756 us | } 0) 0.138 us | rcu_read_unlock_strict(); 0) 2.862 us | } 0) 0.180 us | fib4_rule_suppress(); 0) 0.142 us | rcu_read_unlock_strict(); 0) 9.795 us | } 0) + 11.507 us | } 0) 0.334 us | fib_validate_source(); 0) 0.164 us | find_exception(); 0) + 14.563 us | } 0) + 14.963 us | } 0) 0.158 us | rcu_read_unlock_strict(); 0) + 15.635 us | } 0) + 17.589 us | } 0) | ip_sublist_rcv_finish() { 0) | ip_forward() { 0) | __xfrm_policy_check() { 0) 0.148 us | rcu_read_unlock_strict(); 0) | __xfrm_decode_session() { 0) 0.229 us | security_xfrm_decode_session(); 0) 0.849 us | } 0) 0.184 us | __nf_nat_decode_session [nf_nat](); 0) 0.146 us | rcu_read_unlock_strict(); 0) | xfrm_policy_lookup() { 0) | xfrm_policy_lookup_bytype() { 0) 0.144 us | xfrm_pol_bin_key(); 0) 0.142 us | rcu_read_unlock_strict(); 0) 1.505 us | } 0) | xfrm_policy_lookup_bytype() { 0) 0.142 us | xfrm_pol_bin_key(); 0) 0.348 us | xfrm_pol_bin_cmp(); 0) | xfrm_policy_find_inexact_candidates() { 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.160 us | xfrm_policy_addr_delta(); 0) 0.533 us | } 0) 0.156 us | xfrm_policy_lookup_inexact_addr(); 0) 1.200 us | } 0) 0.146 us | rcu_read_unlock_strict(); 0) 2.851 us | } 0) 4.840 us | } 0) 7.844 us | } 0) | __xfrm_route_forward() { 0) | __xfrm_decode_session() { 0) 0.156 us | security_xfrm_decode_session(); 0) 0.451 us | } 0) | xfrm_lookup_with_ifid() { 0) | xfrm_policy_lookup() { 0) | xfrm_policy_lookup_bytype() { 0) 0.146 us | xfrm_pol_bin_key(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 0.917 us | } 0) | xfrm_policy_lookup_bytype() { 0) 0.147 us | xfrm_pol_bin_key(); 0) 0.200 us | xfrm_pol_bin_cmp(); 0) | xfrm_policy_find_inexact_candidates() { 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.144 us | xfrm_policy_addr_delta(); 0) 0.523 us | } 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.140 us | xfrm_policy_addr_delta(); 0) 0.496 us | } 0) 0.157 us | xfrm_policy_lookup_inexact_addr(); 0) 1.768 us | } 0) | xfrm_policy_match() { 0) 0.294 us | xfrm_selector_match(); 0) 0.152 us | security_xfrm_policy_lookup(); 0) 1.131 us | } 0) 0.148 us | rcu_read_unlock_strict(); 0) 4.662 us | } 0) 6.004 us | } 0) 0.148 us | xfrm_expand_policies(); 0) | xfrm_resolve_and_create_bundle() { 0) | xfrm_tmpl_resolve() { 0) | xfrm_state_find() { 0) | xfrm_state_look_at() { 0) 0.159 us | security_xfrm_state_pol_flow_match(); 0) 0.501 us | } 0) 0.156 us | rcu_read_unlock_strict(); 0) 1.786 us | } 0) 2.367 us | } 0) | dst_alloc() { 0) | kmem_cache_alloc() { 0) 0.143 us | should_failslab(); 0) 0.863 us | } 0) 0.375 us | dst_init(); 0) 1.752 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) | dst_cow_metrics_generic() { 0) | kmem_cache_alloc_trace() { 0) 0.145 us | should_failslab(); 0) 0.505 us | } 0) 0.846 us | } 0) | __xfrm_dst_lookup() { 0) | xfrm4_dst_lookup() { 0) | __xfrm4_dst_lookup.isra.3() { 0) 0.143 us | dev_get_by_index_rcu(); 0) 0.198 us | l3mdev_master_ifindex_rcu(); 0) 0.145 us | rcu_read_unlock_strict(); 0) | ip_route_output_key_hash() { 0) | ip_route_output_key_hash_rcu() { 0) | __ip_dev_find() { 0) 0.452 us | inet_lookup_ifaddr_rcu(); 0) 0.158 us | rcu_read_unlock_strict(); 0) 1.117 us | } 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.363 us | dev_get_by_index_rcu(); 0) 0.207 us | l3mdev_master_ifindex_rcu(); 0) 0.139 us | rcu_read_unlock_strict(); 0) 1.254 us | } 0) | fib_rules_lookup() { 0) 0.145 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.168 us | fib_get_table(); 0) 0.148 us | rcu_read_unlock_strict(); 0) 0.740 us | } 0) 0.143 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.150 us | fib_get_table(); 0) 0.263 us | fib_table_lookup(); 0) 0.145 us | rcu_read_unlock_strict(); 0) 1.117 us | } 0) 0.142 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.147 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.156 us | fib_lookup_good_nhc(); 0) 0.719 us | } 0) 0.147 us | rcu_read_unlock_strict(); 0) 1.571 us | } 0) 0.145 us | fib4_rule_suppress(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 5.496 us | } 0) 7.159 us | } 0) 0.206 us | fib_select_path(); 0) 0.146 us | find_exception(); 0) 9.989 us | } 0) 0.145 us | rcu_read_unlock_strict(); 0) + 10.572 us | } 0) + 11.811 us | } 0) + 12.160 us | } 0) 0.146 us | rcu_read_unlock_strict(); 0) + 12.898 us | } 0) 0.144 us | xfrm_state_afinfo_get_rcu(); 0) 0.141 us | rcu_read_unlock_strict(); 0) 0.188 us | ipv4_mtu(); 0) 0.291 us | xfrm_state_mtu(); 0) 0.149 us | ipv4_mtu(); 0) | xfrm4_fill_dst() { 0) | rt_add_uncached_list() { 0) 0.206 us | _raw_spin_lock_bh(); 0) | _raw_spin_unlock_bh() { 0) 0.146 us | __local_bh_enable_ip(); 0) 0.418 us | } 0) 1.059 us | } 0) 1.410 us | } 0) 0.140 us | rcu_read_unlock_strict(); 0) + 24.708 us | } 0) 0.145 us | ktime_get_real_seconds(); 0) 0.158 us | dst_release(); 0) + 32.489 us | } 0) + 33.411 us | } 0) | nf_hook_slow() { 0) | nft_do_chain_ipv4 [nf_tables]() { 0) | nft_do_chain [nf_tables]() { 0) 0.164 us | nft_ct_get_eval [nft_ct](); 0) | nft_counter_eval [nft_counter]() { 0) 0.142 us | __local_bh_enable_ip(); 0) 0.505 us | } 0) 0.148 us | nft_ct_get_eval [nft_ct](); 0) 0.149 us | nft_ct_get_eval [nft_ct](); 0) 0.181 us | nft_ct_get_eval [nft_ct](); 0) 0.152 us | nft_ct_get_eval [nft_ct](); 0) 0.248 us | nft_flow_offload_eval [nft_flow_offload](); 0) | nft_counter_eval [nft_counter]() { 0) 0.145 us | __local_bh_enable_ip(); 0) 0.492 us | } 0) 6.031 us | } 0) 6.554 us | } 0) 7.326 us | } 0) 0.152 us | rcu_read_unlock_strict(); 0) | ip_forward_finish() { 0) | xfrm4_output() { 0) | nf_hook_slow() { 0) | apparmor_ipv4_postroute() { 0) 0.160 us | apparmor_ip_postroute.isra.15(); 0) 0.500 us | } 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | __nf_conntrack_confirm [nf_conntrack]() { 0) | hash_conntrack_raw [nf_conntrack]() { 0) 0.149 us | _raw_spin_lock_irqsave(); 0) 0.155 us | _raw_spin_unlock_irqrestore(); 0) 0.818 us | } 0) | nf_conntrack_double_lock.isra.41 [nf_conntrack]() { 0) | nf_conntrack_lock [nf_conntrack]() { 0) 0.210 us | _raw_spin_lock(); 0) 0.489 us | } 0) 0.146 us | _raw_spin_lock(); 0) 1.080 us | } 0) | nf_ct_del_from_dying_or_unconfirmed_list [nf_conntrack]() { 0) 0.140 us | _raw_spin_lock(); 0) 0.429 us | } 0) 0.138 us | l3mdev_master_ifindex_rcu(); 0) 0.141 us | rcu_read_unlock_strict(); 0) 0.159 us | __nf_conntrack_insert_prepare [nf_conntrack](); 0) 0.167 us | __nf_conntrack_hash_insert [nf_conntrack](); 0) 0.149 us | nf_conntrack_double_unlock [nf_conntrack](); 0) 0.139 us | __local_bh_enable_ip(); 0) 4.957 us | } 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) | ctnetlink_conntrack_event [nf_conntrack_netlink]() { 0) | nfnetlink_has_listeners [nfnetlink]() { 0) | netlink_has_listeners() { 0) 0.146 us | rcu_read_unlock_strict(); 0) 0.862 us | } 0) 1.212 us | } 0) 1.720 us | } 0) 0.140 us | rcu_read_unlock_strict(); 0) 2.652 us | } 0) 8.296 us | } 0) 8.635 us | } 0) 9.919 us | } 0) 0.142 us | rcu_read_unlock_strict(); 0) | __xfrm4_output() { 0) | xfrm_output() { 0) 0.153 us | xfrm_dev_offload_ok(); 0) | skb_checksum_help() { 0) | skb_checksum() { 0) | __skb_checksum() { 0) | csum_partial() { 0) 0.230 us | do_csum(); 0) 0.593 us | } 0) 1.050 us | } 0) 1.408 us | } 0) 0.155 us | skb_ensure_writable(); 0) 2.175 us | } 0) | xfrm_output_resume() { 0) | xfrm_outer_mode_output() { 0) | xfrm_inner_extract_output() { 0) 0.163 us | xfrm_mtu(); 0) 0.622 us | } /* xfrm_inner_extract_output */ 0) 1.076 us | } 0) 0.148 us | _raw_read_lock_bh(); 0) 0.146 us | xfrm_state_check_expire_ro(); 0) | xfrm_replay_overflow_offload_ro() { 0) | netlink_has_listeners() { 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.953 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 1.562 us | } 0) | _raw_read_unlock_bh() { 0) 0.147 us | __local_bh_enable_ip(); 0) 0.419 us | } 0) | esp_output [esp4]() { 0) | esp_output_head [esp4]() { 0) | pskb_put() { 0) 0.147 us | skb_put(); 0) 0.439 us | } 0) 0.901 us | } 0) 0.145 us | skb_push(); 0) | esp_output_tail [esp4]() { 0) | esp_alloc_tmp [esp4]() { 0) | __kmalloc() { 0) 0.155 us | kmalloc_slab(); 0) 0.145 us | should_failslab(); 0) 1.045 us | } 0) 1.381 us | } 0) | skb_to_sgvec() { 0) 0.201 us | __skb_to_sgvec(); 0) 0.484 us | } 0) | crypto_aead_encrypt() { 0) | crypto_authenc_encrypt [authenc]() { 0) 0.261 us | scatterwalk_ffwd(); 0) | crypto_skcipher_encrypt() { 0) | null_skcipher_crypt() { 0) | skcipher_walk_virt() { 0) | skcipher_walk_skcipher() { 0) | skcipher_walk_first() { 0) 0.150 us | skcipher_walk_next(); 0) 0.497 us | } 0) 0.844 us | } 0) 1.198 us | } 0) 0.161 us | skcipher_walk_done(); 0) 2.182 us | } 0) 2.939 us | } 0) | crypto_authenc_genicv [authenc]() { 0) | crypto_ahash_digest() { 0) | crypto_ahash_op() { 0) | shash_async_digest() { 0) | shash_ahash_digest() { 0) | crypto_shash_digest() { 0) | shash_digest_unaligned() { 0) | hmac_init() { 0) | hmac_import() { 0) 0.162 us | shash_default_import(); 0) 0.699 us | } 0) 1.028 us | } 0) | crypto_shash_finup() { 0) | hmac_finup() { 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) 0.614 us | sha1_generic_block_fn(); 0) | sha1_final() { 0) 0.315 us | sha1_generic_block_fn(); 0) 0.672 us | } 0) 1.834 us | } 0) 2.204 us | } 0) 0.158 us | shash_default_import(); 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) | sha1_final() { 0) 0.315 us | sha1_generic_block_fn(); 0) 0.634 us | } 0) 0.932 us | } 0) 1.198 us | } 0) 4.134 us | } 0) 4.425 us | } 0) 6.217 us | } 0) 6.887 us | } 0) 7.286 us | } 0) 7.621 us | } 0) 8.003 us | } 0) 8.328 us | } 0) | scatterwalk_map_and_copy() { 0) 0.160 us | scatterwalk_ffwd(); 0) 0.190 us | scatterwalk_copychunks(); 0) 0.781 us | } 0) + 10.063 us | } 0) + 14.049 us | } 0) + 14.552 us | } 0) 0.495 us | kfree(); 0) + 18.144 us | } 0) + 19.930 us | } 0) | dst_release() { 0) | call_rcu() { 0) 0.151 us | rcu_segcblist_enqueue(); 0) 0.643 us | } 0) 1.039 us | } 0) | __ip_local_out() { 0) 0.145 us | ip_send_check(); 0) | nf_hook_slow() { 0) 0.143 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_local [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.148 us | get_l4proto [nf_conntrack](); 0) 0.173 us | nf_ct_get_tuple [nf_conntrack](); 0) | hash_conntrack_raw [nf_conntrack]() { 0) 0.139 us | _raw_spin_lock_irqsave(); 0) 0.149 us | _raw_spin_unlock_irqrestore(); 0) 0.743 us | } 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.144 us | rcu_read_unlock_strict(); 0) 0.521 us | } 0) | init_conntrack.isra.49 [nf_conntrack]() { 0) 0.143 us | nf_ct_invert_tuple [nf_conntrack](); 0) | __nf_conntrack_alloc [nf_conntrack]() { 0) | kmem_cache_alloc() { 0) 0.149 us | should_failslab(); 0) 0.444 us | } 0) 0.734 us | } 0) | nf_ct_ext_add [nf_conntrack]() { 0) 0.140 us | rcu_read_unlock_strict(); 0) | krealloc() { 0) 0.153 us | ksize(); 0) | __kmalloc_track_caller() { 0) 0.142 us | kmalloc_slab(); 0) 0.145 us | should_failslab(); 0) 0.753 us | } /* __kmalloc_track_caller */ 0) 0.155 us | kfree(); 0) 1.632 us | } 0) 2.251 us | } 0) 0.144 us | l3mdev_master_ifindex_rcu(); 0) 0.140 us | rcu_read_unlock_strict(); 0) | nf_ct_ext_add [nf_conntrack]() { 0) 0.142 us | rcu_read_unlock_strict(); 0) | krealloc() { 0) | ksize() { 0) 0.153 us | __ksize(); 0) 0.436 us | } 0) 0.726 us | } 0) 1.321 us | } 0) | __nf_ct_try_assign_helper [nf_conntrack]() { 0) 0.221 us | __nf_ct_helper_find [nf_conntrack](); 0) 0.511 us | } 0) 0.145 us | _raw_spin_lock(); 0) 0.143 us | __local_bh_enable_ip(); 0) 7.022 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.138 us | nf_ct_acct_add [nf_conntrack](); 0) 0.412 us | } 0) + 10.136 us | } 0) + 10.455 us | } 0) + 11.242 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) + 12.240 us | } 0) | ip_output() { 0) | nf_hook_slow() { 0) | apparmor_ipv4_postroute() { 0) 0.140 us | apparmor_ip_postroute.isra.15(); 0) 0.572 us | } 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | __nf_conntrack_confirm [nf_conntrack]() { 0) | hash_conntrack_raw [nf_conntrack]() { 0) 0.145 us | _raw_spin_lock_irqsave(); 0) 0.154 us | _raw_spin_unlock_irqrestore(); 0) 0.751 us | } 0) | nf_conntrack_double_lock.isra.41 [nf_conntrack]() { 0) | nf_conntrack_lock [nf_conntrack]() { 0) 0.249 us | _raw_spin_lock(); 0) 0.537 us | } 0) 0.144 us | _raw_spin_lock(); 0) 1.107 us | } 0) | nf_ct_del_from_dying_or_unconfirmed_list [nf_conntrack]() { 0) 0.146 us | _raw_spin_lock(); 0) 0.430 us | } 0) 0.144 us | l3mdev_master_ifindex_rcu(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.144 us | __nf_conntrack_insert_prepare [nf_conntrack](); 0) 0.158 us | __nf_conntrack_hash_insert [nf_conntrack](); 0) 0.142 us | nf_conntrack_double_unlock [nf_conntrack](); 0) 0.144 us | __local_bh_enable_ip(); 0) 4.672 us | } 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) | ctnetlink_conntrack_event [nf_conntrack_netlink]() { 0) | nfnetlink_has_listeners [nfnetlink]() { 0) | netlink_has_listeners() { 0) 0.145 us | rcu_read_unlock_strict(); 0) 0.446 us | } 0) 0.726 us | } 0) 1.017 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) 1.642 us | } 0) 6.754 us | } 0) 7.025 us | } 0) 8.057 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) | ip_finish_output() { 0) | __ip_finish_output() { 0) 0.143 us | ipv4_mtu(); 0) | ip_finish_output2() { 0) | dev_queue_xmit() { 0) | __dev_queue_xmit() { 0) 0.145 us | dst_release(); 0) 0.236 us | netdev_core_pick_tx(); 0) 0.141 us | _raw_spin_lock(); 0) | sch_direct_xmit() { 0) | validate_xmit_skb_list() { 0) | validate_xmit_skb() { 0) | netif_skb_features() { 0) 0.145 us | passthru_features_check(); 0) 0.153 us | skb_network_protocol(); 0) 0.971 us | } 0) 0.157 us | validate_xmit_xfrm(); 0) 1.749 us | } 0) 2.050 us | } 0) 0.142 us | _raw_spin_lock(); 0) | dev_hard_start_xmit() { 0) | start_xmit [virtio_net]() { 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.446 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.719 us | } 0) 1.069 us | } 0) 0.165 us | virtqueue_enable_cb_delayed [virtio_ring](); 0) | skb_to_sgvec() { 0) 0.148 us | __skb_to_sgvec(); 0) 0.427 us | } 0) | virtqueue_add_outbuf [virtio_ring]() { 0) 0.141 us | vring_map_one_sg [virtio_ring](); 0) 0.867 us | } 0) 0.218 us | virtqueue_kick_prepare [virtio_ring](); 0) | virtqueue_notify [virtio_ring]() { 0) + 21.520 us | vp_notify [virtio_pci](); 0) + 22.172 us | } 0) + 26.641 us | } 0) + 27.125 us | } 0) 0.180 us | _raw_spin_lock(); 0) + 30.346 us | } 0) | __qdisc_run() { 0) 0.330 us | fq_codel_dequeue [sch_fq_codel](); 0) 1.030 us | } 0) 0.321 us | __local_bh_enable_ip(); 0) + 33.987 us | } 0) + 34.374 us | } 0) 0.160 us | __local_bh_enable_ip(); 0) + 35.382 us | } 0) + 36.007 us | } 0) + 36.400 us | } 0) + 45.222 us | } 0) + 84.197 us | } 0) + 87.376 us | } 0) + 87.725 us | } /* __xfrm4_output */ 0) + 98.656 us | } 0) + 99.216 us | } 0) ! 149.230 us | } 0) ! 149.663 us | } 0) ! 223.157 us | } 0) ! 224.070 us | } 0) ! 228.548 us | } 0) 0.144 us | rcu_read_unlock_strict(); 0) ! 229.250 us | } 0) ! 229.617 us | } 0) ! 229.982 us | } 0) 0.186 us | virtqueue_poll [virtio_ring](); 0) ! 230.934 us | } 0) ! 280.745 us | } 0) 0.208 us | __kfree_skb_flush(); 0) ! 282.150 us | } 0) ! 282.691 us | } ### Packet 1, end ### |IP|TCP SYN| forward, encrypt+encapsulate |IP|ESP|IP|TCP SYN|, send ### Packet 2 (part 1 of 2) ### |IP|ESP|IP|TCP SYN ACK| receive, decrypt+decapsulate, schedule re-insert |IP|TCP SYN ACK| 0) | net_rx_action() { 0) 0.145 us | __usecs_to_jiffies(); 0) | virtnet_poll_tx [virtio_net]() { 0) 0.175 us | _raw_spin_lock(); 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) | virtqueue_get_buf_ctx [virtio_ring]() { 0) 0.196 us | detach_buf_split [virtio_ring](); 0) 0.636 us | } 0) 0.918 us | } 0) | napi_consume_skb() { 0) | skb_release_all() { 0) 0.268 us | skb_release_head_state(); 0) | skb_release_data() { 0) | skb_free_head() { 0) 0.713 us | kfree(); 0) 1.058 us | } 0) 1.554 us | } 0) 2.240 us | } 0) 2.561 us | } 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.144 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.438 us | } 0) 4.632 us | } 0) | virtqueue_napi_complete [virtio_net]() { 0) 0.146 us | virtqueue_enable_cb_prepare [virtio_ring](); 0) 0.246 us | napi_complete_done(); 0) 0.148 us | virtqueue_poll [virtio_ring](); 0) 1.119 us | } 0) 0.143 us | netif_tx_wake_queue(); 0) 6.875 us | } 0) | virtnet_poll [virtio_net]() { 0) 0.144 us | _raw_spin_trylock(); 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.141 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.412 us | } 0) 0.707 us | } 0) 0.145 us | netif_tx_wake_queue(); 0) | virtqueue_get_buf_ctx [virtio_ring]() { 0) 0.182 us | detach_buf_split [virtio_ring](); 0) 0.619 us | } 0) | receive_buf [virtio_net]() { 0) 0.214 us | rcu_read_unlock_strict(); 0) | page_to_skb [virtio_net]() { 0) | __napi_alloc_skb() { 0) | __alloc_skb() { 0) | kmem_cache_alloc_node() { 0) 0.141 us | should_failslab(); 0) 0.634 us | } 0) | __kmalloc_reserve.isra.64() { 0) | __kmalloc_node_track_caller() { 0) 0.166 us | kmalloc_slab(); 0) 0.144 us | should_failslab(); 0) 0.854 us | } 0) 1.163 us | } 0) | ksize() { 0) 0.144 us | __ksize(); 0) 0.424 us | } 0) 2.913 us | } 0) 3.240 us | } 0) 0.138 us | skb_put(); 0) 4.000 us | } 0) 0.333 us | eth_type_trans(); 0) | napi_gro_receive() { 0) 0.150 us | dev_gro_receive(); 0) 0.231 us | gro_normal_one(); 0) 0.827 us | } 0) + 24.469 us | } 0) 0.143 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.145 us | virtqueue_get_vring_size [virtio_ring](); 0) | try_fill_recv [virtio_net]() { 0) 0.203 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.150 us | vring_map_one_sg [virtio_ring](); 0) 0.659 us | } 0) 0.147 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.146 us | vring_map_one_sg [virtio_ring](); 0) 0.465 us | } 0) 0.146 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.146 us | vring_map_one_sg [virtio_ring](); 0) 0.461 us | } 0) 0.147 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.144 us | vring_map_one_sg [virtio_ring](); 0) 0.459 us | } 0) 0.146 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.142 us | vring_map_one_sg [virtio_ring](); 0) 0.468 us | } 0) 0.143 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.141 us | vring_map_one_sg [virtio_ring](); 0) 0.441 us | } 0) 0.280 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.182 us | vring_map_one_sg [virtio_ring](); 0) 0.565 us | } 0) 0.243 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.235 us | vring_map_one_sg [virtio_ring](); 0) 0.699 us | } 0) 0.239 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.204 us | vring_map_one_sg [virtio_ring](); 0) 0.747 us | } 0) 0.250 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.226 us | vring_map_one_sg [virtio_ring](); 0) 0.702 us | } 0) 0.207 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.183 us | vring_map_one_sg [virtio_ring](); 0) 0.660 us | } 0) 0.226 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.229 us | vring_map_one_sg [virtio_ring](); 0) 0.663 us | } 0) 0.251 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.235 us | vring_map_one_sg [virtio_ring](); 0) 0.714 us | } 0) 0.194 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.238 us | vring_map_one_sg [virtio_ring](); 0) 0.676 us | } 0) 0.240 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.176 us | vring_map_one_sg [virtio_ring](); 0) 0.539 us | } 0) 0.180 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.182 us | vring_map_one_sg [virtio_ring](); 0) 0.575 us | } 0) 0.180 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.193 us | vring_map_one_sg [virtio_ring](); 0) 0.586 us | } 0) | skb_page_frag_refill() { 0) | alloc_pages_current() { 0) 0.171 us | policy_nodemask(); 0) 0.204 us | policy_node(); 0) | __alloc_pages_nodemask() { 0) 0.246 us | should_fail_alloc_page(); 0) | get_page_from_freelist() { 0) 0.337 us | __zone_watermark_ok(); 0) 0.234 us | _raw_spin_lock_irqsave(); 0) 0.337 us | __mod_zone_page_state(); 0) 0.235 us | __inc_numa_state(); 0) 0.234 us | __inc_numa_state(); 0) | prep_new_page() { 0) 0.374 us | irq_enter_rcu(); 0) | __sysvec_apic_timer_interrupt() { 0) | hrtimer_interrupt() { 0) 0.228 us | _raw_spin_lock_irqsave(); 0) 0.315 us | ktime_get_update_offsets_now(); 0) | __hrtimer_run_queues() { 0) 0.541 us | __remove_hrtimer(); 0) 0.166 us | _raw_spin_unlock_irqrestore(); 0) | tick_sched_timer() { 0) 0.191 us | ktime_get(); 0) | tick_sched_do_timer() { 0) | tick_do_update_jiffies64.part.20() { 0) 0.285 us | _raw_spin_lock(); 0) | do_timer() { 0) 0.308 us | calc_global_load(); 0) 0.763 us | } 0) | update_wall_time() { 0) | timekeeping_advance() { 0) 0.252 us | _raw_spin_lock_irqsave(); 0) 0.206 us | _raw_spin_unlock_irqrestore(); 0) 1.465 us | } 0) 1.927 us | } 0) 3.920 us | } 0) 4.407 us | } 0) | tick_sched_handle.isra.22() { 0) | update_process_times() { 0) | account_process_tick() { 0) 0.234 us | kvm_steal_clock(); 0) | account_system_time() { 0) | account_system_index_time() { 0) | cpuacct_account_field() { 0) 0.198 us | rcu_read_unlock_strict(); 0) 0.739 us | } 0) 0.218 us | rcu_read_unlock_strict(); 0) | acct_account_cputime() { 0) 0.256 us | __acct_update_integrals(); 0) 0.758 us | } 0) 2.734 us | } 0) 3.137 us | } 0) 4.082 us | } 0) | run_local_timers() { 0) 0.162 us | hrtimer_run_queues(); 0) 0.668 us | } 0) | rcu_sched_clock_irq() { 0) 0.266 us | rcu_is_cpu_rrupt_from_idle(); 0) 0.242 us | rcu_is_cpu_rrupt_from_idle(); 0) 0.230 us | rcu_segcblist_ready_cbs(); 0) | invoke_rcu_core() { 0) 0.262 us | raise_softirq(); 0) 1.010 us | } 0) 3.197 us | } 0) | scheduler_tick() { 0) 0.180 us | arch_scale_freq_tick(); 0) 0.200 us | _raw_spin_lock(); 0) 0.264 us | update_rq_clock(); 0) 0.180 us | task_tick_idle(); 0) 0.193 us | calc_global_load_tick(); 0) 0.192 us | trigger_load_balance(); 0) 3.319 us | } 0) 0.258 us | run_posix_cpu_timers(); 0) + 13.181 us | } 0) 0.229 us | profile_tick(); 0) + 14.158 us | } 0) 0.250 us | hrtimer_forward(); 0) + 20.047 us | } 0) 0.218 us | _raw_spin_lock_irq(); 0) 0.552 us | enqueue_hrtimer(); 0) + 22.966 us | } 0) | hrtimer_update_next_event() { 0) | __hrtimer_get_next_event() { 0) 0.323 us | __hrtimer_next_event_base(); 0) 0.785 us | } 0) | __hrtimer_get_next_event() { 0) 0.277 us | __hrtimer_next_event_base(); 0) 0.716 us | } 0) 2.425 us | } 0) 0.228 us | _raw_spin_unlock_irqrestore(); 0) | tick_program_event() { 0) | clockevents_program_event() { 0) 0.251 us | ktime_get(); 0) 7.373 us | lapic_next_deadline(); 0) 8.355 us | } 0) 8.858 us | } 0) + 36.734 us | } /* hrtimer_interrupt */ 0) + 37.503 us | } 0) | irq_exit_rcu() { 0) 0.226 us | idle_cpu(); 0) | tick_nohz_irq_exit() { 0) 0.275 us | ktime_get(); 0) 0.724 us | } 0) 1.678 us | } 0) 0.228 us | kernel_poison_pages(); 0) 0.292 us | prep_compound_page(); 0) + 65.582 us | } 0) + 69.808 us | } 0) + 70.949 us | } 0) + 72.177 us | } 0) + 72.682 us | } 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.238 us | vring_map_one_sg [virtio_ring](); 0) 0.817 us | } 0) 0.215 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.240 us | vring_map_one_sg [virtio_ring](); 0) 0.734 us | } 0) 0.244 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.229 us | vring_map_one_sg [virtio_ring](); 0) 0.710 us | } 0) 0.227 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.247 us | vring_map_one_sg [virtio_ring](); 0) 0.726 us | } 0) 0.249 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.232 us | vring_map_one_sg [virtio_ring](); 0) 0.762 us | } 0) 0.250 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.232 us | vring_map_one_sg [virtio_ring](); 0) 0.723 us | } 0) 0.232 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.215 us | vring_map_one_sg [virtio_ring](); 0) 0.709 us | } 0) 0.229 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.232 us | vring_map_one_sg [virtio_ring](); 0) 0.711 us | } 0) 0.245 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.216 us | vring_map_one_sg [virtio_ring](); 0) 0.725 us | } 0) 0.401 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.147 us | vring_map_one_sg [virtio_ring](); 0) 0.478 us | } 0) 0.145 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.142 us | vring_map_one_sg [virtio_ring](); 0) 0.449 us | } 0) 0.147 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.145 us | vring_map_one_sg [virtio_ring](); 0) 0.451 us | } 0) 0.148 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.142 us | vring_map_one_sg [virtio_ring](); 0) 0.449 us | } 0) 0.146 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.142 us | vring_map_one_sg [virtio_ring](); 0) 0.615 us | } 0) 0.145 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.144 us | vring_map_one_sg [virtio_ring](); 0) 0.477 us | } 0) 0.145 us | skb_page_frag_refill(); 0) | virtqueue_add_inbuf_ctx [virtio_ring]() { 0) 0.143 us | vring_map_one_sg [virtio_ring](); 0) 0.473 us | } 0) 0.216 us | virtqueue_kick_prepare [virtio_ring](); 0) ! 114.694 us | } 0) | virtqueue_napi_complete [virtio_net]() { 0) 0.142 us | virtqueue_enable_cb_prepare [virtio_ring](); 0) | napi_complete_done() { 0) | gro_normal_list.part.160() { 0) | netif_receive_skb_list_internal() { 0) | __netif_receive_skb_list_core() { 0) | __netif_receive_skb_core() { 0) | nf_hook_slow() { 0) 0.197 us | nf_flow_offload_ip_hook [nf_flow_table](); 0) 0.852 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) 1.668 us | } 0) | ip_list_rcv() { 0) 0.195 us | ip_rcv_core.isra.23(); 0) | ip_sublist_rcv() { 0) | nf_hook_slow_list() { 0) | nf_hook_slow() { 0) 0.152 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_in [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.169 us | get_l4proto [nf_conntrack](); 0) 0.211 us | nf_ct_get_tuple [nf_conntrack](); 0) 0.217 us | hash_conntrack_raw [nf_conntrack](); 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.177 us | dev_get_by_index_rcu(); 0) 0.143 us | l3mdev_master_ifindex_rcu(); 0) 0.145 us | rcu_read_unlock_strict(); 0) 0.144 us | dev_get_by_index_rcu(); 0) 0.144 us | l3mdev_master_ifindex_rcu(); 0) 0.142 us | rcu_read_unlock_strict(); 0) 0.139 us | rcu_read_unlock_strict(); 0) 2.478 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.143 us | nf_ct_acct_add [nf_conntrack](); 0) 0.438 us | } 0) 4.775 us | } /* nf_conntrack_in [nf_conntrack] */ 0) 5.089 us | } 0) 6.045 us | } 0) 6.369 us | } 0) 0.144 us | rcu_read_unlock_strict(); 0) | ip_rcv_finish_core.isra.22() { 0) | ip_route_input_noref() { 0) | ip_route_input_rcu() { 0) | ip_route_input_slow() { 0) | make_kuid() { 0) 0.148 us | map_id_range_down(); 0) 0.451 us | } 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.142 us | dev_get_by_index_rcu(); 0) 0.142 us | l3mdev_master_ifindex_rcu(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.992 us | } 0) | fib_rules_lookup() { 0) 0.143 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.166 us | fib_get_table(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.789 us | } 0) 0.154 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.293 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.152 us | fib_lookup_good_nhc(); 0) 1.349 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) 2.384 us | } 0) 0.162 us | fib4_rule_suppress(); 0) 0.142 us | rcu_read_unlock_strict(); 0) 5.230 us | } 0) 6.844 us | } 0) 0.258 us | fib_validate_source(); 0) 8.860 us | } 0) 9.203 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 9.813 us | } 0) + 10.316 us | } 0) | ip_sublist_rcv_finish() { 0) | ip_local_deliver() { 0) | nf_hook_slow() { 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) | ctnetlink_conntrack_event [nf_conntrack_netlink]() { 0) | nfnetlink_has_listeners [nfnetlink]() { 0) | netlink_has_listeners() { 0) 0.141 us | rcu_read_unlock_strict(); 0) 0.637 us | } 0) 0.950 us | } 0) 1.386 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 2.085 us | } 0) 2.423 us | } 0) 2.735 us | } 0) 3.166 us | } 0) 0.145 us | rcu_read_unlock_strict(); 0) | ip_local_deliver_finish() { 0) | ip_protocol_deliver_rcu() { 0) 0.296 us | raw_local_deliver(); 0) | xfrm4_esp_rcv() { 0) | xfrm4_rcv() { 0) | xfrm_input() { 0) | secpath_set() { 0) | skb_ext_add() { 0) | __skb_ext_alloc() { 0) | kmem_cache_alloc() { 0) 0.142 us | should_failslab(); 0) 0.779 us | } 0) 1.077 us | } 0) 1.823 us | } 0) 2.213 us | } 0) 0.154 us | xfrm_parse_spi(); 0) | xfrm_state_lookup() { 0) 0.381 us | __xfrm_state_lookup(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 1.027 us | } 0) 0.146 us | _raw_read_lock(); 0) 0.142 us | xfrm_replay_check_ro(); 0) 0.146 us | _raw_write_lock(); 0) 0.155 us | xfrm_replay_check(); 0) 0.161 us | xfrm_state_check_expire(); 0) 0.152 us | xfrm_replay_seqhi(); 0) | esp_input [esp4]() { 0) | esp_alloc_tmp [esp4]() { 0) | __kmalloc() { 0) 0.182 us | kmalloc_slab(); 0) 0.143 us | should_failslab(); 0) | __slab_alloc() { 0) 0.422 us | ___slab_alloc(); 0) 0.725 us | } 0) 1.708 us | } 0) 2.026 us | } 0) | skb_to_sgvec() { 0) 0.144 us | __skb_to_sgvec(); 0) 0.460 us | } /* skb_to_sgvec */ 0) | crypto_aead_decrypt() { 0) | crypto_authenc_decrypt [authenc]() { 0) | crypto_ahash_digest() { 0) | crypto_ahash_op() { 0) | shash_async_digest() { 0) | shash_ahash_digest() { 0) | crypto_shash_digest() { 0) | shash_digest_unaligned() { 0) | hmac_init() { 0) | hmac_import() { 0) 0.165 us | shash_default_import(); 0) 0.605 us | } 0) 0.875 us | } 0) | crypto_shash_finup() { 0) | hmac_finup() { 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) 0.350 us | sha1_generic_block_fn(); 0) | sha1_final() { 0) 0.314 us | sha1_generic_block_fn(); 0) 0.654 us | } 0) 1.465 us | } 0) 1.777 us | } 0) 0.155 us | shash_default_import(); 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) | sha1_final() { 0) 0.310 us | sha1_generic_block_fn(); 0) 0.805 us | } 0) 1.102 us | } 0) 1.365 us | } 0) 3.867 us | } 0) 4.158 us | } 0) 5.578 us | } 0) 6.052 us | } 0) 6.367 us | } 0) 6.645 us | } 0) 6.956 us | } 0) 7.227 us | } 0) | crypto_authenc_decrypt_tail.isra.5 [authenc]() { 0) | scatterwalk_map_and_copy() { 0) 0.162 us | scatterwalk_ffwd(); 0) 0.162 us | scatterwalk_copychunks(); 0) 0.761 us | } 0) 0.171 us | __crypto_memneq(); 0) 0.158 us | scatterwalk_ffwd(); 0) | crypto_skcipher_decrypt() { 0) | null_skcipher_crypt() { 0) | skcipher_walk_virt() { 0) | skcipher_walk_skcipher() { 0) | skcipher_walk_first() { 0) 0.151 us | skcipher_walk_next(); 0) 0.428 us | } 0) 0.702 us | } 0) 0.992 us | } 0) 0.156 us | skcipher_walk_done(); 0) 1.605 us | } 0) 2.016 us | } 0) 3.960 us | } 0) + 12.259 us | } 0) + 12.618 us | } 0) | esp_input_done2 [esp4]() { 0) 0.421 us | kfree(); 0) 0.170 us | skb_copy_bits(); 0) 0.163 us | skb_pull_rcsum(); 0) 1.543 us | } 0) + 17.992 us | } 0) 0.142 us | _raw_read_lock(); 0) 0.145 us | xfrm_replay_advance_ro(); 0) 0.149 us | _raw_write_lock(); 0) 0.143 us | xfrm_replay_check(); 0) | xfrm_replay_advance() { 0) | netlink_has_listeners() { 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.952 us | } 0) 0.144 us | rcu_read_unlock_strict(); 0) 1.561 us | } 0) | xfrm_rcv_cb() { 0) | xfrm4_rcv_cb() { 0) 0.139 us | esp4_rcv_cb [esp4](); 0) 0.529 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 1.309 us | } 0) 0.140 us | dst_release(); 0) | gro_cells_receive() { 0) | netif_rx() { 0) | netif_rx_internal() { 0) | enqueue_to_backlog() { 0) 0.145 us | _raw_spin_lock(); 0) 0.142 us | __raise_softirq_irqoff(); 0) 0.825 us | } 0) 1.182 us | } 0) 1.539 us | } 0) 0.145 us | rcu_read_unlock_strict(); 0) 2.445 us | } 0) + 32.494 us | } 0) + 32.916 us | } 0) + 33.499 us | } 0) + 34.571 us | } 0) 0.145 us | rcu_read_unlock_strict(); 0) + 35.143 us | } 0) + 39.063 us | } 0) + 39.393 us | } 0) + 57.054 us | } 0) + 57.755 us | } 0) + 60.018 us | } 0) 0.138 us | rcu_read_unlock_strict(); 0) + 60.722 us | } 0) + 61.040 us | } 0) + 61.568 us | } 0) 0.153 us | virtqueue_poll [virtio_ring](); 0) + 62.439 us | } 0) ! 205.368 us | } 0) | __kfree_skb_flush() { 0) 0.721 us | kmem_cache_free_bulk(); 0) 1.152 us | } 0) ! 214.627 us | } ### Packet 2 (part 1 of 2), end ### |IP|ESP|IP|TCP SYN ACK| receive, decrypt+decapsulate, schedule re-insert |IP|TCP SYN ACK| ### Packet 2 (part 2 of 2) ### re-insert (receive) |IP|TCP SYN ACK|, forward, send 0) | net_rx_action() { 0) 0.144 us | __usecs_to_jiffies(); 0) | process_backlog() { 0) 0.154 us | _raw_spin_lock(); 0) | __netif_receive_skb() { 0) | __netif_receive_skb_one_core() { 0) | __netif_receive_skb_core() { 0) | nf_hook_slow() { 0) | nf_flow_offload_ip_hook [nf_flow_table]() { 0) | flow_offload_lookup [nf_flow_table]() { 0) 0.187 us | flow_offload_hash [nf_flow_table](); 0) 0.643 us | } 0) 1.155 us | } 0) 1.534 us | } 0) 0.146 us | rcu_read_unlock_strict(); 0) 2.172 us | } 0) | ip_rcv() { 0) 0.168 us | ip_rcv_core.isra.23(); 0) | nf_hook_slow() { 0) 0.143 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_in [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.147 us | get_l4proto [nf_conntrack](); 0) 0.174 us | nf_ct_get_tuple [nf_conntrack](); 0) 0.178 us | hash_conntrack_raw [nf_conntrack](); 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.151 us | dev_get_by_index_rcu(); 0) 0.145 us | l3mdev_master_ifindex_rcu(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.149 us | dev_get_by_index_rcu(); 0) 0.146 us | l3mdev_master_ifindex_rcu(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 0.145 us | rcu_read_unlock_strict(); 0) 2.401 us | } 0) | nf_conntrack_tcp_packet [nf_conntrack]() { 0) | nf_checksum() { 0) | nf_ip_checksum() { 0) | __skb_checksum_complete() { 0) | __skb_checksum() { 0) | csum_partial() { 0) 0.213 us | do_csum(); 0) 0.512 us | } 0) 0.852 us | } 0) 1.152 us | } 0) 1.540 us | } 0) 1.845 us | } 0) 0.151 us | _raw_spin_lock_bh(); 0) 0.151 us | nf_ct_seq_offset [nf_conntrack](); 0) 0.197 us | tcp_options.isra.16 [nf_conntrack](); 0) | _raw_spin_unlock_bh() { 0) 0.144 us | __local_bh_enable_ip(); 0) 0.423 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.142 us | nf_ct_acct_add [nf_conntrack](); 0) 0.427 us | } 0) 4.821 us | } 0) 8.688 us | } 0) 8.961 us | } 0) 9.567 us | } 0) 0.142 us | rcu_read_unlock_strict(); 0) | ip_rcv_finish() { 0) | ip_rcv_finish_core.isra.22() { 0) | tcp_v4_early_demux() { 0) | __inet_lookup_established() { 0) 0.157 us | inet_ehashfn(); 0) 0.596 us | } 0) 0.944 us | } 0) | ip_route_input_noref() { 0) | ip_route_input_rcu() { 0) | ip_route_input_slow() { 0) | make_kuid() { 0) 0.147 us | map_id_range_down(); 0) 0.443 us | } 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.145 us | dev_get_by_index_rcu(); 0) 0.145 us | l3mdev_master_ifindex_rcu(); 0) 0.140 us | rcu_read_unlock_strict(); 0) 0.994 us | } 0) | fib_rules_lookup() { 0) 0.143 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.157 us | fib_get_table(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.777 us | } 0) 0.147 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.161 us | fib_get_table(); 0) 0.231 us | fib_table_lookup(); 0) 0.147 us | rcu_read_unlock_strict(); 0) 1.270 us | } 0) 0.142 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.323 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.216 us | fib_lookup_good_nhc(); 0) 0.840 us | } 0) 0.145 us | rcu_read_unlock_strict(); 0) 1.897 us | } 0) 0.145 us | fib4_rule_suppress(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 6.113 us | } 0) 7.529 us | } 0) 0.165 us | fib_validate_source(); 0) 0.148 us | find_exception(); 0) 9.283 us | } 0) 9.605 us | } 0) 0.146 us | rcu_read_unlock_strict(); 0) + 10.174 us | } 0) + 11.674 us | } 0) | ip_forward() { 0) | __xfrm_policy_check() { 0) 0.154 us | rcu_read_unlock_strict(); 0) | __xfrm_decode_session() { 0) 0.232 us | security_xfrm_decode_session(); 0) 0.644 us | } 0) 0.179 us | __nf_nat_decode_session [nf_nat](); 0) 0.157 us | rcu_read_unlock_strict(); 0) 0.188 us | xfrm_selector_match(); 0) | xfrm_policy_lookup() { 0) | xfrm_policy_lookup_bytype() { 0) 0.143 us | xfrm_pol_bin_key(); 0) 0.146 us | rcu_read_unlock_strict(); 0) 1.143 us | } 0) | xfrm_policy_lookup_bytype() { 0) 0.142 us | xfrm_pol_bin_key(); 0) 0.198 us | xfrm_pol_bin_cmp(); 0) | xfrm_policy_find_inexact_candidates() { 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.149 us | xfrm_policy_addr_delta(); 0) 0.463 us | } 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.150 us | xfrm_policy_addr_delta(); 0) 0.514 us | } 0) 0.151 us | xfrm_policy_lookup_inexact_addr(); 0) 1.718 us | } 0) | xfrm_policy_match() { 0) 0.210 us | xfrm_selector_match(); 0) 0.153 us | security_xfrm_policy_lookup(); 0) 0.865 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 4.287 us | } 0) 5.857 us | } 0) 0.151 us | ktime_get_real_seconds(); 0) 8.997 us | } 0) | __xfrm_route_forward() { 0) | __xfrm_decode_session() { 0) 0.149 us | security_xfrm_decode_session(); 0) 0.463 us | } 0) | xfrm_lookup_with_ifid() { 0) | xfrm_policy_lookup() { 0) | xfrm_policy_lookup_bytype() { 0) 0.144 us | xfrm_pol_bin_key(); 0) 0.141 us | rcu_read_unlock_strict(); 0) 0.899 us | } 0) | xfrm_policy_lookup_bytype() { 0) 0.140 us | xfrm_pol_bin_key(); 0) 0.147 us | xfrm_pol_bin_cmp(); 0) | xfrm_policy_find_inexact_candidates() { 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.156 us | xfrm_policy_addr_delta(); 0) 0.479 us | } 0) 0.157 us | xfrm_policy_lookup_inexact_addr(); 0) 1.091 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 2.525 us | } 0) 3.847 us | } 0) 0.162 us | xfrm_expand_policies(); 0) 4.527 us | } 0) 5.439 us | } 0) | nf_hook_slow() { 0) | nft_do_chain_ipv4 [nf_tables]() { 0) | nft_do_chain [nf_tables]() { 0) 0.151 us | nft_ct_get_eval [nft_ct](); 0) 0.147 us | nft_ct_get_eval [nft_ct](); 0) 0.177 us | nft_ct_get_eval [nft_ct](); 0) 0.159 us | nft_ct_get_eval [nft_ct](); 0) 0.160 us | nft_ct_get_eval [nft_ct](); 0) | nft_counter_eval [nft_counter]() { 0) 0.146 us | __local_bh_enable_ip(); 0) 0.465 us | } 0) 0.149 us | nft_ct_get_eval [nft_ct](); 0) 0.146 us | nft_ct_get_eval [nft_ct](); 0) 0.159 us | nft_ct_get_eval [nft_ct](); 0) 0.147 us | nft_ct_get_eval [nft_ct](); 0) | nft_counter_eval [nft_counter]() { 0) 0.145 us | __local_bh_enable_ip(); 0) 0.420 us | } 0) 0.144 us | nft_flow_offload_eval [nft_flow_offload](); 0) | nft_counter_eval [nft_counter]() { 0) 0.148 us | __local_bh_enable_ip(); 0) 0.422 us | } 0) 6.253 us | } 0) 6.586 us | } 0) 7.141 us | } 0) 0.147 us | rcu_read_unlock_strict(); 0) | ip_forward_finish() { 0) | ip_output() { 0) | nf_hook_slow() { 0) | apparmor_ipv4_postroute() { 0) 0.145 us | apparmor_ip_postroute.isra.15(); 0) 0.431 us | } 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) | ctnetlink_conntrack_event [nf_conntrack_netlink]() { 0) | nfnetlink_has_listeners [nfnetlink]() { 0) | netlink_has_listeners() { 0) 0.141 us | rcu_read_unlock_strict(); 0) 0.464 us | } 0) 0.736 us | } 0) 1.061 us | } 0) 0.150 us | rcu_read_unlock_strict(); 0) 1.653 us | } 0) 1.933 us | } 0) 2.216 us | } 0) 3.179 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) | ip_finish_output() { 0) | __ip_finish_output() { 0) | ip_finish_output2() { 0) | dev_queue_xmit() { 0) | __dev_queue_xmit() { 0) 0.144 us | dst_release(); 0) 0.153 us | netdev_core_pick_tx(); 0) 0.147 us | _raw_spin_lock(); 0) | sch_direct_xmit() { 0) | validate_xmit_skb_list() { 0) | validate_xmit_skb() { 0) | netif_skb_features() { 0) 0.143 us | passthru_features_check(); 0) 0.143 us | skb_network_protocol(); 0) 1.041 us | } 0) 0.172 us | validate_xmit_xfrm(); 0) 1.719 us | } 0) 2.054 us | } /* validate_xmit_skb_list */ 0) 0.147 us | _raw_spin_lock(); 0) | dev_hard_start_xmit() { 0) | start_xmit [virtio_net]() { 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.204 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.483 us | } 0) 0.810 us | } 0) 0.161 us | virtqueue_enable_cb_delayed [virtio_ring](); 0) | skb_to_sgvec() { 0) 0.151 us | __skb_to_sgvec(); 0) 0.432 us | } 0) | virtqueue_add_outbuf [virtio_ring]() { 0) 0.154 us | vring_map_one_sg [virtio_ring](); 0) + 37.313 us | } 0) 0.234 us | virtqueue_kick_prepare [virtio_ring](); 0) | virtqueue_notify [virtio_ring]() { 0) + 16.638 us | vp_notify [virtio_pci](); 0) + 17.050 us | } 0) + 57.337 us | } 0) + 57.739 us | } 0) 0.172 us | _raw_spin_lock(); 0) + 60.996 us | } 0) | __qdisc_run() { 0) 0.207 us | fq_codel_dequeue [sch_fq_codel](); 0) 0.662 us | } 0) 0.146 us | __local_bh_enable_ip(); 0) + 63.823 us | } 0) + 64.153 us | } 0) 0.146 us | __local_bh_enable_ip(); 0) + 65.057 us | } 0) + 65.376 us | } 0) + 65.673 us | } 0) + 69.590 us | } 0) + 69.923 us | } 0) + 92.729 us | } 0) ! 104.892 us | } 0) ! 115.584 us | } 0) ! 118.258 us | } 0) ! 118.537 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) 0.145 us | _raw_spin_lock(); 0) ! 119.979 us | } 0) 0.147 us | __kfree_skb_flush(); 0) ! 121.005 us | } ### Packet 2 (part 2 of 2), end ### re-insert (receive) |IP|TCP SYN ACK|, forward, send ### Packet 3 and 4 ### both packets combined after each other handled by ip_list_rcv() (both packets still on slowpath) ### Packet 3: |IP|TCP ACK| forward (triggers flowtables flow offload), encrypt+encapsulate |IP|ESP|IP|TCP ACK|, send ### Packet 4: |IP|TCP PSH ACK| forward, encrypt+encapsulate |IP|ESP|IP|TCP ACK|, send 0) | net_rx_action() { 0) 0.148 us | __usecs_to_jiffies(); 0) | virtnet_poll_tx [virtio_net]() { 0) 0.168 us | _raw_spin_lock(); 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) | virtqueue_get_buf_ctx [virtio_ring]() { 0) 0.213 us | detach_buf_split [virtio_ring](); 0) 0.561 us | } 0) 0.835 us | } 0) | napi_consume_skb() { 0) | skb_release_all() { 0) | skb_release_head_state() { 0) | __skb_ext_put() { 0) 0.465 us | kmem_cache_free(); 0) 1.062 us | } 0) 1.486 us | } 0) | skb_release_data() { 0) | skb_free_head() { 0) | kfree() { 0) | __slab_free() { 0) 0.218 us | put_cpu_partial(); 0) 0.658 us | } 0) 1.250 us | } 0) 1.571 us | } 0) 1.971 us | } 0) 3.867 us | } 0) 4.179 us | } 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.159 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.428 us | } 0) 6.097 us | } 0) | virtqueue_napi_complete [virtio_net]() { 0) 0.162 us | virtqueue_enable_cb_prepare [virtio_ring](); 0) 0.252 us | napi_complete_done(); 0) 0.159 us | virtqueue_poll [virtio_ring](); 0) 1.197 us | } 0) 0.147 us | netif_tx_wake_queue(); 0) 8.406 us | } 0) | virtnet_poll [virtio_net]() { 0) 0.159 us | _raw_spin_trylock(); 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.146 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.421 us | } 0) 0.710 us | } /* free_old_xmit_skbs [virtio_net] */ 0) 0.145 us | netif_tx_wake_queue(); 0) | virtqueue_get_buf_ctx [virtio_ring]() { 0) 0.173 us | detach_buf_split [virtio_ring](); 0) 0.530 us | } 0) | receive_buf [virtio_net]() { 0) 0.143 us | rcu_read_unlock_strict(); 0) | page_to_skb [virtio_net]() { 0) | __napi_alloc_skb() { 0) | __alloc_skb() { 0) | kmem_cache_alloc_node() { 0) 0.144 us | should_failslab(); 0) 0.593 us | } 0) | __kmalloc_reserve.isra.64() { 0) | __kmalloc_node_track_caller() { 0) 0.159 us | kmalloc_slab(); 0) 0.145 us | should_failslab(); 0) 0.911 us | } 0) 1.227 us | } 0) | ksize() { 0) 0.157 us | __ksize(); 0) 0.445 us | } 0) 2.951 us | } 0) 3.253 us | } 0) 0.146 us | skb_put(); 0) 4.071 us | } 0) 0.148 us | skb_partial_csum_set(); 0) 0.214 us | eth_type_trans(); 0) | napi_gro_receive() { 0) 0.199 us | dev_gro_receive(); 0) 0.168 us | gro_normal_one(); 0) 0.837 us | } 0) 6.574 us | } 0) | virtqueue_get_buf_ctx [virtio_ring]() { 0) 0.150 us | detach_buf_split [virtio_ring](); 0) 0.440 us | } 0) | receive_buf [virtio_net]() { 0) 0.209 us | rcu_read_unlock_strict(); 0) | page_to_skb [virtio_net]() { 0) | __napi_alloc_skb() { 0) | __alloc_skb() { 0) | kmem_cache_alloc_node() { 0) 0.146 us | should_failslab(); 0) 0.446 us | } 0) | __kmalloc_reserve.isra.64() { 0) | __kmalloc_node_track_caller() { 0) 0.152 us | kmalloc_slab(); 0) 0.145 us | should_failslab(); 0) | __slab_alloc() { 0) 0.266 us | ___slab_alloc(); 0) 0.571 us | } 0) 1.510 us | } 0) 1.798 us | } 0) | ksize() { 0) 0.143 us | __ksize(); 0) 0.486 us | } 0) 3.338 us | } 0) 3.612 us | } 0) 0.147 us | skb_put(); 0) 0.147 us | skb_add_rx_frag(); 0) 4.656 us | } 0) | __pskb_pull_tail() { 0) 0.201 us | skb_copy_bits(); 0) 0.579 us | } 0) 0.151 us | skb_partial_csum_set(); 0) 0.146 us | eth_type_trans(); 0) | napi_gro_receive() { 0) 0.149 us | dev_gro_receive(); 0) 0.146 us | gro_normal_one(); 0) 0.766 us | } 0) + 26.522 us | } 0) 0.186 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.145 us | virtqueue_get_vring_size [virtio_ring](); 0) | virtqueue_napi_complete [virtio_net]() { 0) 0.150 us | virtqueue_enable_cb_prepare [virtio_ring](); 0) | napi_complete_done() { 0) | gro_normal_list.part.160() { 0) | netif_receive_skb_list_internal() { 0) | __netif_receive_skb_list_core() { 0) | __netif_receive_skb_core() { 0) | nf_hook_slow() { 0) | nf_flow_offload_ip_hook [nf_flow_table]() { 0) | flow_offload_lookup [nf_flow_table]() { 0) 0.181 us | flow_offload_hash [nf_flow_table](); 0) 0.575 us | } 0) 0.971 us | } 0) 1.467 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 2.311 us | } 0) | __netif_receive_skb_core() { 0) | nf_hook_slow() { 0) | nf_flow_offload_ip_hook [nf_flow_table]() { 0) | __pskb_pull_tail() { 0) 0.169 us | skb_copy_bits(); 0) 0.465 us | } 0) | flow_offload_lookup [nf_flow_table]() { 0) 0.159 us | flow_offload_hash [nf_flow_table](); 0) 0.451 us | } 0) 1.397 us | } 0) 1.681 us | } 0) 0.164 us | rcu_read_unlock_strict(); 0) 2.294 us | } 0) | ip_list_rcv() { 0) 0.209 us | ip_rcv_core.isra.23(); 0) 0.158 us | ip_rcv_core.isra.23(); 0) | ip_sublist_rcv() { 0) | nf_hook_slow_list() { ### Packet 3: nf_hook_slow() (prerouting) 0) | nf_hook_slow() { 0) 0.172 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_in [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.302 us | get_l4proto [nf_conntrack](); 0) 0.233 us | nf_ct_get_tuple [nf_conntrack](); 0) 0.210 us | hash_conntrack_raw [nf_conntrack](); 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.193 us | dev_get_by_index_rcu(); 0) 0.163 us | l3mdev_master_ifindex_rcu(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 0.140 us | dev_get_by_index_rcu(); 0) 0.141 us | l3mdev_master_ifindex_rcu(); 0) 0.139 us | rcu_read_unlock_strict(); 0) 0.140 us | rcu_read_unlock_strict(); 0) 2.500 us | } 0) | nf_conntrack_tcp_packet [nf_conntrack]() { 0) | nf_checksum() { 0) 0.153 us | nf_ip_checksum(); 0) 0.454 us | } 0) 0.145 us | _raw_spin_lock_bh(); 0) 0.247 us | nf_ct_seq_offset [nf_conntrack](); 0) | _raw_spin_unlock_bh() { 0) 0.163 us | __local_bh_enable_ip(); 0) 0.440 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.144 us | nf_ct_acct_add [nf_conntrack](); 0) 0.446 us | } 0) 3.088 us | } 0) 7.337 us | } 0) 7.644 us | } 0) 8.552 us | } ### Packet 4: nf_hook_slow() (prerouting) 0) | nf_hook_slow() { 0) 0.153 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_in [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.159 us | get_l4proto [nf_conntrack](); 0) 0.151 us | nf_ct_get_tuple [nf_conntrack](); 0) 0.167 us | hash_conntrack_raw [nf_conntrack](); 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.140 us | dev_get_by_index_rcu(); 0) 0.141 us | l3mdev_master_ifindex_rcu(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.138 us | dev_get_by_index_rcu(); 0) 0.142 us | l3mdev_master_ifindex_rcu(); 0) 0.141 us | rcu_read_unlock_strict(); 0) 0.139 us | rcu_read_unlock_strict(); 0) 2.131 us | } 0) | nf_conntrack_tcp_packet [nf_conntrack]() { 0) | nf_checksum() { 0) 0.145 us | nf_ip_checksum(); 0) 0.412 us | } 0) 0.145 us | _raw_spin_lock_bh(); 0) 0.166 us | skb_copy_bits(); 0) 0.143 us | nf_ct_seq_offset [nf_conntrack](); 0) | _raw_spin_unlock_bh() { 0) 0.145 us | __local_bh_enable_ip(); 0) 0.417 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.142 us | nf_ct_acct_add [nf_conntrack](); 0) 0.409 us | } 0) 2.901 us | } /* nf_conntrack_tcp_packet [nf_conntrack] */ 0) 6.383 us | } 0) 6.658 us | } 0) 7.263 us | } 0) + 16.286 us | } 0) 0.140 us | rcu_read_unlock_strict(); ### Packet 3: routing 0) | ip_rcv_finish_core.isra.22() { 0) | tcp_v4_early_demux() { 0) | __inet_lookup_established() { 0) 0.156 us | inet_ehashfn(); 0) 0.564 us | } 0) 0.925 us | } 0) | ip_route_input_noref() { 0) | ip_route_input_rcu() { 0) | ip_route_input_slow() { 0) | make_kuid() { 0) 0.181 us | map_id_range_down(); 0) 0.489 us | } 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.145 us | dev_get_by_index_rcu(); 0) 0.251 us | l3mdev_master_ifindex_rcu(); 0) 0.146 us | rcu_read_unlock_strict(); 0) 1.142 us | } 0) | fib_rules_lookup() { 0) 0.196 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.183 us | fib_get_table(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 0.841 us | } 0) 0.155 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.236 us | fib_get_table(); 0) 0.359 us | fib_table_lookup(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 1.358 us | } 0) 0.146 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.209 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.288 us | fib_lookup_good_nhc(); 0) 0.977 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 1.897 us | } 0) 0.181 us | fib4_rule_suppress(); 0) 0.146 us | rcu_read_unlock_strict(); 0) 6.636 us | } 0) 8.252 us | } 0) 0.216 us | fib_validate_source(); 0) 0.160 us | find_exception(); 0) + 10.250 us | } 0) + 10.600 us | } 0) 0.151 us | rcu_read_unlock_strict(); 0) + 11.198 us | } 0) + 12.667 us | } ### Packet 4: routing 0) | ip_rcv_finish_core.isra.22() { 0) | tcp_v4_early_demux() { 0) | __inet_lookup_established() { 0) 0.159 us | inet_ehashfn(); 0) 0.450 us | } 0) 0.753 us | } 0) | ip_route_input_noref() { 0) | ip_route_input_rcu() { 0) | ip_route_input_slow() { 0) | make_kuid() { 0) 0.153 us | map_id_range_down(); 0) 0.431 us | } 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.142 us | dev_get_by_index_rcu(); 0) 0.141 us | l3mdev_master_ifindex_rcu(); 0) 0.146 us | rcu_read_unlock_strict(); 0) 0.995 us | } 0) | fib_rules_lookup() { 0) 0.147 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.162 us | fib_get_table(); 0) 0.142 us | rcu_read_unlock_strict(); 0) 0.732 us | } 0) 0.147 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.143 us | fib_get_table(); 0) 0.181 us | fib_table_lookup(); 0) 0.141 us | rcu_read_unlock_strict(); 0) 1.035 us | } 0) 0.147 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.165 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.146 us | fib_lookup_good_nhc(); 0) 0.494 us | } 0) 0.142 us | rcu_read_unlock_strict(); 0) 1.371 us | } 0) 0.145 us | fib4_rule_suppress(); 0) 0.145 us | rcu_read_unlock_strict(); 0) 5.193 us | } 0) 6.605 us | } 0) 0.151 us | fib_validate_source(); 0) 0.142 us | find_exception(); 0) 8.263 us | } 0) 8.542 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 9.104 us | } 0) + 10.280 us | } 0) | ip_sublist_rcv_finish() { ### Packet 3: ip_forward() 0) | ip_forward() { 0) | __xfrm_policy_check() { 0) 0.138 us | rcu_read_unlock_strict(); 0) | __xfrm_decode_session() { 0) 0.167 us | security_xfrm_decode_session(); 0) 0.586 us | } 0) 0.180 us | __nf_nat_decode_session [nf_nat](); 0) 0.137 us | rcu_read_unlock_strict(); 0) | xfrm_policy_lookup() { 0) | xfrm_policy_lookup_bytype() { 0) 0.144 us | xfrm_pol_bin_key(); 0) 0.164 us | rcu_read_unlock_strict(); 0) 0.980 us | } 0) | xfrm_policy_lookup_bytype() { 0) 0.141 us | xfrm_pol_bin_key(); 0) 0.191 us | xfrm_pol_bin_cmp(); 0) | xfrm_policy_find_inexact_candidates() { 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.158 us | xfrm_policy_addr_delta(); 0) 0.521 us | } 0) 0.156 us | xfrm_policy_lookup_inexact_addr(); 0) 1.120 us | } 0) 0.144 us | rcu_read_unlock_strict(); 0) 2.484 us | } 0) 3.927 us | } 0) 6.100 us | } 0) | __xfrm_route_forward() { 0) | __xfrm_decode_session() { 0) 0.141 us | security_xfrm_decode_session(); 0) 0.444 us | } 0) | xfrm_lookup_with_ifid() { 0) | xfrm_policy_lookup() { 0) | xfrm_policy_lookup_bytype() { 0) 0.147 us | xfrm_pol_bin_key(); 0) 0.139 us | rcu_read_unlock_strict(); 0) 0.761 us | } 0) | xfrm_policy_lookup_bytype() { 0) 0.144 us | xfrm_pol_bin_key(); 0) 0.145 us | xfrm_pol_bin_cmp(); 0) | xfrm_policy_find_inexact_candidates() { 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.141 us | xfrm_policy_addr_delta(); 0) 0.457 us | } 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.146 us | xfrm_policy_addr_delta(); 0) 0.442 us | } 0) 0.154 us | xfrm_policy_lookup_inexact_addr(); 0) 1.635 us | } 0) | xfrm_policy_match() { 0) 0.227 us | xfrm_selector_match(); 0) 0.150 us | security_xfrm_policy_lookup(); 0) 0.868 us | } 0) 0.142 us | rcu_read_unlock_strict(); 0) 4.018 us | } 0) 5.206 us | } 0) 0.147 us | xfrm_expand_policies(); 0) | xfrm_resolve_and_create_bundle() { 0) | xfrm_tmpl_resolve() { 0) | xfrm_state_find() { 0) | xfrm_state_look_at() { 0) 0.157 us | security_xfrm_state_pol_flow_match(); 0) 0.495 us | } 0) 0.149 us | rcu_read_unlock_strict(); 0) 1.332 us | } 0) 1.807 us | } 0) | dst_alloc() { 0) | kmem_cache_alloc() { 0) 0.147 us | should_failslab(); 0) 0.542 us | } 0) 0.287 us | dst_init(); 0) 1.479 us | } 0) 0.150 us | rcu_read_unlock_strict(); 0) | dst_cow_metrics_generic() { 0) | kmem_cache_alloc_trace() { 0) 0.140 us | should_failslab(); 0) 0.505 us | } 0) 0.910 us | } 0) | __xfrm_dst_lookup() { 0) | xfrm4_dst_lookup() { 0) | __xfrm4_dst_lookup.isra.3() { 0) 0.144 us | dev_get_by_index_rcu(); 0) 0.144 us | l3mdev_master_ifindex_rcu(); 0) 0.145 us | rcu_read_unlock_strict(); 0) | ip_route_output_key_hash() { 0) | ip_route_output_key_hash_rcu() { 0) | __ip_dev_find() { 0) 0.397 us | inet_lookup_ifaddr_rcu(); 0) 0.155 us | rcu_read_unlock_strict(); 0) 1.009 us | } 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.196 us | dev_get_by_index_rcu(); 0) 0.165 us | l3mdev_master_ifindex_rcu(); 0) 0.140 us | rcu_read_unlock_strict(); 0) 1.072 us | } 0) | fib_rules_lookup() { 0) 0.144 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.152 us | fib_get_table(); 0) 0.150 us | rcu_read_unlock_strict(); 0) 0.732 us | } 0) 0.141 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.165 us | fib_get_table(); 0) 0.201 us | fib_table_lookup(); 0) 0.150 us | rcu_read_unlock_strict(); 0) 1.102 us | } 0) 0.145 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.148 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.157 us | fib_lookup_good_nhc(); 0) 0.600 us | } 0) 0.153 us | rcu_read_unlock_strict(); 0) 1.474 us | } 0) 0.149 us | fib4_rule_suppress(); 0) 0.146 us | rcu_read_unlock_strict(); 0) 5.352 us | } 0) 6.847 us | } 0) 0.205 us | fib_select_path(); 0) 0.145 us | find_exception(); 0) 9.246 us | } 0) 0.144 us | rcu_read_unlock_strict(); 0) 9.824 us | } 0) + 10.968 us | } 0) + 11.274 us | } 0) 0.140 us | rcu_read_unlock_strict(); 0) + 11.974 us | } 0) 0.143 us | xfrm_state_afinfo_get_rcu(); 0) 0.142 us | rcu_read_unlock_strict(); 0) 0.179 us | ipv4_mtu(); 0) 0.172 us | xfrm_state_mtu(); 0) 0.139 us | ipv4_mtu(); 0) | xfrm4_fill_dst() { 0) | rt_add_uncached_list() { 0) 0.143 us | _raw_spin_lock_bh(); 0) | _raw_spin_unlock_bh() { 0) 0.145 us | __local_bh_enable_ip(); 0) 0.420 us | } 0) 0.979 us | } 0) 1.287 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) + 21.009 us | } 0) 0.145 us | ktime_get_real_seconds(); 0) 0.158 us | dst_release(); 0) + 27.790 us | } 0) + 28.698 us | } 0) | nf_hook_slow() { 0) | nft_do_chain_ipv4 [nf_tables]() { 0) | nft_do_chain [nf_tables]() { 0) 0.162 us | nft_ct_get_eval [nft_ct](); 0) 0.145 us | nft_ct_get_eval [nft_ct](); 0) 0.174 us | nft_ct_get_eval [nft_ct](); 0) | nft_counter_eval [nft_counter]() { 0) 0.145 us | __local_bh_enable_ip(); 0) 0.478 us | } 0) 0.158 us | nft_ct_get_eval [nft_ct](); 0) 0.159 us | nft_ct_get_eval [nft_ct](); 0) 0.161 us | nft_ct_get_eval [nft_ct](); 0) 0.162 us | nft_ct_get_eval [nft_ct](); 0) | nft_counter_eval [nft_counter]() { 0) 0.144 us | __local_bh_enable_ip(); 0) 0.425 us | } 0) 0.156 us | nft_ct_get_eval [nft_ct](); 0) 0.144 us | nft_ct_get_eval [nft_ct](); ### Packet 3: triggers flowtables flow offload 0) | nft_flow_offload_eval [nft_flow_offload]() { 0) | nft_flow_route [nft_flow_offload]() { 0) | nf_route() { 0) | nf_ip_route() { 0) | ip_route_output_flow() { 0) | ip_route_output_key_hash() { 0) | ip_route_output_key_hash_rcu() { 0) 0.152 us | dev_get_by_index_rcu(); 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.142 us | dev_get_by_index_rcu(); 0) 0.142 us | l3mdev_master_ifindex_rcu(); 0) 0.145 us | dev_get_by_index_rcu(); 0) 0.145 us | l3mdev_master_ifindex_rcu(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 1.598 us | } 0) | fib_rules_lookup() { 0) 0.145 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.164 us | fib_get_table(); 0) 0.146 us | rcu_read_unlock_strict(); 0) 0.745 us | } 0) 0.142 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.145 us | fib_get_table(); 0) 0.214 us | fib_table_lookup(); 0) 0.145 us | rcu_read_unlock_strict(); 0) 1.089 us | } 0) 0.148 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.145 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.171 us | fib_lookup_good_nhc(); 0) 0.564 us | } 0) 0.145 us | rcu_read_unlock_strict(); 0) 1.463 us | } 0) 0.159 us | fib4_rule_suppress(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 5.384 us | } 0) 7.410 us | } 0) | fib_select_path() { 0) 0.154 us | fib_result_prefsrc(); 0) 0.664 us | } 0) 0.146 us | find_exception(); 0) 9.249 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 9.831 us | } 0) + 10.133 us | } 0) + 10.502 us | } 0) + 10.881 us | } 0) + 11.193 us | } 0) | flow_offload_alloc [nf_flow_table]() { 0) | kmem_cache_alloc_trace() { 0) 0.139 us | should_failslab(); 0) 0.576 us | } 0) 0.165 us | flow_offload_fill_dir [nf_flow_table](); 0) 0.143 us | flow_offload_fill_dir [nf_flow_table](); 0) 1.472 us | } 0) | flow_offload_route_init [nf_flow_table]() { 0) 0.193 us | flow_offload_fill_route [nf_flow_table](); 0) 0.167 us | flow_offload_fill_route [nf_flow_table](); 0) 0.956 us | } 0) | flow_offload_add [nf_flow_table]() { 0) 0.192 us | flow_offload_hash_obj [nf_flow_table](); 0) 0.145 us | __local_bh_enable_ip(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.171 us | flow_offload_hash_obj [nf_flow_table](); 0) 0.148 us | __local_bh_enable_ip(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 2.342 us | } 0) 0.143 us | dst_release(); 0) + 17.160 us | } 0) | nft_counter_eval [nft_counter]() { 0) 0.146 us | __local_bh_enable_ip(); 0) 0.427 us | } 0) + 23.373 us | } 0) + 23.717 us | } 0) + 24.153 us | } 0) 0.158 us | rcu_read_unlock_strict(); 0) | ip_forward_finish() { 0) | xfrm4_output() { 0) | nf_hook_slow() { 0) | apparmor_ipv4_postroute() { 0) 0.156 us | apparmor_ip_postroute.isra.15(); 0) 0.435 us | } 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) | ctnetlink_conntrack_event [nf_conntrack_netlink]() { 0) | nfnetlink_has_listeners [nfnetlink]() { 0) | netlink_has_listeners() { 0) 0.142 us | rcu_read_unlock_strict(); 0) 0.581 us | } 0) 0.881 us | } 0) 1.256 us | } 0) 0.138 us | rcu_read_unlock_strict(); 0) 1.969 us | } 0) 2.332 us | } 0) 2.612 us | } 0) 3.594 us | } 0) 0.138 us | rcu_read_unlock_strict(); 0) | __xfrm4_output() { 0) | xfrm_output() { 0) 0.152 us | xfrm_dev_offload_ok(); 0) | skb_checksum_help() { 0) | skb_checksum() { 0) | __skb_checksum() { 0) | csum_partial() { 0) 0.214 us | do_csum(); 0) 0.507 us | } 0) 0.838 us | } 0) 1.131 us | } 0) 0.157 us | skb_ensure_writable(); 0) 1.738 us | } 0) | xfrm_output_resume() { 0) | xfrm_outer_mode_output() { 0) | xfrm_inner_extract_output() { 0) 0.161 us | xfrm_mtu(); 0) 0.553 us | } 0) 0.969 us | } 0) 0.150 us | _raw_read_lock_bh(); 0) 0.150 us | xfrm_state_check_expire_ro(); 0) | xfrm_replay_overflow_offload_ro() { 0) | netlink_has_listeners() { 0) 0.145 us | rcu_read_unlock_strict(); 0) 0.605 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 1.215 us | } 0) | _raw_read_unlock_bh() { 0) 0.147 us | __local_bh_enable_ip(); 0) 0.420 us | } 0) | esp_output [esp4]() { 0) | esp_output_head [esp4]() { 0) | pskb_put() { 0) 0.145 us | skb_put(); 0) 0.435 us | } 0) 0.821 us | } 0) 0.146 us | skb_push(); 0) | esp_output_tail [esp4]() { 0) | esp_alloc_tmp [esp4]() { 0) | __kmalloc() { 0) 0.158 us | kmalloc_slab(); 0) 0.145 us | should_failslab(); 0) 0.987 us | } 0) 1.278 us | } 0) | skb_to_sgvec() { 0) 0.158 us | __skb_to_sgvec(); 0) 0.447 us | } 0) | crypto_aead_encrypt() { 0) | crypto_authenc_encrypt [authenc]() { 0) 0.198 us | scatterwalk_ffwd(); 0) | crypto_skcipher_encrypt() { 0) | null_skcipher_crypt() { 0) | skcipher_walk_virt() { 0) | skcipher_walk_skcipher() { 0) | skcipher_walk_first() { 0) 0.149 us | skcipher_walk_next(); 0) 0.431 us | } 0) 0.731 us | } /* skcipher_walk_skcipher */ 0) 1.024 us | } 0) 0.168 us | skcipher_walk_done(); 0) 1.687 us | } 0) 2.155 us | } 0) | crypto_authenc_genicv [authenc]() { 0) | crypto_ahash_digest() { 0) | crypto_ahash_op() { 0) | shash_async_digest() { 0) | shash_ahash_digest() { 0) | crypto_shash_digest() { 0) | shash_digest_unaligned() { 0) | hmac_init() { 0) | hmac_import() { 0) 0.156 us | shash_default_import(); 0) 0.501 us | } 0) 0.764 us | } 0) | crypto_shash_finup() { 0) | hmac_finup() { 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) 0.354 us | sha1_generic_block_fn(); 0) | sha1_final() { 0) 0.314 us | sha1_generic_block_fn(); 0) 0.683 us | } 0) 1.511 us | } 0) 1.806 us | } 0) 0.159 us | shash_default_import(); 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) | sha1_final() { 0) 0.313 us | sha1_generic_block_fn(); 0) 0.633 us | } 0) 0.943 us | } 0) 1.229 us | } 0) 3.769 us | } 0) 4.051 us | } 0) 5.270 us | } 0) 5.643 us | } 0) 5.973 us | } /* shash_ahash_digest */ 0) 6.256 us | } 0) 6.568 us | } 0) 6.838 us | } 0) | scatterwalk_map_and_copy() { 0) 0.164 us | scatterwalk_ffwd(); 0) 0.185 us | scatterwalk_copychunks(); 0) 0.785 us | } 0) 8.294 us | } 0) + 11.385 us | } 0) + 11.743 us | } 0) 0.235 us | kfree(); 0) + 14.647 us | } 0) + 16.241 us | } 0) 0.149 us | dst_release(); 0) | __ip_local_out() { 0) 0.145 us | ip_send_check(); 0) | nf_hook_slow() { 0) 0.143 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_local [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.153 us | get_l4proto [nf_conntrack](); 0) 0.176 us | nf_ct_get_tuple [nf_conntrack](); 0) 0.163 us | hash_conntrack_raw [nf_conntrack](); 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.143 us | dev_get_by_index_rcu(); 0) 0.139 us | l3mdev_master_ifindex_rcu(); 0) 0.140 us | rcu_read_unlock_strict(); 0) 0.160 us | dev_get_by_index_rcu(); 0) 0.140 us | l3mdev_master_ifindex_rcu(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 2.231 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.153 us | nf_ct_acct_add [nf_conntrack](); 0) 0.437 us | } 0) 4.106 us | } 0) 4.410 us | } 0) 5.129 us | } 0) 0.139 us | rcu_read_unlock_strict(); 0) 6.053 us | } 0) | ip_output() { 0) | nf_hook_slow() { 0) | apparmor_ipv4_postroute() { 0) 0.139 us | apparmor_ip_postroute.isra.15(); 0) 0.405 us | } 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) 0.139 us | rcu_read_unlock_strict(); 0) 0.490 us | } 0) 0.768 us | } 0) 1.032 us | } 0) 1.906 us | } 0) 0.139 us | rcu_read_unlock_strict(); 0) | ip_finish_output() { 0) | __ip_finish_output() { 0) 0.150 us | ipv4_mtu(); 0) | ip_finish_output2() { 0) | dev_queue_xmit() { 0) | __dev_queue_xmit() { 0) 0.143 us | dst_release(); 0) 0.176 us | netdev_core_pick_tx(); 0) 0.145 us | _raw_spin_lock(); 0) | sch_direct_xmit() { 0) | validate_xmit_skb_list() { 0) | validate_xmit_skb() { 0) | netif_skb_features() { 0) 0.145 us | passthru_features_check(); 0) 0.153 us | skb_network_protocol(); 0) 0.886 us | } 0) 0.158 us | validate_xmit_xfrm(); 0) 1.553 us | } 0) 1.854 us | } 0) 0.141 us | _raw_spin_lock(); 0) | dev_hard_start_xmit() { 0) | start_xmit [virtio_net]() { 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.210 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.490 us | } 0) 0.790 us | } 0) 0.190 us | virtqueue_enable_cb_delayed [virtio_ring](); 0) | skb_to_sgvec() { 0) 0.171 us | __skb_to_sgvec(); 0) 0.451 us | } /* skb_to_sgvec */ 0) | virtqueue_add_outbuf [virtio_ring]() { 0) 0.145 us | vring_map_one_sg [virtio_ring](); 0) 0.618 us | } 0) 0.155 us | virtqueue_kick_prepare [virtio_ring](); 0) | virtqueue_notify [virtio_ring]() { 0) + 17.164 us | vp_notify [virtio_pci](); 0) + 17.591 us | } 0) + 21.147 us | } 0) + 21.552 us | } 0) 0.181 us | _raw_spin_lock(); 0) + 24.523 us | } 0) | __qdisc_run() { 0) 0.267 us | fq_codel_dequeue [sch_fq_codel](); 0) 0.642 us | } 0) 0.148 us | __local_bh_enable_ip(); 0) + 27.161 us | } 0) + 27.472 us | } 0) 0.144 us | __local_bh_enable_ip(); 0) + 28.214 us | } 0) + 28.841 us | } 0) + 29.156 us | } 0) + 31.807 us | } 0) + 59.230 us | } 0) + 61.764 us | } 0) + 62.056 us | } 0) + 66.417 us | } 0) + 66.750 us | } 0) ! 127.001 us | } ### Packet 4: ip_forward() 0) | ip_forward() { 0) | __xfrm_policy_check() { 0) 0.142 us | rcu_read_unlock_strict(); 0) | __xfrm_decode_session() { 0) 0.167 us | security_xfrm_decode_session(); 0) 0.470 us | } 0) 0.181 us | __nf_nat_decode_session [nf_nat](); 0) 0.142 us | rcu_read_unlock_strict(); 0) | xfrm_policy_lookup() { 0) | xfrm_policy_lookup_bytype() { 0) 0.148 us | xfrm_pol_bin_key(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 0.943 us | } 0) | xfrm_policy_lookup_bytype() { 0) 0.140 us | xfrm_pol_bin_key(); 0) 0.142 us | xfrm_pol_bin_cmp(); 0) | xfrm_policy_find_inexact_candidates() { 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.137 us | xfrm_policy_addr_delta(); 0) 0.441 us | } 0) 0.155 us | xfrm_policy_lookup_inexact_addr(); 0) 1.025 us | } 0) 0.139 us | rcu_read_unlock_strict(); 0) 2.318 us | } 0) 3.672 us | } 0) 5.549 us | } 0) | __xfrm_route_forward() { 0) | __xfrm_decode_session() { 0) 0.154 us | security_xfrm_decode_session(); 0) 0.445 us | } 0) | xfrm_lookup_with_ifid() { 0) | xfrm_policy_lookup() { 0) | xfrm_policy_lookup_bytype() { 0) 0.143 us | xfrm_pol_bin_key(); 0) 0.142 us | rcu_read_unlock_strict(); 0) 0.774 us | } 0) | xfrm_policy_lookup_bytype() { 0) 0.141 us | xfrm_pol_bin_key(); 0) 0.139 us | xfrm_pol_bin_cmp(); 0) | xfrm_policy_find_inexact_candidates() { 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.141 us | xfrm_policy_addr_delta(); 0) 0.440 us | } 0) | xfrm_policy_lookup_inexact_addr() { 0) 0.145 us | xfrm_policy_addr_delta(); 0) 0.427 us | } 0) 0.151 us | xfrm_policy_lookup_inexact_addr(); 0) 1.592 us | } 0) | xfrm_policy_match() { 0) 0.171 us | xfrm_selector_match(); 0) 0.141 us | security_xfrm_policy_lookup(); 0) 0.744 us | } 0) 0.142 us | rcu_read_unlock_strict(); 0) 3.745 us | } 0) 4.983 us | } 0) 0.147 us | xfrm_expand_policies(); 0) | xfrm_resolve_and_create_bundle() { 0) | xfrm_tmpl_resolve() { 0) | xfrm_state_find() { 0) | xfrm_state_look_at() { 0) 0.151 us | security_xfrm_state_pol_flow_match(); 0) 0.477 us | } 0) 0.152 us | rcu_read_unlock_strict(); 0) 1.140 us | } 0) 1.484 us | } 0) | dst_alloc() { 0) | kmem_cache_alloc() { 0) 0.147 us | should_failslab(); 0) 0.477 us | } 0) 0.171 us | dst_init(); 0) 1.089 us | } 0) 0.142 us | rcu_read_unlock_strict(); 0) | dst_cow_metrics_generic() { 0) | kmem_cache_alloc_trace() { 0) 0.143 us | should_failslab(); 0) 0.462 us | } 0) 0.767 us | } 0) | __xfrm_dst_lookup() { 0) | xfrm4_dst_lookup() { 0) | __xfrm4_dst_lookup.isra.3() { 0) 0.146 us | dev_get_by_index_rcu(); 0) 0.138 us | l3mdev_master_ifindex_rcu(); 0) 0.144 us | rcu_read_unlock_strict(); 0) | ip_route_output_key_hash() { 0) | ip_route_output_key_hash_rcu() { 0) | __ip_dev_find() { 0) 0.193 us | inet_lookup_ifaddr_rcu(); 0) 0.167 us | rcu_read_unlock_strict(); 0) 0.797 us | } 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.152 us | dev_get_by_index_rcu(); 0) 0.148 us | l3mdev_master_ifindex_rcu(); 0) 0.139 us | rcu_read_unlock_strict(); 0) 0.995 us | } 0) | fib_rules_lookup() { 0) 0.160 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.182 us | fib_get_table(); 0) 0.152 us | rcu_read_unlock_strict(); 0) 0.758 us | } 0) 0.144 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.153 us | fib_get_table(); 0) 0.226 us | fib_table_lookup(); 0) 0.152 us | rcu_read_unlock_strict(); 0) 1.112 us | } 0) 0.140 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.153 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.152 us | fib_lookup_good_nhc(); 0) 0.635 us | } 0) 0.148 us | rcu_read_unlock_strict(); 0) 1.504 us | } 0) 0.146 us | fib4_rule_suppress(); 0) 0.148 us | rcu_read_unlock_strict(); 0) 5.638 us | } 0) 7.074 us | } 0) 0.168 us | fib_select_path(); 0) 0.147 us | find_exception(); 0) 9.027 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 9.597 us | } 0) + 10.731 us | } 0) + 11.034 us | } 0) 0.140 us | rcu_read_unlock_strict(); 0) + 11.606 us | } 0) 0.142 us | xfrm_state_afinfo_get_rcu(); 0) 0.142 us | rcu_read_unlock_strict(); 0) 0.142 us | ipv4_mtu(); 0) 0.161 us | xfrm_state_mtu(); 0) 0.145 us | ipv4_mtu(); 0) | xfrm4_fill_dst() { 0) | rt_add_uncached_list() { 0) 0.146 us | _raw_spin_lock_bh(); 0) | _raw_spin_unlock_bh() { 0) 0.141 us | __local_bh_enable_ip(); 0) 0.452 us | } 0) 1.008 us | } 0) 1.306 us | } 0) 0.139 us | rcu_read_unlock_strict(); 0) + 19.360 us | } 0) 0.140 us | ktime_get_real_seconds(); 0) 0.139 us | dst_release(); 0) + 25.694 us | } 0) + 26.577 us | } 0) | nf_hook_slow() { 0) | nft_do_chain_ipv4 [nf_tables]() { 0) | nft_do_chain [nf_tables]() { 0) 0.156 us | nft_ct_get_eval [nft_ct](); 0) 0.155 us | nft_ct_get_eval [nft_ct](); 0) 0.142 us | nft_ct_get_eval [nft_ct](); 0) | nft_counter_eval [nft_counter]() { 0) 0.143 us | __local_bh_enable_ip(); 0) 0.427 us | } 0) 0.143 us | nft_ct_get_eval [nft_ct](); 0) 0.142 us | nft_ct_get_eval [nft_ct](); 0) 0.156 us | nft_ct_get_eval [nft_ct](); 0) 0.146 us | nft_ct_get_eval [nft_ct](); 0) | nft_counter_eval [nft_counter]() { 0) 0.142 us | __local_bh_enable_ip(); 0) 0.424 us | } 0) 0.144 us | nft_ct_get_eval [nft_ct](); 0) 0.145 us | nft_ct_get_eval [nft_ct](); ### Packet 4: flowtables flow offload ignored (probably because 'offload' status bit already set) 0) 0.167 us | nft_flow_offload_eval [nft_flow_offload](); 0) | nft_counter_eval [nft_counter]() { 0) 0.145 us | __local_bh_enable_ip(); 0) 0.524 us | } 0) 5.447 us | } 0) 5.736 us | } 0) 6.100 us | } 0) 0.154 us | rcu_read_unlock_strict(); 0) | ip_forward_finish() { 0) | xfrm4_output() { 0) | nf_hook_slow() { 0) | apparmor_ipv4_postroute() { 0) 0.142 us | apparmor_ip_postroute.isra.15(); 0) 0.435 us | } 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) 0.142 us | rcu_read_unlock_strict(); 0) 0.483 us | } 0) 0.773 us | } 0) 1.045 us | } 0) 1.964 us | } 0) 0.149 us | rcu_read_unlock_strict(); 0) | __xfrm4_output() { 0) | xfrm_output() { 0) 0.145 us | xfrm_dev_offload_ok(); 0) | skb_checksum_help() { 0) | skb_checksum() { 0) | __skb_checksum() { 0) | csum_partial() { 0) 0.167 us | do_csum(); 0) 0.447 us | } 0) | csum_partial() { 0) 0.203 us | do_csum(); 0) 0.484 us | } 0) 1.446 us | } 0) 1.727 us | } 0) 0.141 us | skb_ensure_writable(); 0) 2.341 us | } 0) | xfrm_output_resume() { 0) | xfrm_outer_mode_output() { 0) | xfrm_inner_extract_output() { 0) 0.143 us | xfrm_mtu(); 0) 0.440 us | } 0) 0.767 us | } 0) 0.150 us | _raw_read_lock_bh(); 0) 0.145 us | xfrm_state_check_expire_ro(); 0) | xfrm_replay_overflow_offload_ro() { 0) | netlink_has_listeners() { 0) 0.139 us | rcu_read_unlock_strict(); 0) 0.490 us | } 0) 0.139 us | rcu_read_unlock_strict(); 0) 1.082 us | } 0) | _raw_read_unlock_bh() { 0) 0.142 us | __local_bh_enable_ip(); 0) 0.433 us | } 0) | esp_output [esp4]() { 0) | esp_output_head [esp4]() { 0) 0.146 us | _raw_write_lock_bh(); 0) 0.234 us | skb_page_frag_refill(); 0) | _raw_write_unlock_bh() { 0) 0.169 us | __local_bh_enable_ip(); 0) 0.496 us | } 0) + 15.640 us | } 0) 0.144 us | skb_push(); 0) | esp_output_tail [esp4]() { 0) | esp_alloc_tmp [esp4]() { 0) | __kmalloc() { 0) 0.155 us | kmalloc_slab(); 0) 0.144 us | should_failslab(); 0) 0.782 us | } 0) 1.054 us | } 0) | skb_to_sgvec() { 0) 0.252 us | __skb_to_sgvec(); 0) 0.543 us | } 0) 0.143 us | _raw_write_lock_bh(); 0) 0.154 us | skb_page_frag_refill(); 0) | _raw_write_unlock_bh() { 0) 0.143 us | __local_bh_enable_ip(); 0) 0.409 us | } 0) | skb_to_sgvec() { 0) 0.161 us | __skb_to_sgvec(); 0) 0.439 us | } 0) | crypto_aead_encrypt() { 0) | crypto_authenc_encrypt [authenc]() { 0) 0.188 us | scatterwalk_ffwd(); 0) | crypto_authenc_copy_assoc [authenc]() { 0) | crypto_skcipher_encrypt() { 0) | null_skcipher_crypt() { 0) | skcipher_walk_virt() { 0) | skcipher_walk_skcipher() { 0) | skcipher_walk_first() { 0) 0.152 us | skcipher_walk_next(); 0) 0.589 us | } 0) 0.878 us | } 0) 1.166 us | } 0) 0.145 us | skcipher_walk_done(); 0) 1.771 us | } 0) 2.166 us | } 0) 2.451 us | } 0) 0.161 us | scatterwalk_ffwd(); 0) | crypto_skcipher_encrypt() { 0) | null_skcipher_crypt() { 0) | skcipher_walk_virt() { 0) | skcipher_walk_skcipher() { 0) | skcipher_walk_first() { 0) 0.152 us | skcipher_walk_next(); 0) 0.441 us | } 0) 0.706 us | } 0) 0.990 us | } 0) | skcipher_walk_done() { 0) 0.182 us | skcipher_walk_next(); 0) 0.503 us | } 0) | skcipher_walk_done() { 0) 0.155 us | skcipher_walk_next(); 0) 0.498 us | } 0) 0.155 us | skcipher_walk_done(); 0) 2.950 us | } 0) 3.238 us | } 0) | crypto_authenc_genicv [authenc]() { 0) | crypto_ahash_digest() { 0) | crypto_ahash_op() { 0) | shash_async_digest() { 0) | shash_ahash_digest() { 0) | hmac_init() { 0) | hmac_import() { 0) 0.158 us | shash_default_import(); 0) 0.489 us | } 0) 0.783 us | } 0) | shash_ahash_finup() { 0) | crypto_hash_walk_first() { 0) | hash_walk_new_entry() { 0) 0.155 us | hash_walk_next(); 0) 0.428 us | } 0) 0.712 us | } 0) | crypto_shash_update() { 0) | hmac_update() { 0) | crypto_shash_update() { 0) 0.159 us | crypto_sha1_update(); 0) 0.459 us | } 0) 0.719 us | } 0) 1.002 us | } 0) | crypto_hash_walk_done() { 0) | hash_walk_new_entry() { 0) 0.142 us | hash_walk_next(); 0) 0.428 us | } 0) 0.725 us | } 0) | crypto_shash_finup() { 0) | hmac_finup() { 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) 0.320 us | sha1_generic_block_fn(); 0) 0.317 us | sha1_generic_block_fn(); 0) | sha1_final() { 0) 0.315 us | sha1_generic_block_fn(); 0) 0.631 us | } 0) 1.925 us | } 0) 2.209 us | } 0) 0.159 us | shash_default_import(); 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) | sha1_final() { 0) 0.317 us | sha1_generic_block_fn(); 0) 0.623 us | } 0) 0.918 us | } 0) 1.176 us | } 0) 4.113 us | } 0) 4.388 us | } 0) 0.153 us | crypto_hash_walk_done(); 0) 7.960 us | } 0) 9.318 us | } 0) 9.586 us | } /* shash_async_digest */ 0) 9.859 us | } 0) + 10.124 us | } 0) | scatterwalk_map_and_copy() { 0) 0.224 us | scatterwalk_ffwd(); 0) 0.164 us | scatterwalk_copychunks(); 0) 0.809 us | } 0) + 11.382 us | } 0) + 18.287 us | } 0) + 18.583 us | } 0) 0.247 us | esp_ssg_unref.isra.28 [esp4](); 0) 0.168 us | kfree(); 0) + 23.471 us | } 0) + 39.915 us | } 0) | dst_release() { 0) | call_rcu() { 0) 0.149 us | rcu_segcblist_enqueue(); 0) 0.507 us | } 0) 0.903 us | } 0) | __ip_local_out() { 0) 0.149 us | ip_send_check(); 0) | nf_hook_slow() { 0) 0.147 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_local [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.143 us | get_l4proto [nf_conntrack](); 0) 0.147 us | nf_ct_get_tuple [nf_conntrack](); 0) 0.166 us | hash_conntrack_raw [nf_conntrack](); 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.155 us | dev_get_by_index_rcu(); 0) 0.145 us | l3mdev_master_ifindex_rcu(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 0.143 us | dev_get_by_index_rcu(); 0) 0.143 us | l3mdev_master_ifindex_rcu(); 0) 0.144 us | rcu_read_unlock_strict(); 0) 0.141 us | rcu_read_unlock_strict(); 0) 2.206 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.144 us | nf_ct_acct_add [nf_conntrack](); 0) 0.433 us | } 0) 4.019 us | } 0) 4.291 us | } 0) 4.977 us | } 0) 0.147 us | rcu_read_unlock_strict(); 0) 5.844 us | } /* __ip_local_out */ 0) | ip_output() { 0) | nf_hook_slow() { 0) | apparmor_ipv4_postroute() { 0) 0.143 us | apparmor_ip_postroute.isra.15(); 0) 0.411 us | } 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) 0.163 us | rcu_read_unlock_strict(); 0) 0.484 us | } 0) 0.784 us | } 0) 1.054 us | } 0) 1.929 us | } 0) 0.142 us | rcu_read_unlock_strict(); 0) | ip_finish_output() { 0) | __ip_finish_output() { 0) 0.144 us | ipv4_mtu(); 0) | ip_finish_output2() { 0) | dev_queue_xmit() { 0) | __dev_queue_xmit() { 0) 0.142 us | dst_release(); 0) 0.145 us | netdev_core_pick_tx(); 0) 0.141 us | _raw_spin_lock(); 0) | sch_direct_xmit() { 0) | validate_xmit_skb_list() { 0) | validate_xmit_skb() { 0) | netif_skb_features() { 0) 0.142 us | passthru_features_check(); 0) 0.146 us | skb_network_protocol(); 0) 0.780 us | } 0) 0.142 us | validate_xmit_xfrm(); 0) 1.373 us | } 0) 1.666 us | } 0) 0.145 us | _raw_spin_lock(); 0) | dev_hard_start_xmit() { 0) | start_xmit [virtio_net]() { 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.170 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.453 us | } 0) 0.739 us | } 0) 0.163 us | virtqueue_enable_cb_delayed [virtio_ring](); 0) | skb_to_sgvec() { 0) 0.172 us | __skb_to_sgvec(); 0) 0.448 us | } 0) | virtqueue_add_outbuf [virtio_ring]() { 0) | __kmalloc() { 0) 0.148 us | kmalloc_slab(); 0) 0.145 us | should_failslab(); 0) 1.019 us | } 0) 0.143 us | vring_map_one_sg [virtio_ring](); 0) 0.145 us | vring_map_one_sg [virtio_ring](); 0) 0.143 us | vring_map_single.constprop.27 [virtio_ring](); 0) 2.474 us | } 0) 0.179 us | virtqueue_kick_prepare [virtio_ring](); 0) | virtqueue_notify [virtio_ring]() { 0) 8.010 us | vp_notify [virtio_pci](); 0) 8.343 us | } 0) + 13.438 us | } 0) + 13.793 us | } 0) 0.159 us | _raw_spin_lock(); 0) + 16.501 us | } 0) | __qdisc_run() { 0) 0.145 us | fq_codel_dequeue [sch_fq_codel](); 0) 0.460 us | } 0) 0.143 us | __local_bh_enable_ip(); 0) + 18.605 us | } 0) + 18.879 us | } 0) 0.146 us | __local_bh_enable_ip(); 0) + 19.522 us | } 0) + 20.089 us | } 0) + 20.375 us | } 0) + 23.040 us | } 0) + 73.867 us | } 0) + 76.987 us | } 0) + 77.262 us | } 0) + 79.967 us | } 0) + 80.282 us | } 0) ! 119.658 us | } 0) ! 247.272 us | } 0) ! 287.725 us | } 0) ! 288.772 us | } 0) ! 294.156 us | } 0) 0.139 us | rcu_read_unlock_strict(); 0) ! 294.831 us | } 0) ! 295.139 us | } 0) ! 295.507 us | } 0) 0.153 us | virtqueue_poll [virtio_ring](); 0) ! 296.399 us | } 0) ! 333.678 us | } 0) | __kfree_skb_flush() { 0) 0.470 us | kmem_cache_free_bulk(); 0) 0.829 us | } 0) ! 344.134 us | } ### Packet 3 and 4, end ### both packets combined after each other handled by ip_list_rcv() (both packets still on slowpath) ### Packet 3: |IP|TCP ACK| forward (triggers flowtables flow offload), encrypt+encapsulate |IP|ESP|IP|TCP ACK|, send ### Packet 4: |IP|TCP PSH ACK| forward, encrypt+encapsulate |IP|ESP|IP|TCP ACK|, send ### Packet 5 (part 1 of 2) ### |IP|ESP|IP|TCP SYN ACK| receive, decrypt+decapsulate, schedule re-insert |IP|TCP SYN ACK| 0) | net_rx_action() { 0) 0.148 us | __usecs_to_jiffies(); 0) | virtnet_poll_tx [virtio_net]() { 0) 0.175 us | _raw_spin_lock(); 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) | virtqueue_get_buf_ctx [virtio_ring]() { 0) | detach_buf_split [virtio_ring]() { 0) 0.739 us | kfree(); 0) 1.175 us | } 0) 1.607 us | } 0) 1.891 us | } 0) | napi_consume_skb() { 0) | skb_release_all() { 0) 0.242 us | skb_release_head_state(); 0) | skb_release_data() { 0) | skb_free_head() { 0) 0.301 us | kfree(); 0) 0.615 us | } 0) 1.080 us | } 0) 1.745 us | } 0) 2.068 us | } 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.159 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.430 us | } 0) 5.058 us | } 0) | virtqueue_napi_complete [virtio_net]() { 0) 0.164 us | virtqueue_enable_cb_prepare [virtio_ring](); 0) 0.193 us | napi_complete_done(); 0) 0.159 us | virtqueue_poll [virtio_ring](); 0) 1.117 us | } 0) 0.146 us | netif_tx_wake_queue(); 0) 7.299 us | } 0) | virtnet_poll [virtio_net]() { 0) 0.158 us | _raw_spin_trylock(); 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.146 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.419 us | } 0) 0.712 us | } 0) 0.142 us | netif_tx_wake_queue(); 0) | virtqueue_get_buf_ctx [virtio_ring]() { 0) 0.187 us | detach_buf_split [virtio_ring](); 0) 0.540 us | } 0) | receive_buf [virtio_net]() { 0) 0.145 us | rcu_read_unlock_strict(); 0) | page_to_skb [virtio_net]() { 0) | __napi_alloc_skb() { 0) | __alloc_skb() { 0) | kmem_cache_alloc_node() { 0) 0.143 us | should_failslab(); 0) 0.622 us | } 0) | __kmalloc_reserve.isra.64() { 0) | __kmalloc_node_track_caller() { 0) 0.157 us | kmalloc_slab(); 0) 0.142 us | should_failslab(); 0) 0.878 us | } 0) 1.186 us | } 0) | ksize() { 0) 0.165 us | __ksize(); 0) 0.625 us | } 0) 3.132 us | } 0) 3.447 us | } 0) 0.145 us | skb_put(); 0) 4.216 us | } 0) 0.208 us | eth_type_trans(); 0) | napi_gro_receive() { 0) 0.204 us | dev_gro_receive(); 0) 0.169 us | gro_normal_one(); 0) 0.824 us | } 0) 6.373 us | } 0) 0.164 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.141 us | virtqueue_get_vring_size [virtio_ring](); 0) | virtqueue_napi_complete [virtio_net]() { 0) 0.149 us | virtqueue_enable_cb_prepare [virtio_ring](); 0) | napi_complete_done() { 0) | gro_normal_list.part.160() { 0) | netif_receive_skb_list_internal() { 0) | __netif_receive_skb_list_core() { 0) | __netif_receive_skb_core() { 0) | nf_hook_slow() { 0) 0.180 us | nf_flow_offload_ip_hook [nf_flow_table](); 0) 0.694 us | } 0) 0.137 us | rcu_read_unlock_strict(); 0) 1.523 us | } 0) | ip_list_rcv() { 0) 0.204 us | ip_rcv_core.isra.23(); 0) | ip_sublist_rcv() { 0) | nf_hook_slow_list() { 0) | nf_hook_slow() { 0) 0.171 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_in [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.193 us | get_l4proto [nf_conntrack](); 0) 0.217 us | nf_ct_get_tuple [nf_conntrack](); 0) 0.213 us | hash_conntrack_raw [nf_conntrack](); 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.191 us | dev_get_by_index_rcu(); 0) 0.143 us | l3mdev_master_ifindex_rcu(); 0) 0.140 us | rcu_read_unlock_strict(); 0) 0.141 us | dev_get_by_index_rcu(); 0) 0.140 us | l3mdev_master_ifindex_rcu(); 0) 0.139 us | rcu_read_unlock_strict(); 0) 0.141 us | rcu_read_unlock_strict(); 0) 2.408 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.139 us | nf_ct_acct_add [nf_conntrack](); 0) 0.453 us | } 0) 4.546 us | } 0) 4.854 us | } 0) 5.749 us | } 0) 6.061 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) | ip_rcv_finish_core.isra.22() { 0) | ip_route_input_noref() { 0) | ip_route_input_rcu() { 0) | ip_route_input_slow() { 0) | make_kuid() { 0) 0.182 us | map_id_range_down(); 0) 0.494 us | } 0) | __fib_lookup() { 0) | l3mdev_update_flow() { 0) 0.138 us | dev_get_by_index_rcu(); 0) 0.140 us | l3mdev_master_ifindex_rcu(); 0) 0.163 us | rcu_read_unlock_strict(); 0) 1.029 us | } 0) | fib_rules_lookup() { 0) 0.189 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.191 us | fib_get_table(); 0) 0.138 us | rcu_read_unlock_strict(); 0) 0.827 us | } 0) 0.157 us | fib4_rule_match(); 0) | fib4_rule_action() { 0) 0.204 us | fib_get_table(); 0) | fib_table_lookup() { 0) 0.211 us | fib_lookup_good_nhc(); 0) 1.015 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) 1.969 us | } 0) 0.163 us | fib4_rule_suppress(); 0) 0.143 us | rcu_read_unlock_strict(); 0) 4.958 us | } 0) 6.450 us | } 0) 0.232 us | fib_validate_source(); 0) 8.110 us | } 0) 8.463 us | } 0) 0.162 us | rcu_read_unlock_strict(); 0) 9.077 us | } 0) 9.475 us | } 0) | ip_sublist_rcv_finish() { 0) | ip_local_deliver() { 0) | nf_hook_slow() { 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) 0.140 us | rcu_read_unlock_strict(); 0) 0.464 us | } 0) 0.828 us | } 0) 1.113 us | } 0) 1.491 us | } 0) 0.145 us | rcu_read_unlock_strict(); 0) | ip_local_deliver_finish() { 0) | ip_protocol_deliver_rcu() { 0) 0.206 us | raw_local_deliver(); 0) | xfrm4_esp_rcv() { 0) | xfrm4_rcv() { 0) | xfrm_input() { 0) | secpath_set() { 0) | skb_ext_add() { 0) | __skb_ext_alloc() { 0) | kmem_cache_alloc() { 0) 0.143 us | should_failslab(); 0) 0.562 us | } /* kmem_cache_alloc */ 0) 0.849 us | } 0) 1.202 us | } 0) 1.511 us | } 0) 0.155 us | xfrm_parse_spi(); 0) | xfrm_state_lookup() { 0) 0.296 us | __xfrm_state_lookup(); 0) 0.145 us | rcu_read_unlock_strict(); 0) 0.868 us | } 0) 0.143 us | _raw_read_lock(); 0) 0.144 us | xfrm_replay_check_ro(); 0) 0.141 us | _raw_write_lock(); 0) 0.145 us | xfrm_replay_check(); 0) 0.152 us | xfrm_state_check_expire(); 0) 0.156 us | xfrm_replay_seqhi(); 0) | esp_input [esp4]() { 0) | esp_alloc_tmp [esp4]() { 0) | __kmalloc() { 0) 0.158 us | kmalloc_slab(); 0) 0.145 us | should_failslab(); 0) | __slab_alloc() { 0) 0.303 us | ___slab_alloc(); 0) 0.604 us | } 0) 1.536 us | } 0) 1.870 us | } 0) | skb_to_sgvec() { 0) 0.156 us | __skb_to_sgvec(); 0) 0.448 us | } 0) | crypto_aead_decrypt() { 0) | crypto_authenc_decrypt [authenc]() { 0) | crypto_ahash_digest() { 0) | crypto_ahash_op() { 0) | shash_async_digest() { 0) | shash_ahash_digest() { 0) | crypto_shash_digest() { 0) | shash_digest_unaligned() { 0) | hmac_init() { 0) | hmac_import() { 0) 0.158 us | shash_default_import(); 0) 0.552 us | } 0) 0.820 us | } 0) | crypto_shash_finup() { 0) | hmac_finup() { 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) 0.369 us | sha1_generic_block_fn(); 0) | sha1_final() { 0) 0.318 us | sha1_generic_block_fn(); 0) 0.674 us | } 0) 1.514 us | } 0) 1.827 us | } 0) 0.154 us | shash_default_import(); 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) | sha1_final() { 0) 0.313 us | sha1_generic_block_fn(); 0) 0.641 us | } 0) 0.950 us | } 0) 1.220 us | } 0) 3.779 us | } 0) 4.177 us | } 0) 5.487 us | } 0) 5.872 us | } 0) 6.188 us | } 0) 6.464 us | } 0) 6.780 us | } 0) 7.046 us | } 0) | crypto_authenc_decrypt_tail.isra.5 [authenc]() { 0) | scatterwalk_map_and_copy() { 0) 0.200 us | scatterwalk_ffwd(); 0) 0.189 us | scatterwalk_copychunks(); 0) 0.830 us | } 0) 0.172 us | __crypto_memneq(); 0) 0.160 us | scatterwalk_ffwd(); 0) | crypto_skcipher_decrypt() { 0) | null_skcipher_crypt() { 0) | skcipher_walk_virt() { 0) | skcipher_walk_skcipher() { 0) | skcipher_walk_first() { 0) 0.153 us | skcipher_walk_next(); 0) 0.424 us | } 0) 0.723 us | } 0) 1.019 us | } 0) 0.166 us | skcipher_walk_done(); 0) 1.691 us | } 0) 2.032 us | } 0) 4.001 us | } /* crypto_authenc_decrypt_tail.isra.5 [authenc] */ 0) + 11.600 us | } 0) + 11.959 us | } 0) | esp_input_done2 [esp4]() { 0) 0.211 us | kfree(); 0) 0.172 us | skb_copy_bits(); 0) 0.146 us | skb_pull_rcsum(); 0) 1.226 us | } 0) + 16.625 us | } 0) 0.143 us | _raw_read_lock(); 0) 0.146 us | xfrm_replay_advance_ro(); 0) 0.151 us | _raw_write_lock(); 0) 0.172 us | xfrm_replay_check(); 0) | xfrm_replay_advance() { 0) | netlink_has_listeners() { 0) 0.142 us | rcu_read_unlock_strict(); 0) 0.620 us | } 0) 0.146 us | rcu_read_unlock_strict(); 0) 1.282 us | } 0) | xfrm_rcv_cb() { 0) | xfrm4_rcv_cb() { 0) 0.144 us | esp4_rcv_cb [esp4](); 0) 0.484 us | } 0) 0.148 us | rcu_read_unlock_strict(); 0) 1.163 us | } 0) 0.140 us | dst_release(); 0) | gro_cells_receive() { 0) | netif_rx() { 0) | netif_rx_internal() { 0) | enqueue_to_backlog() { 0) 0.161 us | _raw_spin_lock(); 0) 0.144 us | __raise_softirq_irqoff(); 0) 0.801 us | } 0) 1.102 us | } 0) 1.394 us | } 0) 0.143 us | rcu_read_unlock_strict(); 0) 2.052 us | } 0) + 29.009 us | } 0) + 29.321 us | } 0) + 29.746 us | } 0) + 30.554 us | } 0) 0.141 us | rcu_read_unlock_strict(); 0) + 31.125 us | } 0) + 33.383 us | } 0) + 33.708 us | } 0) + 50.231 us | } 0) + 50.934 us | } 0) + 53.051 us | } 0) 0.138 us | rcu_read_unlock_strict(); 0) + 53.687 us | } 0) + 53.992 us | } 0) + 54.319 us | } 0) 0.158 us | virtqueue_poll [virtio_ring](); 0) + 55.205 us | } 0) + 64.936 us | } 0) | __kfree_skb_flush() { 0) 0.408 us | kmem_cache_free_bulk(); 0) 0.793 us | } 0) + 74.361 us | } ### Packet 5 (part 1 of 2), end ### |IP|ESP|IP|TCP SYN ACK| receive, decrypt+decapsulate, schedule re-insert |IP|TCP SYN ACK| ### Packet 5 (part 2 of 2) ### re-insert (receive) |IP|TCP SYN ACK|, forward (flowtables fastpath), send 0) | net_rx_action() { 0) 0.147 us | __usecs_to_jiffies(); 0) | process_backlog() { 0) 0.144 us | _raw_spin_lock(); 0) | __netif_receive_skb() { 0) | __netif_receive_skb_one_core() { 0) | __netif_receive_skb_core() { 0) | nf_hook_slow() { 0) | nf_flow_offload_ip_hook [nf_flow_table]() { 0) | flow_offload_lookup [nf_flow_table]() { 0) 0.178 us | flow_offload_hash [nf_flow_table](); 0) 0.346 us | flow_offload_hash_cmp [nf_flow_table](); 0) 1.064 us | } 0) 0.155 us | nf_flow_exceeds_mtu [nf_flow_table](); 0) 0.143 us | flow_offload_refresh [nf_flow_table](); 0) | neigh_xmit() { 0) | neigh_resolve_output() { 0) | eth_header() { 0) 0.144 us | skb_push(); 0) 0.450 us | } 0) | dev_queue_xmit() { 0) | __dev_queue_xmit() { 0) 0.190 us | netdev_core_pick_tx(); 0) 0.143 us | _raw_spin_lock(); 0) | sch_direct_xmit() { 0) | validate_xmit_skb_list() { 0) | validate_xmit_skb() { 0) | netif_skb_features() { 0) 0.142 us | passthru_features_check(); 0) 0.151 us | skb_network_protocol(); 0) 0.872 us | } 0) 0.168 us | validate_xmit_xfrm(); 0) 1.556 us | } 0) 1.856 us | } 0) 0.147 us | _raw_spin_lock(); 0) | dev_hard_start_xmit() { 0) | start_xmit [virtio_net]() { 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.200 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.472 us | } 0) 0.782 us | } 0) 0.169 us | virtqueue_enable_cb_delayed [virtio_ring](); 0) | skb_to_sgvec() { 0) 0.147 us | __skb_to_sgvec(); 0) 0.436 us | } 0) | virtqueue_add_outbuf [virtio_ring]() { 0) 0.141 us | vring_map_one_sg [virtio_ring](); 0) 0.643 us | } 0) 0.160 us | virtqueue_kick_prepare [virtio_ring](); 0) | virtqueue_notify [virtio_ring]() { 0) + 20.333 us | vp_notify [virtio_pci](); 0) + 20.788 us | } 0) + 24.295 us | } 0) + 24.663 us | } 0) 0.186 us | _raw_spin_lock(); 0) + 27.673 us | } 0) | __qdisc_run() { 0) 0.205 us | fq_codel_dequeue [sch_fq_codel](); 0) 0.668 us | } 0) 0.150 us | __local_bh_enable_ip(); 0) + 30.092 us | } 0) + 30.390 us | } 0) + 31.446 us | } 0) + 13.160 us | __local_bh_enable_ip(); 0) + 45.432 us | } 0) + 47.765 us | } 0) + 48.117 us | } 0) 0.121 us | rcu_read_unlock_strict(); 0) + 48.684 us | } 0) + 48.965 us | } 0) + 49.220 us | } 0) 0.120 us | rcu_read_unlock_strict(); 0) 0.126 us | _raw_spin_lock(); 0) + 50.358 us | } 0) 0.147 us | __kfree_skb_flush(); 0) + 51.245 us | } ### Packet 5 (part 2 of 2), end ### re-insert (receive) |IP|TCP SYN ACK|, forward (flowtables fastpath), send ### Packet 8 ### |IP|TCP ACK| forward (flowtables fastpath -> nf_flow_xmit_xfrm()), encrypt+encapsulate |IP|ESP|IP|TCP ACK|, send 0) | napi_complete_done() { 0) | gro_normal_list.part.160() { 0) | netif_receive_skb_list_internal() { 0) | __netif_receive_skb_list_core() { 0) | __netif_receive_skb_core() { 0) | nf_hook_slow() { 0) | nf_flow_offload_ip_hook [nf_flow_table]() { 0) | flow_offload_lookup [nf_flow_table]() { 0) 0.157 us | flow_offload_hash [nf_flow_table](); 0) 0.235 us | flow_offload_hash_cmp [nf_flow_table](); 0) 0.877 us | } 0) 0.140 us | nf_flow_exceeds_mtu [nf_flow_table](); 0) 0.126 us | flow_offload_refresh [nf_flow_table](); 0) | nf_flow_offload_dst_check.part.10 [nf_flow_table]() { 0) | xfrm_dst_check() { 0) 0.124 us | ipv4_dst_check(); 0) 0.155 us | ipv4_mtu(); 0) 0.120 us | ipv4_dst_check(); 0) 0.143 us | ipv4_mtu(); 0) 1.514 us | } 0) 1.928 us | } 0) | xfrm4_output() { 0) | nf_hook_slow() { 0) | apparmor_ipv4_postroute() { 0) 0.131 us | apparmor_ip_postroute.isra.15(); 0) 0.373 us | } 0) 0.132 us | ipv4_confirm [nf_conntrack](); 0) 0.979 us | } 0) 0.124 us | rcu_read_unlock_strict(); 0) | __xfrm4_output() { 0) | xfrm_output() { 0) 0.133 us | xfrm_dev_offload_ok(); 0) | skb_checksum_help() { 0) | skb_checksum() { 0) | __skb_checksum() { 0) | csum_partial() { 0) 0.183 us | do_csum(); 0) 0.436 us | } 0) 0.724 us | } 0) 0.973 us | } 0) 0.131 us | skb_ensure_writable(); 0) 1.488 us | } 0) | xfrm_output_resume() { 0) | xfrm_outer_mode_output() { 0) | xfrm_inner_extract_output() { 0) 0.149 us | xfrm_mtu(); 0) 0.480 us | } 0) 0.833 us | } 0) 0.128 us | _raw_read_lock_bh(); 0) 0.127 us | xfrm_state_check_expire_ro(); 0) | xfrm_replay_overflow_offload_ro() { 0) | netlink_has_listeners() { 0) 0.129 us | rcu_read_unlock_strict(); 0) 0.396 us | } 0) 0.127 us | rcu_read_unlock_strict(); 0) 0.926 us | } 0) | _raw_read_unlock_bh() { 0) 0.128 us | __local_bh_enable_ip(); 0) 0.393 us | } 0) | esp_output [esp4]() { 0) | esp_output_head [esp4]() { 0) | pskb_put() { 0) 0.124 us | skb_put(); 0) 0.372 us | } 0) 0.691 us | } 0) 0.130 us | skb_push(); 0) | esp_output_tail [esp4]() { 0) | esp_alloc_tmp [esp4]() { 0) | __kmalloc() { 0) 0.126 us | kmalloc_slab(); 0) 0.122 us | should_failslab(); 0) 0.748 us | } 0) 0.981 us | } 0) | skb_to_sgvec() { 0) 0.139 us | __skb_to_sgvec(); 0) 0.402 us | } 0) | crypto_aead_encrypt() { 0) | crypto_authenc_encrypt [authenc]() { 0) 0.162 us | scatterwalk_ffwd(); 0) | crypto_skcipher_encrypt() { 0) | null_skcipher_crypt() { 0) | skcipher_walk_virt() { 0) | skcipher_walk_skcipher() { 0) | skcipher_walk_first() { 0) 0.128 us | skcipher_walk_next(); 0) 0.367 us | } 0) 0.604 us | } 0) 0.846 us | } 0) 0.123 us | skcipher_walk_done(); 0) 1.378 us | } 0) 1.637 us | } 0) | crypto_authenc_genicv [authenc]() { 0) | crypto_ahash_digest() { 0) | crypto_ahash_op() { 0) | shash_async_digest() { 0) | shash_ahash_digest() { 0) | crypto_shash_digest() { 0) | shash_digest_unaligned() { 0) | hmac_init() { 0) | hmac_import() { 0) 0.136 us | shash_default_import(); 0) 0.405 us | } 0) 0.627 us | } 0) | crypto_shash_finup() { 0) | hmac_finup() { 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) 0.267 us | sha1_generic_block_fn(); 0) | sha1_final() { 0) 0.270 us | sha1_generic_block_fn(); 0) 0.574 us | } 0) 1.233 us | } 0) 1.472 us | } 0) 0.515 us | shash_default_import(); 0) | crypto_shash_finup() { 0) | crypto_sha1_finup() { 0) | sha1_final() { 0) 0.271 us | sha1_generic_block_fn(); 0) 0.545 us | } 0) 0.792 us | } 0) 1.019 us | } 0) 3.507 us | } 0) 3.755 us | } 0) 4.766 us | } 0) 5.039 us | } 0) 5.319 us | } 0) 5.550 us | } 0) 5.776 us | } 0) 6.002 us | } 0) | scatterwalk_map_and_copy() { 0) 0.154 us | scatterwalk_ffwd(); 0) 0.149 us | scatterwalk_copychunks(); 0) 0.682 us | } 0) 7.074 us | } 0) 9.394 us | } 0) 9.658 us | } 0) 0.187 us | kfree(); 0) + 11.941 us | } 0) + 13.284 us | } 0) 0.128 us | dst_release(); 0) | __ip_local_out() { 0) 0.123 us | ip_send_check(); 0) | nf_hook_slow() { 0) 0.125 us | ipv4_conntrack_defrag [nf_defrag_ipv4](); 0) | ipv4_conntrack_local [nf_conntrack]() { 0) | nf_conntrack_in [nf_conntrack]() { 0) 0.123 us | get_l4proto [nf_conntrack](); 0) 0.155 us | nf_ct_get_tuple [nf_conntrack](); 0) 0.141 us | hash_conntrack_raw [nf_conntrack](); 0) | ___nf_conntrack_find_get [nf_conntrack]() { 0) 0.127 us | dev_get_by_index_rcu(); 0) 0.122 us | l3mdev_master_ifindex_rcu(); 0) 0.121 us | rcu_read_unlock_strict(); 0) 0.122 us | dev_get_by_index_rcu(); 0) 0.143 us | l3mdev_master_ifindex_rcu(); 0) 0.119 us | rcu_read_unlock_strict(); 0) 0.117 us | rcu_read_unlock_strict(); 0) 1.943 us | } 0) | __nf_ct_refresh_acct [nf_conntrack]() { 0) 0.119 us | nf_ct_acct_add [nf_conntrack](); 0) 0.366 us | } 0) 3.561 us | } 0) 3.835 us | } 0) 4.419 us | } 0) 0.122 us | rcu_read_unlock_strict(); 0) 5.182 us | } 0) | ip_output() { 0) | nf_hook_slow() { 0) | apparmor_ipv4_postroute() { 0) 0.125 us | apparmor_ip_postroute.isra.15(); 0) 0.377 us | } 0) | ipv4_confirm [nf_conntrack]() { 0) | nf_confirm [nf_conntrack]() { 0) | nf_ct_deliver_cached_events [nf_conntrack]() { 0) 0.123 us | rcu_read_unlock_strict(); 0) 0.397 us | } 0) 0.639 us | } 0) 0.872 us | } 0) 1.662 us | } 0) 0.122 us | rcu_read_unlock_strict(); 0) | ip_finish_output() { 0) | __ip_finish_output() { 0) 0.120 us | ipv4_mtu(); 0) | ip_finish_output2() { 0) | dev_queue_xmit() { 0) | __dev_queue_xmit() { 0) 0.124 us | dst_release(); 0) 0.156 us | netdev_core_pick_tx(); 0) 0.122 us | _raw_spin_lock(); 0) | sch_direct_xmit() { 0) | validate_xmit_skb_list() { 0) | validate_xmit_skb() { 0) | netif_skb_features() { 0) 0.122 us | passthru_features_check(); 0) 0.136 us | skb_network_protocol(); 0) 0.749 us | } 0) 0.386 us | validate_xmit_xfrm(); 0) 1.559 us | } 0) 1.812 us | } 0) 0.120 us | _raw_spin_lock(); 0) | dev_hard_start_xmit() { 0) | start_xmit [virtio_net]() { 0) | free_old_xmit_skbs [virtio_net]() { 0) | virtqueue_get_buf [virtio_ring]() { 0) 0.140 us | virtqueue_get_buf_ctx [virtio_ring](); 0) 0.362 us | } 0) 0.607 us | } 0) 0.153 us | virtqueue_enable_cb_delayed [virtio_ring](); 0) | skb_to_sgvec() { 0) 0.134 us | __skb_to_sgvec(); 0) 0.395 us | } 0) | virtqueue_add_outbuf [virtio_ring]() { 0) 0.125 us | vring_map_one_sg [virtio_ring](); 0) 0.473 us | } 0) 0.128 us | virtqueue_kick_prepare [virtio_ring](); 0) | virtqueue_notify [virtio_ring]() { 0) + 14.297 us | vp_notify [virtio_pci](); 0) + 14.636 us | } 0) + 17.416 us | } 0) + 17.729 us | } 0) 0.156 us | _raw_spin_lock(); 0) + 20.505 us | } 0) | __qdisc_run() { 0) 0.188 us | fq_codel_dequeue [sch_fq_codel](); 0) 0.583 us | } 0) 0.127 us | __local_bh_enable_ip(); 0) + 22.792 us | } /* __dev_queue_xmit */ 0) + 23.060 us | } 0) 0.124 us | __local_bh_enable_ip(); 0) + 23.708 us | } 0) + 24.243 us | } 0) + 24.512 us | } 0) + 26.813 us | } 0) + 49.436 us | } 0) + 51.627 us | } 0) + 51.874 us | } 0) + 53.513 us | } 0) + 57.731 us | } 0) + 58.060 us | } 0) 0.125 us | rcu_read_unlock_strict(); 0) + 58.636 us | } 0) + 58.915 us | } 0) 0.121 us | rcu_read_unlock_strict(); 0) + 59.452 us | } 0) + 59.699 us | } 0) + 59.986 us | } ### Packet 8, end ### |IP|TCP ACK| forward (flowtables fastpath -> nf_flow_xmit_xfrm()), encrypt+encapsulate |IP|ESP|IP|TCP ACK|, send