trafficserver-users mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Muhammad Faisal <faisalu...@yahoo.com>
Subject Re: Setting up Transparent Proxy
Date Sun, 24 Jan 2016 19:27:23 GMT
Is this correct way to enable debug logs?
CONFIG proxy.config.diags.debug.enabled INT 1CONFIG proxy.config.diags.debug.tags STRING "http_tproxy"
then Ran the command the output is as follows:
[root@ATS ~]# traffic_logstats -T http_tproxy (tried to open many websites but it is not reflected
in the output logs)                               Traffic summary
Origin Server                               Hits         Misses      
  Errors------------------------------------------------------------------------------zc.qq.com
                                     0              0        
     1==============================================================================


                        Totals (all Origins combined)
Request Result                         Count    Percent       Bytes    Percent------------------------------------------------------------------------------Cache
hit                                  0      0.00%      0.00KB    
 0.00%Cache hit IMS                              0      0.00%      0.00KB
     0.00%Cache hit refresh                          0      0.00%    
 0.00KB      0.00%Cache hit other                            0      0.00%
     0.00KB      0.00%Cache hit total                            0  
   0.00%      0.00KB      0.00%
Cache miss                                 0      0.00%      0.00KB
     0.00%Cache miss IMS                             0      0.00%    
 0.00KB      0.00%Cache miss refresh                         0      0.00%
     0.00KB      0.00%Cache miss other                           0    
 0.00%      0.00KB      0.00%Cache miss total                          
0      0.00%      0.00KB      0.00%
Client aborted                             0      0.00%      0.00KB  
   0.00%Connect failed                             1    100.00%      0.47KB
   100.00%Invalid request                            0      0.00%    
 0.00KB      0.00%Unknown error(99)                          0      0.00%
     0.00KB      0.00%Other errors                               0  
   0.00%      0.00KB      0.00%Errors total                          
    1    100.00%      0.47KB    100.00%..............................................................................Total
requests                             1    100.00%      0.47KB    100.00%

HTTP return codes                      Count    Percent       Bytes    Percent------------------------------------------------------------------------------100
Continue                               0      0.00%      0.00KB    
 0.00%200 OK                                     0      0.00%    
 0.00KB      0.00%201 Created                                0      0.00%
     0.00KB      0.00%202 Accepted                               0  
   0.00%      0.00KB      0.00%203 Non-Authoritative Info                
0      0.00%      0.00KB      0.00%204 No content                      
      0      0.00%      0.00KB      0.00%205 Reset Content              
           0      0.00%      0.00KB      0.00%206 Partial content      
                 0      0.00%      0.00KB      0.00%2xx Total        
                         0      0.00%      0.00KB      0.00%
300 Multiple Choices                       0      0.00%      0.00KB    
 0.00%301 Moved permanently                      0      0.00%      0.00KB
     0.00%302 Found                                  0      0.00%  
   0.00KB      0.00%303 See Other                              0    
 0.00%      0.00KB      0.00%304 Not modified                          
0      0.00%      0.00KB      0.00%305 Use Proxy                      
       0      0.00%      0.00KB      0.00%307 Temporary Redirect        
            0      0.00%      0.00KB      0.00%3xx Total            
                     0      0.00%      0.00KB      0.00%
400 Bad request                            0      0.00%      0.00KB  
   0.00%401 Unauthorized                           0      0.00%      0.00KB
     0.00%402 Payment Required                       0      0.00%      0.00KB
     0.00%403 Forbidden                              0      0.00%  
   0.00KB      0.00%404 Not found                              0    
 0.00%      0.00KB      0.00%405 Method Not Allowed                     0
     0.00%      0.00KB      0.00%406 Not Acceptable                    
    0      0.00%      0.00KB      0.00%407 Proxy Auth Required            
       0      0.00%      0.00KB      0.00%408 Request Timeout          
             0      0.00%      0.00KB      0.00%409 Conflict          
                    0      0.00%      0.00KB      0.00%410 Gone      
                            0      0.00%      0.00KB      0.00%411
Length Required                        0      0.00%      0.00KB      0.00%412
Precondition Failed                    0      0.00%      0.00KB      0.00%413
Request Entity Too Large               0      0.00%      0.00KB      0.00%414
Request-URI Too Long                   0      0.00%      0.00KB      0.00%415
Unsupported Media Type                 0      0.00%      0.00KB      0.00%416
Req Range Not Satisfiable              0      0.00%      0.00KB      0.00%417
Expectation Failed                     0      0.00%      0.00KB      0.00%4xx
Total                                  0      0.00%      0.00KB  
   0.00%
500 Internal Server Error                  0      0.00%      0.00KB      0.00%501
Not implemented                        0      0.00%      0.00KB      0.00%502
Bad gateway                            1    100.00%      0.47KB    100.00%503
Service unavailable                    0      0.00%      0.00KB      0.00%504
Gateway Timeout                        0      0.00%      0.00KB      0.00%505
HTTP Ver. Not Supported                0      0.00%      0.00KB      0.00%5xx
Total                                  1    100.00%      0.47KB    100.00%
000 Unknown                                0      0.00%      0.00KB
     0.00%

Origin hierarchies                     Count    Percent       Bytes    Percent------------------------------------------------------------------------------NONE
                                      0      0.00%      0.00KB  
   0.00%DIRECT                                     1    100.00%    
 0.47KB    100.00%SIBLING                                    0    
 0.00%      0.00KB      0.00%PARENT                                
    0      0.00%      0.00KB      0.00%EMPTY                        
             0      0.00%      0.00KB      0.00%invalid            
                       0      0.00%      0.00KB      0.00%other    
                                 0      0.00%      0.00KB      0.00%

HTTP Methods                           Count    Percent       Bytes    Percent------------------------------------------------------------------------------OPTIONS
                                   0      0.00%      0.00KB    
 0.00%GET                                        1    100.00%    
 0.47KB    100.00%HEAD                                       0    
 0.00%      0.00KB      0.00%POST                                  
    0      0.00%      0.00KB      0.00%PUT                        
               0      0.00%      0.00KB      0.00%DELETE            
                        0      0.00%      0.00KB      0.00%TRACE    
                                 0      0.00%      0.00KB      0.00%CONNECT
                                   0      0.00%      0.00KB    
 0.00%PURGE                                      0      0.00%    
 0.00KB      0.00%none (-)                                   0    
 0.00%      0.00KB      0.00%other                                
     0      0.00%      0.00KB      0.00%

URL Schemes                            Count    Percent       Bytes  
 Percent------------------------------------------------------------------------------HTTP
(port 80)                             1    100.00%      0.47KB    100.00%HTTPS
(port 443)                           0      0.00%      0.00KB      0.00%none
                                      0      0.00%      0.00KB  
   0.00%other                                      0      0.00%  
   0.00KB      0.00%

Content Types                          Count    Percent       Bytes    Percent------------------------------------------------------------------------------text/javascript
                           0      0.00%      0.00KB      0.00%text/css
                                  0      0.00%      0.00KB      0.00%text/html
                                 1    100.00%      0.47KB    100.00%text/xml
                                  0      0.00%      0.00KB      0.00%text/plain
                                0      0.00%      0.00KB      0.00%text/
other                                0      0.00%      0.00KB    
 0.00%text/ total                                1    100.00%      0.47KB
   100.00%
image/jpeg                                 0      0.00%      0.00KB
     0.00%image/gif                                  0      0.00%  
   0.00KB      0.00%image/png                                  0  
   0.00%      0.00KB      0.00%image/bmp                            
     0      0.00%      0.00KB      0.00%image/ other                  
            0      0.00%      0.00KB      0.00%image/ total          
                    0      0.00%      0.00KB      0.00%
audio/x-wav                                0      0.00%      0.00KB
     0.00%audio/x-mpeg                               0      0.00%  
   0.00KB      0.00%audio/ other                               0    
 0.00%      0.00KB      0.00%audio/ total                            
  0      0.00%      0.00KB      0.00%
application/x-shockwave                    0      0.00%      0.00KB    
 0.00%application/[x-]javascript                 0      0.00%      0.00KB  
   0.00%application/x-quicktime                    0      0.00%      0.00KB
     0.00%application/zip                            0      0.00%    
 0.00KB      0.00%application/rss+xml                        0      0.00%
     0.00KB      0.00%application/rss+atom                       0    
 0.00%      0.00KB      0.00%application/ other                        
0      0.00%      0.00KB      0.00%application/ total                  
      0      0.00%      0.00KB      0.00%
none                                       0      0.00%      0.00KB
     0.00%other                                      0      0.00%
     0.00KB      0.00%

Elapsed time stats          Min          Max              Avg    Std Deviation------------------------------------------------------------------------------Cache
hit                     0            0             0.00        
    0.00Cache hit IMS                 0            0             0.00
            0.00Cache hit refresh             0            0        
    0.00             0.00Cache hit other               0            0
            0.00             0.00Cache hit total               0    
       0             0.00             0.00Cache miss              
     0            0             0.00             0.00Cache miss IMS  
             0            0             0.00             0.00Cache
miss refresh            0            0             0.00            
0.00Cache miss other              0            0             0.00    
        0.00Cache miss total              0            0            
0.00             0.00
______________________________________________________________________________


                                  zc.qq.com
Request Result                         Count    Percent       Bytes    Percent------------------------------------------------------------------------------Cache
hit                                  0      0.00%      0.00KB    
 0.00%Cache hit IMS                              0      0.00%      0.00KB
     0.00%Cache hit refresh                          0      0.00%    
 0.00KB      0.00%Cache hit other                            0      0.00%
     0.00KB      0.00%Cache hit total                            0  
   0.00%      0.00KB      0.00%
Cache miss                                 0      0.00%      0.00KB
     0.00%Cache miss IMS                             0      0.00%    
 0.00KB      0.00%Cache miss refresh                         0      0.00%
     0.00KB      0.00%Cache miss other                           0    
 0.00%      0.00KB      0.00%Cache miss total                          
0      0.00%      0.00KB      0.00%
Client aborted                             0      0.00%      0.00KB  
   0.00%Connect failed                             1    100.00%      0.47KB
   100.00%Invalid request                            0      0.00%    
 0.00KB      0.00%Unknown error(99)                          0      0.00%
     0.00KB      0.00%Other errors                               0  
   0.00%      0.00KB      0.00%Errors total                          
    1    100.00%      0.47KB    100.00%..............................................................................Total
requests                             1    100.00%      0.47KB    100.00%

HTTP return codes                      Count    Percent       Bytes    Percent------------------------------------------------------------------------------100
Continue                               0      0.00%      0.00KB    
 0.00%200 OK                                     0      0.00%    
 0.00KB      0.00%201 Created                                0      0.00%
     0.00KB      0.00%202 Accepted                               0  
   0.00%      0.00KB      0.00%203 Non-Authoritative Info                
0      0.00%      0.00KB      0.00%204 No content                      
      0      0.00%      0.00KB      0.00%205 Reset Content              
           0      0.00%      0.00KB      0.00%206 Partial content      
                 0      0.00%      0.00KB      0.00%2xx Total        
                         0      0.00%      0.00KB      0.00%
300 Multiple Choices                       0      0.00%      0.00KB    
 0.00%301 Moved permanently                      0      0.00%      0.00KB
     0.00%302 Found                                  0      0.00%  
   0.00KB      0.00%303 See Other                              0    
 0.00%      0.00KB      0.00%304 Not modified                          
0      0.00%      0.00KB      0.00%305 Use Proxy                      
       0      0.00%      0.00KB      0.00%307 Temporary Redirect        
            0      0.00%      0.00KB      0.00%3xx Total            
                     0      0.00%      0.00KB      0.00%
400 Bad request                            0      0.00%      0.00KB  
   0.00%401 Unauthorized                           0      0.00%      0.00KB
     0.00%402 Payment Required                       0      0.00%      0.00KB
     0.00%403 Forbidden                              0      0.00%  
   0.00KB      0.00%404 Not found                              0    
 0.00%      0.00KB      0.00%405 Method Not Allowed                     0
     0.00%      0.00KB      0.00%406 Not Acceptable                    
    0      0.00%      0.00KB      0.00%407 Proxy Auth Required            
       0      0.00%      0.00KB      0.00%408 Request Timeout          
             0      0.00%      0.00KB      0.00%409 Conflict          
                    0      0.00%      0.00KB      0.00%410 Gone      
                            0      0.00%      0.00KB      0.00%411
Length Required                        0      0.00%      0.00KB      0.00%412
Precondition Failed                    0      0.00%      0.00KB      0.00%413
Request Entity Too Large               0      0.00%      0.00KB      0.00%414
Request-URI Too Long                   0      0.00%      0.00KB      0.00%415
Unsupported Media Type                 0      0.00%      0.00KB      0.00%416
Req Range Not Satisfiable              0      0.00%      0.00KB      0.00%417
Expectation Failed                     0      0.00%      0.00KB      0.00%4xx
Total                                  0      0.00%      0.00KB  
   0.00%
500 Internal Server Error                  0      0.00%      0.00KB      0.00%501
Not implemented                        0      0.00%      0.00KB      0.00%502
Bad gateway                            1    100.00%      0.47KB    100.00%503
Service unavailable                    0      0.00%      0.00KB      0.00%504
Gateway Timeout                        0      0.00%      0.00KB      0.00%505
HTTP Ver. Not Supported                0      0.00%      0.00KB      0.00%5xx
Total                                  1    100.00%      0.47KB    100.00%
000 Unknown                                0      0.00%      0.00KB
     0.00%

Origin hierarchies                     Count    Percent       Bytes    Percent------------------------------------------------------------------------------NONE
                                      0      0.00%      0.00KB  
   0.00%DIRECT                                     1    100.00%    
 0.47KB    100.00%SIBLING                                    0    
 0.00%      0.00KB      0.00%PARENT                                
    0      0.00%      0.00KB      0.00%EMPTY                        
             0      0.00%      0.00KB      0.00%invalid            
                       0      0.00%      0.00KB      0.00%other    
                                 0      0.00%      0.00KB      0.00%

HTTP Methods                           Count    Percent       Bytes    Percent------------------------------------------------------------------------------OPTIONS
                                   0      0.00%      0.00KB    
 0.00%GET                                        1    100.00%    
 0.47KB    100.00%HEAD                                       0    
 0.00%      0.00KB      0.00%POST                                  
    0      0.00%      0.00KB      0.00%PUT                        
               0      0.00%      0.00KB      0.00%DELETE            
                        0      0.00%      0.00KB      0.00%TRACE    
                                 0      0.00%      0.00KB      0.00%CONNECT
                                   0      0.00%      0.00KB    
 0.00%PURGE                                      0      0.00%    
 0.00KB      0.00%none (-)                                   0    
 0.00%      0.00KB      0.00%other                                
     0      0.00%      0.00KB      0.00%

URL Schemes                            Count    Percent       Bytes  
 Percent------------------------------------------------------------------------------HTTP
(port 80)                             1    100.00%      0.47KB    100.00%HTTPS
(port 443)                           0      0.00%      0.00KB      0.00%none
                                      0      0.00%      0.00KB  
   0.00%other                                      0      0.00%  
   0.00KB      0.00%

Content Types                          Count    Percent       Bytes    Percent------------------------------------------------------------------------------text/javascript
                           0      0.00%      0.00KB      0.00%text/css
                                  0      0.00%      0.00KB      0.00%text/html
                                 1    100.00%      0.47KB    100.00%text/xml
                                  0      0.00%      0.00KB      0.00%text/plain
                                0      0.00%      0.00KB      0.00%text/
other                                0      0.00%      0.00KB    
 0.00%text/ total                                1    100.00%      0.47KB
   100.00%
image/jpeg                                 0      0.00%      0.00KB
     0.00%image/gif                                  0      0.00%  
   0.00KB      0.00%image/png                                  0  
   0.00%      0.00KB      0.00%image/bmp                            
     0      0.00%      0.00KB      0.00%image/ other                  
            0      0.00%      0.00KB      0.00%image/ total          
                    0      0.00%      0.00KB      0.00%
audio/x-wav                                0      0.00%      0.00KB
     0.00%audio/x-mpeg                               0      0.00%  
   0.00KB      0.00%audio/ other                               0    
 0.00%      0.00KB      0.00%audio/ total                            
  0      0.00%      0.00KB      0.00%
application/x-shockwave                    0      0.00%      0.00KB    
 0.00%application/[x-]javascript                 0      0.00%      0.00KB  
   0.00%application/x-quicktime                    0      0.00%      0.00KB
     0.00%application/zip                            0      0.00%    
 0.00KB      0.00%application/rss+xml                        0      0.00%
     0.00KB      0.00%application/rss+atom                       0    
 0.00%      0.00KB      0.00%application/ other                        
0      0.00%      0.00KB      0.00%application/ total                  
      0      0.00%      0.00KB      0.00%
none                                       0      0.00%      0.00KB
     0.00%other                                      0      0.00%
     0.00KB      0.00%

Elapsed time stats          Min          Max              Avg    Std Deviation------------------------------------------------------------------------------Cache
hit                     0            0             0.00        
    0.00Cache hit IMS                 0            0             0.00
            0.00Cache hit refresh             0            0        
    0.00             0.00Cache hit other               0            0
            0.00             0.00Cache hit total               0    
       0             0.00             0.00Cache miss              
     0            0             0.00             0.00Cache miss IMS  
             0            0             0.00             0.00Cache
miss refresh            0            0             0.00            
0.00Cache miss other              0            0             0.00    
        0.00Cache miss total              0            0            
0.00             0.00
______________________________________________________________________________


 Regards, Muhammad Faisal.
 

 
      From: Muhammad Faisal <faisalusuf@yahoo.com>
 To: "users@trafficserver.apache.org" <users@trafficserver.apache.org>; "jpeach@apache.org"
<jpeach@apache.org> 
 Sent: Sunday, January 24, 2016 11:40 PM
 Subject: Re: Setting up Transparent Proxy
   
Hi James,Thanks you for your response. Below is the configuration on my ATS box:
Scenario:
[Client]------Router1-------em2-------ATS---------em1--------Router2---------Internet
Note: After configuring bridge it was verified that all clients are able to browse internet
before ATS configurations. only http sites are not working but https is working fine.
Deployment Details:ATS version: 6.0OS Version: CentOS 6.7 x64
Networking Details:Bridge: em1, em2 (eth0,eth1)em1 connecting to Internetem2 connecting to
client side routerem4 for management purposeClient on real IP different subnetBridge subnet
is different than client subnet
ATS Configuration:CONFIG proxy.config.http.server_ports STRING 8080:tr-full
CONFIG proxy.config.cluster.ethernet_interface STRING br0
CONFIG proxy.config.reverse_proxy.enabled INT 1 (documentation says for fully transparent
this should be set to 1)
CONFIG proxy.config.url_remap.remap_required INT 0IP Route Rule:Default gateway via br0 interface
IP Rules:0:      from all lookup local32765:  from all fwmark 0x1 lookup 10032766:  from
all lookup main32767:  from all lookup default
ebtables Rules:[root@ATS~]# ebtables-save
# Generated by ebtables-save v1.0 on Sun Jan 24 23:08:37 PKT 2016*filter:INPUT ACCEPT:FORWARD
ACCEPT:OUTPUT ACCEPT
*broute:BROUTING ACCEPT-A BROUTING -p IPv4 -i em2 --ip-proto tcp --ip-dport 80 -j redirect
 --redirect-target DROP-A BROUTING -p IPv4 -i em1 --ip-proto tcp --ip-sport 80 -j redirect
 --redirect-target DROP
iptables Rules:
# Generated by iptables-save v1.4.7 on Sun Jan 24 23:10:04 2016*mangle:PREROUTING ACCEPT [159446:11225783]:INPUT
ACCEPT [344226:50075640]:FORWARD ACCEPT [0:0]:OUTPUT ACCEPT [297742:49115316]:POSTROUTING
ACCEPT [297742:49115316]:DIVERT - [0:0]-A PREROUTING -p tcp -m socket -j DIVERT-A PREROUTING
-p tcp -m tcp --dport 80 -j TPROXY --on-port 8080 --on-ip 0.0.0.0 --tproxy-mark 0x1/0x1-A
PREROUTING -p tcp -m tcp --sport 80 -j MARK --set-xmark 0x1/0x1-A DIVERT -j MARK --set-xmark
0x1/0xffffffff-A DIVERT -j ACCEPTCOMMIT
Traffic_Layout output:
[root@ATS~]# traffic_layout -f#define BUILD_MACHINE "ATS"#define BUILD_PERSON "root"#define
BUILD_GROUP "root"#define BUILD_NUMBER ""#define TS_HAS_LIBZ 0#define TS_HAS_LZMA 0#define
TS_HAS_JEMALLOC 0#define TS_HAS_TCMALLOC 0#define TS_HAS_IN6_IS_ADDR_UNSPECIFIED 1#define
TS_HAS_BACKTRACE 1#define TS_HAS_PROFILER 0#define TS_USE_FAST_SDK 0#define TS_USE_DIAGS 1#define
TS_USE_EPOLL 1#define TS_USE_KQUEUE 0#define TS_USE_PORT 0#define TS_USE_POSIX_CAP 1#define
TS_USE_TPROXY 1#define TS_HAS_SO_MARK 1#define TS_HAS_SPDY 0#define TS_HAS_IP_TOS 1#define
TS_USE_HWLOC 1#define TS_USE_FREELIST 1#define TS_USE_TLS_NPN 1#define TS_USE_TLS_ALPN 0#define
TS_USE_TLS_SNI 1#define TS_USE_CERT_CB 0#define TS_USE_SET_RBIO 0#define TS_USE_TLS_ECKEY
1#define TS_USE_LINUX_NATIVE_AIO 0#define TS_HAS_SO_PEERCRED 1#define TS_USE_REMOTE_UNWINDING
0#define GETHOSTBYNAME_R_GLIBC2 1#define SIZEOF_VOID_POINTER 8#define TS_IP_TRANSPARENT 19#define
TS_HAS_128BIT_CAS 1#define TS_HAS_TESTS 1#define TS_HAS_WCCP 0#define TS_MAX_THREADS_IN_EACH_THREAD_TYPE
3072#define TS_MAX_NUMBER_EVENT_THREADS 4096#define TS_MAX_HOST_NAME_LEN 256#define TS_MAX_API_STATS
512#define SPLIT_DNS 1#define HTTP_CACHE 1#define TS_PKGSYSUSER "nobody"#define TS_PKGSYSGROUP
"nobody"
TCP Connection Status: netstat -tanp tcp        0      0 0.0.0.0:8080        
        0.0.0.0:*                   LISTEN      20404/traffic_manag
tcp        0      0 127.0.0.1:8083              0.0.0.0:*            
      LISTEN      20404/traffic_managtcp        0      0 127.0.0.1:8084    
         0.0.0.0:*                   LISTEN      20410/traffic_serve


Google websites on port 8080 on ATS server have SYN_RECV status. .


 Regards,Muhammad Faisal.
 

 
      From: James Peach <jpeach@apache.org>
 To: users@trafficserver.apache.org; Muhammad Faisal <faisalusuf@yahoo.com> 
 Sent: Sunday, January 24, 2016 5:16 AM
 Subject: Re: Setting up Transparent Proxy
  

> On Jan 23, 2016, at 1:34 PM, Muhammad Faisal <faisalusuf@yahoo.com> wrote:
> 
> Hi All,
> I tried to setup ATS using the guidelines at below links. With linux bridge interface
up the clients are able to browse internet but after configuring iptables, ebtables the port
80 traffic failed at client side. 
> 
> Nothing appearing on squid.log
> 
> Guidelines followed:
> http://apache-traffic-server.24303.n7.nabble.com/attachment/1638/0/ATS%20on%20Centos.txt
> 
> Please not my client are on different subnets while the proxy is inline bridged b/w gateway
and wireless gateway. Clients get real IP not private.
> 
> Please suggest how to debug the issue?

Please use the latest release (6.0), not 4.1. Use traffic_layout -f to verify that transparent
proxy support is enabled (look for TPROXY) in the output. Enable the "http_tproxy" debug tag
(see proxy.config.diags.debug.tags documentation) and check the logs for any clues.

Once you have verified that Traffic Server is ok, the most likely cause is network configuration.

>  
> 
> Regards, Muhammad Faisal.


   
 

   

Mime
  • Unnamed multipart/mixed (inline, None, 0 bytes)
View raw message